Eğitimin Amacı ve Kapsamı
Üretim sahası, araç içi sistemler, perakende terminalleri, mobil cihazlar veya kesintili bağlantıya sahip şubelerde bulut ya da merkez veri merkezi LLM'lerine güvenmek mümkün değildir. Bu eğitim; 1B–4B parametreli küçük dil modellerinin (SLM) bellek, pil/güç ve termal kısıtlar altında uç (edge) donanımlarda nasıl seçileceğini, sıkıştırılacağını ve dağıtılacağını ele alır.
Katılımcılar Llama, Qwen, Gemma ve Phi ailelerinin küçük modellerini ONNX Runtime GenAI, ExecuTorch, MLC-LLM ve llama.cpp ile derler; dar kapsamlı görevlerde (komut ayrıştırma, form doldurma, yerel ses/metin asistanı) güvenilir çıktı üretecek bir edge deployment taslağı oluşturur.
Kimler Katılmalı?
- IoT, gömülü sistem, mobil ve saha uygulamaları geliştiren yazılım mühendisleri
- Edge AI donanımları (NVIDIA Jetson, endüstriyel PC, NPU'lu cihazlar) üzerinde çalışan ML mühendisleri
- Şube, fabrika veya saha operasyonları için çevrimdışı asistan tasarlayan çözüm mimarları
- Ön koşul: Python veya C++/mobil geliştirme temelleri ve temel model inference bilgisi
Kazanımlar
- Edge donanım kısıtlarına uygun 1B–4B sınıfı küçük dil modeli (SLM) seçmek
- ONNX Runtime GenAI, ExecuTorch ve llama.cpp ile hedef donanıma özel model derlemek
- 4-bit quantization ve kısıtlı context ayarlarıyla dar RAM bütçesine sığmak
- Grammar kısıtlaması ve küçük görev odaklı prompt'larla SLM halüsinasyonunu sınırlamak
- Saha cihazlarına uzaktan güvenli model dağıtımı ve hibrit (edge + bulut fallback) mimari kurgulamak
Konular
Edge LLM Kullanım Senaryoları ve SLM Seçimi
- Neden edge? Sıfır ağ gecikmesi, çevrimdışı çalışma ve veri gizliliği
- Llama 3.2 (1B/3B), Qwen2.5 (0.5B–3B), Gemma ve Phi modellerinin görev başarımı
Hedef Donanımlar ve Edge Runtime Ekosistemi
- NVIDIA Jetson (Orin), Apple Neural Engine, Qualcomm/Intel NPU ve endüstriyel PC'ler
- ONNX Runtime GenAI, ExecuTorch, MLC-LLM, TensorRT ve llama.cpp karşılaştırması
Bellek, Güç ve Termal Kısıtlar Altında Optimizasyon
- INT4/AWQ/GGUF sıkıştırma, paylaşımlı sistem belleği ve KV cache tavanı
- Throttling önleme, batch=1 latency optimizasyonu ve enerji tüketimi ölçümü
Küçük Modellerde Güvenilirlik Tasarımı
- Tek görevli prompt tasarımı, JSON/grammar zorlama ve yerel fonksiyon çağırma
- SLM + yerel SQLite/vektör arama ile hafif cihaz içi RAG
Filo Dağıtımı ve Hibrit Edge-Cloud Mimarisi
- Saha cihazlarına delta model güncellemesi ve sürüm kontrolü
- Güven skoru düşük istekleri merkez sunucuya yönlendiren hibrit kurgu
Bu Kategorideki Diğer Eğitimler
-
LLM sistemlerinde birim maliyet (cost per request / 1M token) analizi ve optimizasyonu: kendi GPU'nu işletme vs ticari API başabaş hesabı, prompt/output token daraltma, batch API, model kademelendirme ve AI FinOps metrikleri.
- Canlı Kurs
- 5 modül
-
Açık ağırlıklı bir LLM'in GPU sunucuda OpenAI uyumlu API olarak nasıl sunulduğunu öğretir: inference motorları, VRAM hesabı, temel serving ayarları ve ilk benchmark. Geliştirici ve platform ekipleri için giriş programı.
- Canlı Kurs
- 5 modül
-
vLLM ile yüksek throughput'lu LLM serving: PagedAttention, continuous batching, tensor parallelism, prefix caching, LoRA adapter sunumu ve Prometheus metrikleri. Üretime hazır bir vLLM deployment'ı ve benchmark raporu çıkarılır.
- Canlı Kurs
- 5 modül
-
Hugging Face Text Generation Inference (TGI) ile LLM sunma: Docker kurulumu, sharding, quantization, Messages API, guidance ile structured output ve Inference Endpoints. Hugging Face ekosistemini kullanan ekipler için uygulamalı program.
- Canlı Kurs
- 5 modül
-
Ollama ile açık ağırlıklı modelleri dizüstü, iş istasyonu veya sunucuda çalıştırma: model kütüphanesi, Modelfile, REST/OpenAI uyumlu API, Open WebUI, embedding ve ekip içi paylaşımlı kurulum. Hızlı prototip ve gizli veri senaryoları için.
- Canlı Kurs
- 5 modül
-
FastAPI ile model API katmanı, vLLM ile LLM inference, KServe ile Kubernetes üzerinde model yönetimi ve Triton ile çok framework'lü serving'i tek mimaride birleştirir. Uçtan uca, ölçeklenebilir bir model serving stack'i kurulur.
- Canlı Kurs
- 6 modül
Bizimle iletişime geçin
