Eğitimin Amacı ve Kapsamı
Bir modeli Hugging Face'ten indirip notebook'ta çalıştırmak ile onu çok kullanıcılı, ölçülebilir bir servis olarak sunmak arasında büyük fark vardır. Bu program; model ağırlıkları, tokenizer, context window ve VRAM ilişkisini, inference sürecinin prefill/decode aşamalarını ve Ollama, vLLM, TGI gibi serving seçeneklerinin hangi senaryoya uyduğunu sade bir dille açıklar.
Katılımcılar uygulamalı lab'larda Llama, Qwen veya Gemma ailesinden bir modeli OpenAI uyumlu bir endpoint olarak ayağa kaldırır, basit bir inference benchmark yürütür ve kurumlarına uygun ilk deployment taslağını çıkarır.
Kimler Katılmalı?
- LLM'leri kendi altyapısında çalıştırmaya başlayacak yazılım geliştiriciler
- Platform, DevOps ve sistem mühendisleri
- Model seçen ancak serving tarafını tanımak isteyen veri bilimciler
- Ön koşul: temel Linux komut satırı ve Python bilgisi
Kazanımlar
- Bir modelin parametre sayısı ve precision değerinden gereken VRAM'i tahmin etmek
- Açık ağırlıklı bir modeli OpenAI uyumlu API olarak sunmak
- Ollama, vLLM ve TGI arasından senaryoya uygun motoru seçmek
- Time to first token, tokens/s ve eşzamanlılık metriklerini ölçmek
- Kurum için ilk model deployment taslağını hazırlamak
Konular
LLM Inference Nasıl Çalışır?
- Tokenizer, prefill ve decode aşamaları
- Context window, KV cache ve bellek tüketimi
Donanım ve Model Boyutu
- Parametre sayısı, FP16/BF16 ve quantized ağırlıklar için VRAM hesabı
- Tek GPU, çoklu GPU ve CPU seçenekleri
Serving Motorlarına Genel Bakış
- Ollama, llama.cpp, vLLM, TGI ve SGLang karşılaştırması
- OpenAI uyumlu API, streaming ve chat template'leri
İlk Endpoint'i Ayağa Kaldırmak
- Docker ile model servisini başlatma ve temel parametreler
- Uygulama tarafından API'yi çağırma
Ölçüm ve Deployment Taslağı
- TTFT, tokens/s ve eşzamanlı istek testleri
- Kuruma özel deployment kontrol listesi
Bu Kategorideki Diğer Eğitimler
-
vLLM ile yüksek throughput'lu LLM serving: PagedAttention, continuous batching, tensor parallelism, prefix caching, LoRA adapter sunumu ve Prometheus metrikleri. Üretime hazır bir vLLM deployment'ı ve benchmark raporu çıkarılır.
- Canlı Kurs
- 5 modül
-
Hugging Face Text Generation Inference (TGI) ile LLM sunma: Docker kurulumu, sharding, quantization, Messages API, guidance ile structured output ve Inference Endpoints. Hugging Face ekosistemini kullanan ekipler için uygulamalı program.
- Canlı Kurs
- 5 modül
-
Ollama ile açık ağırlıklı modelleri dizüstü, iş istasyonu veya sunucuda çalıştırma: model kütüphanesi, Modelfile, REST/OpenAI uyumlu API, Open WebUI, embedding ve ekip içi paylaşımlı kurulum. Hızlı prototip ve gizli veri senaryoları için.
- Canlı Kurs
- 5 modül
-
FastAPI ile model API katmanı, vLLM ile LLM inference, KServe ile Kubernetes üzerinde model yönetimi ve Triton ile çok framework'lü serving'i tek mimaride birleştirir. Uçtan uca, ölçeklenebilir bir model serving stack'i kurulur.
- Canlı Kurs
- 6 modül
-
LLM'lerde FP16/BF16, FP8, INT8 ve INT4 precision seçenekleri; GPTQ, AWQ, GGUF ve bitsandbytes ile post-training quantization, kalite kaybının eval ile ölçülmesi ve VRAM/throughput kazancının benchmark ile doğrulanması.
- Canlı Kurs
- 5 modül
-
Dinamik quantization ile calibration verisi gerektirmeden modelleri hızlandırma: PyTorch ve ONNX Runtime dynamic quantization, FP8 dynamic activation scaling, statik yöntemlerle karşılaştırma ve CPU/GPU üzerinde ölçüm.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
