Eğitimin Amacı ve Kapsamı
Text Generation Inference (TGI), Hugging Face Hub'daki modelleri hızlıca üretim endpoint'ine dönüştürmek için geliştirilmiş bir serving çözümüdür. Program; TGI'nin router/launcher mimarisini, Docker ile kurulumunu, çoklu GPU sharding'i, bitsandbytes/AWQ/GPTQ/FP8 quantization seçeneklerini ve Messages API üzerinden OpenAI uyumlu kullanımı kapsar.
Uygulamalarda gated modellere token ile erişim, guidance ile JSON şemalı çıktı, tool calling ve Prometheus metrikleri yapılandırılır. TGI'nin vLLM ve SGLang ile karşılaştırması yapılarak kurumun mevcut stack'ine hangi motorun uyduğuna dair gerekçeli bir değerlendirme hazırlanır.
Kimler Katılmalı?
- Hugging Face Hub ve Transformers kullanan ML mühendisleri
- Model serving altyapısını kuran platform ekipleri
- Inference Endpoints veya SageMaker üzerinde TGI kullanan geliştiriciler
- Ön koşul: Docker ve Python bilgisi
Kazanımlar
- TGI'yi Docker ile tek veya çoklu GPU üzerinde çalıştırmak
- Quantization ve token limitlerini donanıma göre ayarlamak
- Messages API, streaming ve structured output ile entegrasyon kurmak
- TGI metriklerini izlemek ve yük testi yapmak
- TGI, vLLM ve SGLang arasında gerekçeli seçim yapmak
Konular
TGI Mimarisi ve Ekosistemi
- Router, launcher ve model shard'ları
- Hugging Face Hub, gated modeller ve lisanslar
Kurulum ve Yapılandırma
- Docker ile başlatma, sharding ve token limitleri
- bitsandbytes, AWQ, GPTQ ve FP8 quantization seçenekleri
API Kullanımı
- Messages API, streaming ve chat template'leri
- Guidance ile JSON çıktısı ve tool calling
İzleme ve Ölçeklendirme
- Prometheus metrikleri ve OpenTelemetry tracing
- Inference Endpoints ve Kubernetes üzerinde çalıştırma
Motor Karşılaştırması
- TGI, vLLM ve SGLang ile aynı modelde benchmark
- Kurum stack'ine göre seçim kriterleri
Bu Kategorideki Diğer Eğitimler
-
Ollama ile açık ağırlıklı modelleri dizüstü, iş istasyonu veya sunucuda çalıştırma: model kütüphanesi, Modelfile, REST/OpenAI uyumlu API, Open WebUI, embedding ve ekip içi paylaşımlı kurulum. Hızlı prototip ve gizli veri senaryoları için.
- Canlı Kurs
- 5 modül
-
FastAPI ile model API katmanı, vLLM ile LLM inference, KServe ile Kubernetes üzerinde model yönetimi ve Triton ile çok framework'lü serving'i tek mimaride birleştirir. Uçtan uca, ölçeklenebilir bir model serving stack'i kurulur.
- Canlı Kurs
- 6 modül
-
LLM'lerde FP16/BF16, FP8, INT8 ve INT4 precision seçenekleri; GPTQ, AWQ, GGUF ve bitsandbytes ile post-training quantization, kalite kaybının eval ile ölçülmesi ve VRAM/throughput kazancının benchmark ile doğrulanması.
- Canlı Kurs
- 5 modül
-
Dinamik quantization ile calibration verisi gerektirmeden modelleri hızlandırma: PyTorch ve ONNX Runtime dynamic quantization, FP8 dynamic activation scaling, statik yöntemlerle karşılaştırma ve CPU/GPU üzerinde ölçüm.
- Canlı Kurs
- 5 modül
-
Quantization'ı eğitimden sunuma uçtan uca ele alır: QLoRA ile 4-bit fine-tuning, quantization-aware training (QAT), adapter birleştirme, yeniden quantize etme ve vLLM'de sunma. Tek GPU'da kurum verisiyle model uyarlamak isteyen ekipler için.
- Canlı Kurs
- 5 modül
-
LLM iş yükleri için GPU kapasite planı: model boyutu, context uzunluğu, eşzamanlı kullanıcı ve SLO hedeflerinden VRAM, GPU sayısı ve sunucu ihtiyacını hesaplama; H100/H200/B200, L40S ve bulut seçeneklerinin maliyet karşılaştırması.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
