Eğitimin Amacı ve Kapsamı
Kurumsal ortamlarda tek bir serving aracı nadiren yeterlidir: LLM'ler, embedding ve reranker modelleri, klasik ML modelleri ve iş kuralları farklı katmanlarda sunulur. Bu ileri program, FastAPI ile kimlik doğrulama, rate limiting ve iş mantığı içeren bir API katmanının, arkasında vLLM, Triton Inference Server ve KServe InferenceService kaynaklarının nasıl konumlandırılacağını gösterir.
Lab'larda katılımcılar Kubernetes üzerinde vLLM runtime'lı bir KServe servisi, Triton ile sunulan bir embedding/ONNX modeli ve önlerinde asenkron FastAPI gateway'i kurar; autoscaling, canary rollout ve maliyet/performans karşılaştırmasıyla mimariyi doğrular.
Kimler Katılmalı?
- Model serving platformu tasarlayan kıdemli ML ve platform mühendisleri
- Birden çok model türünü üretimde işleten MLOps ekipleri
- Yapay zeka çözüm mimarları
- Ön koşul: Python, Docker, Kubernetes temelleri ve LLM serving deneyimi
Kazanımlar
- FastAPI ile asenkron, streaming destekli model API'leri geliştirmek
- vLLM'i KServe runtime'ı olarak Kubernetes'te çalıştırmak
- Triton ile ONNX, TensorRT ve Python backend modellerini sunmak
- Autoscaling, canary ve trafik bölme stratejileri uygulamak
- Hangi bileşenin hangi iş yüküne uygun olduğunu gerekçelendirmek
Konular
Serving Stack Mimarisi
- API katmanı, inference motoru ve orkestrasyon ayrımı
- LLM, embedding ve klasik ML modelleri için referans mimari
FastAPI ile Model API'leri
- Async endpoint'ler, SSE streaming ve Pydantic şemaları
- Kimlik doğrulama, rate limiting ve hata yönetimi
vLLM Entegrasyonu
- OpenAI uyumlu vLLM servisini API katmanına bağlama
- Bağlantı havuzu, timeout ve backpressure
Triton Inference Server
- Model repository, ONNX/TensorRT/Python backend'leri
- Dynamic batching ve model ensemble
KServe ile Kubernetes'te Serving
- InferenceService, ServingRuntime ve vLLM/Triton runtime'ları
- Autoscaling, canary rollout ve trafik bölme
Uçtan Uca Doğrulama
- Yük testi ve maliyet/performans karşılaştırması
- Kurum için hedef serving mimarisi taslağı
Bu Kategorideki Diğer Eğitimler
-
LLM'lerde FP16/BF16, FP8, INT8 ve INT4 precision seçenekleri; GPTQ, AWQ, GGUF ve bitsandbytes ile post-training quantization, kalite kaybının eval ile ölçülmesi ve VRAM/throughput kazancının benchmark ile doğrulanması.
- Canlı Kurs
- 5 modül
-
Dinamik quantization ile calibration verisi gerektirmeden modelleri hızlandırma: PyTorch ve ONNX Runtime dynamic quantization, FP8 dynamic activation scaling, statik yöntemlerle karşılaştırma ve CPU/GPU üzerinde ölçüm.
- Canlı Kurs
- 5 modül
-
Quantization'ı eğitimden sunuma uçtan uca ele alır: QLoRA ile 4-bit fine-tuning, quantization-aware training (QAT), adapter birleştirme, yeniden quantize etme ve vLLM'de sunma. Tek GPU'da kurum verisiyle model uyarlamak isteyen ekipler için.
- Canlı Kurs
- 5 modül
-
LLM iş yükleri için GPU kapasite planı: model boyutu, context uzunluğu, eşzamanlı kullanıcı ve SLO hedeflerinden VRAM, GPU sayısı ve sunucu ihtiyacını hesaplama; H100/H200/B200, L40S ve bulut seçeneklerinin maliyet karşılaştırması.
- Canlı Kurs
- 5 modül
-
Veri yerelliği ve regülasyon gereksinimleri için uçtan uca kurum içi LLM platformu tasarımı: GPU boyutlandırma, Kubernetes kümesi, vLLM/Triton serving, model gateway, güvenlik ve air-gapped üretim mimarisi. Platform ve altyapı ekipleri için.
- Canlı Kurs
- 5 modül
-
İnternete kapalı ağlarda LLM servislerinin kurulumu ve güncellenmesi: offline container/PyPI/Hugging Face mirror kurulumu, safetensors ve SBOM doğrulama, GPU sürücü paketleme ve kesintisiz yama yönetimi. Güvenlik odaklı platform ekipleri için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
