Eğitimin Amacı ve Kapsamı
Yüksek doğruluklu bir model, yanıt süresi SLA sınırlarını aştığında veya GPU faturasını katladığında üretimde sürdürülemez hale gelir. Bu eğitim; p50/p95/p99 latency, saniyedeki istek/token throughput'u ve 1.000 tahmin başına maliyet arasındaki mühendislik ödünleşimlerini (trade-off) analitik ve uygulamalı olarak ele alır.
Katılımcılar Locust ve Perf Analyzer ile yük testi yaparak darboğazları tespit eder; dynamic/continuous batching, INT8/FP8 quantization, KV cache ve semantic caching ile CPU/GPU örnek tipi seçimini deneyimler. Kuruma özel vaka çalışması sonunda bir kapasite-maliyet hesaplama tablosu ve optimizasyon kontrol listesi üretilir.
Kimler Katılmalı?
- Inference servislerinin performans ve maliyetinden sorumlu ML ve MLOps mühendisleri
- Bulut ve GPU kaynaklarını yöneten platform ve altyapı mühendisleri
- Yüksek trafikli yapay zeka ürünlerinin teknik liderleri ve çözüm mimarları
- Ön koşul: Python, container temelleri ve temel model serving deneyimi
Kazanımlar
- p50/p95/p99 latency, TTFT/ITL, throughput ve birim maliyet metriklerini doğru ölçmek
- Yük testleri ile compute-bound ve memory-bound darboğazları ayırt etmek
- Dynamic batching ve concurrency ayarlarıyla GPU kullanım oranını artırmak
- Quantization, model distillation ve caching tekniklerinin doğruluk-hız etkisini değerlendirmek
- İstek profiline göre CPU, GPU, spot ve serverless seçenekleri arasında maliyet etkin karar vermek
Konular
Performans ve Maliyet Metriklerinin Temelleri
- Tail latency (p95, p99), QPS, TTFT/ITL ve GPU utilization kavramları
- Birim maliyet formülü: donanım saat ücreti, doluluk oranı ve boşta bekleme maliyeti
- Compute-bound ve memory-bandwidth-bound iş yüklerinin analizi
Benchmarking, Profiling ve Yük Testi
- Locust, k6 ve Triton Perf Analyzer ile gerçekçi trafik simülasyonu
- PyTorch Profiler ve sistem metrikleriyle darboğaz tespiti
- SLA altında doygunluk noktası (saturation point) ve kuyruk etkisi
Batching ve Concurrency Optimizasyonu
- Static, dynamic ve LLM'ler için continuous batching mekanizmaları
- Batch boyutu ve max queue delay ayarlarının latency-throughput eğrisine etkisi
- Async I/O, ön/son işleme paralelleştirmesi ve multi-instance servis
Model Sıkıştırma ve Caching Stratejileri
- FP16/BF16, INT8/INT4 quantization ve ONNX Runtime / TensorRT hızlandırması
- Exact-match, embedding tabanlı semantic cache ve prompt/KV cache
- Küçük modele yönlendirme (model routing) ve speculative decoding
Donanım Seçimi ve Kapasite Planlama Atölyesi
- CPU vs GPU, farklı GPU sınıfları ve MIG bölümleme karşılaştırması
- On-demand, reserved, spot ve scale-to-zero serverless maliyet modelleri
- Kurum vakası üzerinde SLA-maliyet simülasyonu ve kontrol listesi oluşturma
Bu Kategorideki Diğer Eğitimler
-
Inference servislerinin uçtan uca güvenliği: mTLS, OAuth2/JWT, rate limiting, güvenli serialization, container sertleştirme, model çalma/adversarial saldırı savunması ve KVKK uyumu. ML, platform ve uygulama güvenliği mühendisleri için.
- Canlı Kurs
- 5 modül
-
TensorFlow ve Keras modellerini SavedModel formatında dışa aktarma, SignatureDef tanımlama ve TensorFlow Serving ile REST/gRPC üzerinden yayına alma. Modellerini üretime taşımaya başlayan veri bilimciler ve ML mühendisleri için.
- Canlı Kurs
- 5 modül
-
TensorFlow Serving'de çoklu model yönetimi, dynamic batching, XLA/TensorRT ve mixed precision hızlandırma, GPU bellek ayarı, Prometheus metrikleri ve özel servable mimarisi. Yüksek trafikli TF servislerini işleten mühendisler için.
- Canlı Kurs
- 5 modül
-
TensorFlow Serving servislerini Docker ve Kubernetes üzerinde ölçeklenebilir biçimde işletme: nesne depolamadan model çekme, GPU zamanlama, readiness/liveness probe'ları, HPA/KEDA ve KServe entegrasyonu. MLOps ve platform mühendisleri için.
- Canlı Kurs
- 5 modül
-
PyTorch modellerini TorchServe ile üretime alma: özel Handler yazımı, torch-model-archiver ile .mar paketleme, Inference ve Management API kullanımı, worker ve sürüm yönetimi. PyTorch kullanan veri bilimciler ve ML mühendisleri için.
- Canlı Kurs
- 5 modül
-
TorchServe ile çoklu model DAG iş akışları (Workflows), torch.compile/ONNX/TensorRT hızlandırma, çoklu GPU ve büyük model paralel sunumu, özel Prometheus metrikleri ve üretim güvenliği. Kıdemli ML ve MLOps mühendisleri için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
