Eğitimin Amacı ve Kapsamı
LLM inference'ta throughput'u artırmak çoğu zaman tekil kullanıcı gecikmesini (latency) kötüleştirir; doğru optimizasyon ise iş yükünün prefill (compute-bound) mi yoksa decode (memory-bandwidth-bound) ağırlıklı mı olduğunu teşhis etmekten geçer. Bu eğitim; roofline modelini, kernel seviyesinde hızlandırıcıları (FlashAttention, FlashInfer, CUDA Graphs), speculative decoding yöntemlerini (draft model, EAGLE, ngram) ve tensor/pipeline/data parallelism seçimini uygulamalı olarak ele alır.
Katılımcılar gerçekçi trafik profilleriyle benchmark koşar, P95 TTFT ve TPOT SLO hedeflerini bozmadan GPU başına en yüksek tok/s değerini veren konfigürasyonu belirler.
Kimler Katılmalı?
- LLM serving performansından sorumlu kıdemli yapay zeka ve platform mühendisleri
- Gerçek zamanlı ses, sohbet ve kod asistanı altyapısı geliştiren ML mühendisleri
- GPU maliyetini düşürürken SLA/SLO hedeflerini korumak isteyen MLOps ekipleri
- Ön koşul: vLLM/SGLang/TensorRT-LLM deneyimi ve temel GPU mimarisi bilgisi
Kazanımlar
- Prefill ve decode darboğazlarını roofline modeliyle teşhis etmek
- Speculative decoding (EAGLE, Medusa, ngram) ile decode gecikmesini düşürmek
- Tensor parallelism, pipeline parallelism ve data replica sayısını optimal seçmek
- CUDA Graphs, torch.compile ve attention backend ayarlarıyla CPU/kernel overhead'ini azaltmak
- TTFT ve TPOT SLO kısıtları altında throughput-latency Pareto eğrisini çıkarmak
Konular
LLM Inference Performans Metrikleri ve Roofline Modeli
- TTFT, ITL/TPOT, E2E latency ve goodput (SLO uyumlu throughput) tanımı
- FLOP/s ve HBM bellek bant genişliği: arithmetic intensity analizi
Kernel ve Runtime Hızlandırma
- FlashAttention-2/3, FlashInfer ve fused MLP/norm kernel'ları
- CUDA Graphs, async output processing ve CPU scheduling darboğazları
Speculative Decoding Teknikleri
- Draft-target model, EAGLE, Medusa ve prompt lookup (ngram) yaklaşımları
- Kabul oranı (acceptance rate) ve yüksek batch boyutlarında speculative decoding sınırı
Paralellik Stratejileri ve Çoklu GPU Dengesi
- Tensor parallelism (TP) iletişim maliyeti ve NVLink vs PCIe etkisi
- Ne zaman TP artırmak yerine bağımsız replica (data parallelism) çalıştırılmalı?
SLO Odaklı Benchmark ve Tuning Raporu
- GenAI-Perf ve
vllm bench serveile farklı QPS ve prompt dağılımlarında test - Goodput maksimizasyonu ve kuruma özel optimizasyon reçetesi
Bu Kategorideki Diğer Eğitimler
-
Kubernetes üzerinde GPU ve LLM iş yüklerinin işletimi: NVIDIA GPU Operator, MIG ve time-slicing ile GPU paylaşımı, Kueue/Volcano ile kuyruk yönetimi, hızlı model ağırlığı önbellekleme, GPU autoscaling ve DCGM izleme.
- Canlı Kurs
- 5 modül
-
Küçük dil modellerinin (SLM) uç cihazlar, saha donanımları ve NPU/gömülü GPU'larda çalıştırılması: Llama 3.2/Qwen/Gemma/Phi (1B–4B), ONNX Runtime GenAI, ExecuTorch, TensorRT-Edge, Jetson ve çevrimdışı saha senaryoları.
- Canlı Kurs
- 5 modül
-
LLM sistemlerinde birim maliyet (cost per request / 1M token) analizi ve optimizasyonu: kendi GPU'nu işletme vs ticari API başabaş hesabı, prompt/output token daraltma, batch API, model kademelendirme ve AI FinOps metrikleri.
- Canlı Kurs
- 5 modül
-
Açık ağırlıklı bir LLM'in GPU sunucuda OpenAI uyumlu API olarak nasıl sunulduğunu öğretir: inference motorları, VRAM hesabı, temel serving ayarları ve ilk benchmark. Geliştirici ve platform ekipleri için giriş programı.
- Canlı Kurs
- 5 modül
-
vLLM ile yüksek throughput'lu LLM serving: PagedAttention, continuous batching, tensor parallelism, prefix caching, LoRA adapter sunumu ve Prometheus metrikleri. Üretime hazır bir vLLM deployment'ı ve benchmark raporu çıkarılır.
- Canlı Kurs
- 5 modül
-
Hugging Face Text Generation Inference (TGI) ile LLM sunma: Docker kurulumu, sharding, quantization, Messages API, guidance ile structured output ve Inference Endpoints. Hugging Face ekosistemini kullanan ekipler için uygulamalı program.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
