Eğitimin Amacı ve Kapsamı
Uzun context'li ve çok kullanıcılı LLM uygulamalarında GPU belleğini tüketen asıl unsur model ağırlıkları değil, her aktif istek için büyüyen KV cache'tir. Bu ileri seviye program; MHA, GQA ve MLA attention yapılarında KV cache hesabını, PagedAttention ve RadixAttention algoritmalarını, statik batching'den continuous batching ve chunked prefill'e geçişi teknik ayrıntılarıyla ele alır.
Katılımcılar vLLM ve SGLang üzerinde uzun system prompt'lu RAG ve multi-turn agent iş yüklerini test eder; prefix caching, KV cache FP8 quantization ve scheduler parametreleriyle aynı GPU'da eşzamanlı istek kapasitesini katlayarak doğrular.
Kimler Katılmalı?
- LLM inference motorlarını üretimde optimize eden yapay zeka ve platform mühendisleri
- Uzun doküman işleme, RAG ve çok adımlı agent altyapısı geliştiren ML mühendisleri
- GPU başına eşzamanlı kullanıcı sayısını artırmak isteyen MLOps ekipleri
- Ön koşul: Transformer mimarisi temelleri ve vLLM/TGI/SGLang kullanım deneyimi
Kazanımlar
- MHA, GQA ve MLA mimarilerinde token başına KV cache bellek tüketimini hesaplamak
- PagedAttention ve blok tabanlı bellek yönetimiyle parçalanmayı (fragmentation) önlemek
- Automatic prefix caching ve RadixAttention için prompt yapısını optimize etmek
- FP8 KV cache quantization uygulayarak maksimum eşzamanlı istek sayısını artırmak
- Continuous batching,
max-num-batched-tokensve chunked prefill ayarlarıyla prefill/decode dengesini kurmak
Konular
KV Cache Anatomisi ve Attention Mimarileri
- Prefill ve decode aşamalarında K/V matrislerinin rolü
- MHA, MQA, GQA, sliding window ve DeepSeek MLA bellek karşılaştırması
PagedAttention ve Bellek Blok Yönetimi
- İç ve dış bellek parçalanması problemi ve sanal blok tabloları
- Preemption (recompute vs swap) ve KV cache doluluk metrikleri
Prefix Caching ve RadixAttention
- vLLM Automatic Prefix Caching (APC) ve SGLang RadixAttention çalışma mantığı
- System prompt, few-shot örnekler ve multi-turn geçmişte yüksek cache hit tasarımı
KV Cache Sıkıştırma ve Offloading
- FP8 KV cache quantization ve doğruluk/kapasite etkisi
- CPU RAM/NVMe KV cache offloading ve LMCache yaklaşımları
Continuous Batching ve Chunked Prefill
- Iteration-level scheduling,
max-num-seqsvemax-num-batched-tokens - Uzun prompt'ların decode gecikmesini bozmaması için chunked prefill ve disaggregated serving
Bu Kategorideki Diğer Eğitimler
-
LLM servislerinde TTFT, ITL ve toplam throughput optimizasyonu: compute-bound ve memory-bandwidth-bound darboğaz analizi, FlashAttention/FlashInfer, CUDA Graphs, speculative decoding, paralellik ayarları ve SLO odaklı yük testi.
- Canlı Kurs
- 5 modül
-
Kubernetes üzerinde GPU ve LLM iş yüklerinin işletimi: NVIDIA GPU Operator, MIG ve time-slicing ile GPU paylaşımı, Kueue/Volcano ile kuyruk yönetimi, hızlı model ağırlığı önbellekleme, GPU autoscaling ve DCGM izleme.
- Canlı Kurs
- 5 modül
-
Küçük dil modellerinin (SLM) uç cihazlar, saha donanımları ve NPU/gömülü GPU'larda çalıştırılması: Llama 3.2/Qwen/Gemma/Phi (1B–4B), ONNX Runtime GenAI, ExecuTorch, TensorRT-Edge, Jetson ve çevrimdışı saha senaryoları.
- Canlı Kurs
- 5 modül
-
LLM sistemlerinde birim maliyet (cost per request / 1M token) analizi ve optimizasyonu: kendi GPU'nu işletme vs ticari API başabaş hesabı, prompt/output token daraltma, batch API, model kademelendirme ve AI FinOps metrikleri.
- Canlı Kurs
- 5 modül
-
Açık ağırlıklı bir LLM'in GPU sunucuda OpenAI uyumlu API olarak nasıl sunulduğunu öğretir: inference motorları, VRAM hesabı, temel serving ayarları ve ilk benchmark. Geliştirici ve platform ekipleri için giriş programı.
- Canlı Kurs
- 5 modül
-
vLLM ile yüksek throughput'lu LLM serving: PagedAttention, continuous batching, tensor parallelism, prefix caching, LoRA adapter sunumu ve Prometheus metrikleri. Üretime hazır bir vLLM deployment'ı ve benchmark raporu çıkarılır.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
