Eğitimin Amacı ve Kapsamı
Büyük derin öğrenme ve LLM modellerinde asıl maliyet eğitimden çok 7/24 çalışan çıkarım (inference) GPU'larında oluşur; üstelik çoğu üretim kümesinde GPU'ların gerçek hesaplama kapasitesi bellek bant genişliği darboğazları yüzünden %20'nin altında kullanılır. Bu ileri seviye eğitim, GPU donanım mimarisinden başlayarak derin öğrenme ve transformer çıkarımını alt seviyede hızlandırma tekniklerini kapsar.
SRAM/HBM bellek hiyerarşisi, prefill (compute-bound) ve decode (memory-bound) aşamaları, Nsight Systems ve PyTorch Profiler ile darboğaz tespiti, TensorRT / TensorRT-LLM derlemesi, FlashAttention, PagedAttention (KV cache), FP8/AWQ/GPTQ quantization ve speculative decoding uygulamalı olarak çalışılır. Katılımcılar kendi modelleri üzerinde token/saniye (TPS) ve dolar/milyon istek metriklerini iyileştiren bir optimizasyon çalışması yürütür.
Kimler Katılmalı?
- LLM, VLM ve derin öğrenme servislerinin gecikme ve GPU maliyetini optimize eden yapay zeka mühendisleri
- Yüksek ölçekli çıkarım altyapısı işleten MLOps ve AI platform mühendisleri
- vLLM, SGLang, TensorRT-LLM veya özel PyTorch çıkarım motorlarıyla çalışan sistem geliştiriciler
- Ön koşul: PyTorch, transformer mimarisi ve temel GPU/CUDA çalışma mantığı bilgisi
Kazanımlar
- Roofline modeli ile bir iş yükünün compute-bound mı yoksa memory-bandwidth-bound mı olduğunu hesaplamak
- PyTorch Profiler ve NVIDIA Nsight ile CPU-GPU senkronizasyon beklemelerini ve yavaş kernel'ları yakalamak
- KV cache bellek ayak izini hesaplayıp PagedAttention, prefix caching ve KV cache quantization uygulamak
- FP8, INT8 (SmoothQuant) ve INT4 (AWQ/GPTQ) ağırlık/aktivasyon quantization yöntemlerini doğruluk kaybını ölçerek devreye almak
- TensorRT-LLM, vLLM ve SGLang üzerinde tensor parallelism ve speculative decoding ile TTFT ve ITL gecikmelerini düşürmek
Konular
GPU Donanım Mimarisi ve Çıkarım Matematiği
- Streaming Multiprocessor (SM), Tensor Cores, HBM vs SRAM bant genişliği ve aritmetik yoğunluk (roofline)
- Prefill (TTFT - Time to First Token) ve Decode (ITL - Inter-Token Latency) aşamalarının zıt darboğazları
Profilleme, Graph Derleme ve Kernel Fusion
- PyTorch Profiler ve NVIDIA Nsight Systems ile CUDA stream, kernel launch overhead ve bellek kopyalarını okuma
- torch.compile (TorchInductor), CUDA Graphs ve TensorRT ile operatör birleştirme (kernel fusion)
Attention ve KV Cache Optimizasyonları
- Multi-Head (MHA), Grouped-Query (GQA) ve Multi-Latent Attention (MLA) bellek hesabı
- FlashAttention-2/3, PagedAttention, RadixAttention (SGLang) ile otomatik prefix caching
İleri Quantization: FP8, SmoothQuant, AWQ ve GPTQ
- Weight-only (W4A16 - AWQ/GPTQ) ile weight+activation (W8A8 - FP8/SmoothQuant) arasındaki donanım farkları
- Kalibrasyon veri seti seçimi, perplexity/görev bazlı doğruluk testi ve throughput kazanım analizi
Çoklu GPU Çıkarım ve Speculative Decoding
- Tensor Parallelism (TP) vs Pipeline Parallelism (PP) ve NVLink/PCIe iletişim darboğazları
- Draft model ve Medusa/EAGLE ile speculative decoding kurgulayarak decode hızını 2-3x artırma
Bu Kategorideki Diğer Eğitimler
-
SageMaker Studio, Processing ve Training Jobs, SageMaker Pipelines, Model Registry, Real-Time/Serverless/Async Inference, Model Monitor ve IAM/VPC güvenliği; AWS üzerinde uçtan uca ML işleten ekipler için.
- Canlı Kurs
- 5 modül
-
OpenTelemetry, Prometheus ve Grafana ile sistem ve model telemetrisi, tahmin loglama, gecikmeli gerçek etiket (ground truth) eşleştirme, canlı doğruluk takibi ve olay müdahalesi; MLOps ve SRE ekipleri için.
- Canlı Kurs
- 5 modül
-
Covariate shift, prior probability shift ve concept drift matematiği; PSI, KS, Wasserstein ve MMD testleri; Evidently/NannyML ile etiketsiz performans tahmini ve yeniden eğitim stratejileri; veri bilimciler ve MLOps ekipleri için.
- Canlı Kurs
- 5 modül
-
Training-serving skew ve veri sızıntısını (data leakage) önleyen Feature Store mimarisi; Feast ile offline (Parquet/Snowflake/BigQuery) ve online (Redis) mağaza kurulumu, point-in-time join ve streaming özellikler; veri ve MLOps ekipleri için.
- Canlı Kurs
- 5 modül
-
Üretim öncesi adillik (Fairlearn), açıklanabilirlik (SHAP), olasılık kalibrasyonu, belirsizlik tahmini (Conformal Prediction), guardrail'ler, kademeli dağıtım ve acil durdurma (kill-switch) mekanizmaları; ML ve risk ekipleri için.
- Canlı Kurs
- 5 modül
-
Klasik ML ve GenAI/LLM iş yüklerini birleştiren kurumsal AI platformu tasarımı: hesaplama/GPU orkestrasyonu, veri ve model katmanı, AI Gateway, çoklu kiracı (multi-tenancy) izolasyonu ve referans mimari; mimarlar ve platform liderleri için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
