Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Büyük derin öğrenme ve LLM modellerinde asıl maliyet eğitimden çok 7/24 çalışan çıkarım (inference) GPU'larında oluşur; üstelik çoğu üretim kümesinde GPU'ların gerçek hesaplama kapasitesi bellek bant genişliği darboğazları yüzünden %20'nin altında kullanılır. Bu ileri seviye eğitim, GPU donanım mimarisinden başlayarak derin öğrenme ve transformer çıkarımını alt seviyede hızlandırma tekniklerini kapsar.

SRAM/HBM bellek hiyerarşisi, prefill (compute-bound) ve decode (memory-bound) aşamaları, Nsight Systems ve PyTorch Profiler ile darboğaz tespiti, TensorRT / TensorRT-LLM derlemesi, FlashAttention, PagedAttention (KV cache), FP8/AWQ/GPTQ quantization ve speculative decoding uygulamalı olarak çalışılır. Katılımcılar kendi modelleri üzerinde token/saniye (TPS) ve dolar/milyon istek metriklerini iyileştiren bir optimizasyon çalışması yürütür.

Kimler Katılmalı?

  • LLM, VLM ve derin öğrenme servislerinin gecikme ve GPU maliyetini optimize eden yapay zeka mühendisleri
  • Yüksek ölçekli çıkarım altyapısı işleten MLOps ve AI platform mühendisleri
  • vLLM, SGLang, TensorRT-LLM veya özel PyTorch çıkarım motorlarıyla çalışan sistem geliştiriciler
  • Ön koşul: PyTorch, transformer mimarisi ve temel GPU/CUDA çalışma mantığı bilgisi

Kazanımlar

  • Roofline modeli ile bir iş yükünün compute-bound mı yoksa memory-bandwidth-bound mı olduğunu hesaplamak
  • PyTorch Profiler ve NVIDIA Nsight ile CPU-GPU senkronizasyon beklemelerini ve yavaş kernel'ları yakalamak
  • KV cache bellek ayak izini hesaplayıp PagedAttention, prefix caching ve KV cache quantization uygulamak
  • FP8, INT8 (SmoothQuant) ve INT4 (AWQ/GPTQ) ağırlık/aktivasyon quantization yöntemlerini doğruluk kaybını ölçerek devreye almak
  • TensorRT-LLM, vLLM ve SGLang üzerinde tensor parallelism ve speculative decoding ile TTFT ve ITL gecikmelerini düşürmek

Konular

GPU Donanım Mimarisi ve Çıkarım Matematiği
  • Streaming Multiprocessor (SM), Tensor Cores, HBM vs SRAM bant genişliği ve aritmetik yoğunluk (roofline)
  • Prefill (TTFT - Time to First Token) ve Decode (ITL - Inter-Token Latency) aşamalarının zıt darboğazları
Profilleme, Graph Derleme ve Kernel Fusion
  • PyTorch Profiler ve NVIDIA Nsight Systems ile CUDA stream, kernel launch overhead ve bellek kopyalarını okuma
  • torch.compile (TorchInductor), CUDA Graphs ve TensorRT ile operatör birleştirme (kernel fusion)
Attention ve KV Cache Optimizasyonları
  • Multi-Head (MHA), Grouped-Query (GQA) ve Multi-Latent Attention (MLA) bellek hesabı
  • FlashAttention-2/3, PagedAttention, RadixAttention (SGLang) ile otomatik prefix caching
İleri Quantization: FP8, SmoothQuant, AWQ ve GPTQ
  • Weight-only (W4A16 - AWQ/GPTQ) ile weight+activation (W8A8 - FP8/SmoothQuant) arasındaki donanım farkları
  • Kalibrasyon veri seti seçimi, perplexity/görev bazlı doğruluk testi ve throughput kazanım analizi
Çoklu GPU Çıkarım ve Speculative Decoding
  • Tensor Parallelism (TP) vs Pipeline Parallelism (PP) ve NVLink/PCIe iletişim darboğazları
  • Draft model ve Medusa/EAGLE ile speculative decoding kurgulayarak decode hızını 2-3x artırma

Bu Kategorideki Diğer Eğitimler

Bizimle iletişime geçin