Eğitimin Amacı ve Kapsamı
Yüksek hacimli kurumsal yapay zeka platformlarında LLM'lerin yanı sıra embedding, reranker, OCR, ses ve klasik ML modelleri aynı GPU filosunda birlikte çalışır. Bu eğitim; NVIDIA Triton Inference Server'ın çoklu backend yapısını (TensorRT-LLM, ONNX Runtime, PyTorch, Python/vLLM) ve KServe'in Kubernetes üzerindeki standartlaştırılmış model dağıtım yeteneklerini derinlemesine inceler.
Katılımcılar lab'larda Triton üzerinde dynamic batching ve multi-model ensemble pipeline'ı kurar, Triton Model Analyzer ile eşzamanlı instance ve batch ayarlarını optimize eder ve bu servisleri KServe InferenceService ile canary dağıtım ve otomatik ölçeklendirme altında işletir.
Kimler Katılmalı?
- Yüksek performanslı inference altyapısı kuran MLOps ve platform mühendisleri
- NVIDIA GPU kümelerinde birden çok model türünü sunan yapay zeka mühendisleri
- Kubernetes tabanlı model serving platformu yöneten altyapı mimarları
- Ön koşul: Docker, Kubernetes ve temel GPU/model serving bilgisi
Kazanımlar
- Triton model repository yapısını ve
config.pbtxtparametrelerini yapılandırmak - TensorRT-LLM, ONNX ve Python backend'leriyle farklı modelleri aynı sunucuda çalıştırmak
- Dynamic batching, instance group ve Model Analyzer ile GPU kullanımını maksimize etmek
- KServe üzerinde Serverless (Knative) ve RawDeployment modlarında servis yayınlamak
- Transformer (pre/post-processing), canary rollout ve OpenInference protokolünü uygulamak
Konular
NVIDIA Triton Mimarisi ve Model Repository
- Model repository dizin yapısı, sürümleme ve
config.pbtxt - HTTP/REST, gRPC ve shared memory protokolleri
Çoklu Backend ve Ensemble Pipeline'lar
- ONNX Runtime, TensorRT, Python ve TensorRT-LLM/vLLM backend'leri
- Tokenizer + model + post-processing adımlarını BLS ve ensemble ile birleştirme
Batching, Eşzamanlılık ve Model Analyzer
- Dynamic batching, sequence batcher ve çoklu
instance_groupayarları - Triton Model Analyzer ve Perf Analyzer ile latency/throughput profili çıkarma
KServe Mimarisi ve ServingRuntime
InferenceService,ServingRuntimeve storage initializer yapısı- Knative Serverless (scale-to-zero) ile RawDeployment karşılaştırması
Üretim Operasyonları ve Dağıtım Stratejileri
- Canary trafik bölme, custom predictor/transformer ve GPU metrikleri
- Kurumsal serving platformu için Triton + KServe referans şablonu
Bu Kategorideki Diğer Eğitimler
-
LLM serving'de bellek ve eşzamanlılık darboğazlarını çözme: KV cache bellek matematiği, PagedAttention, SGLang RadixAttention, prefix caching, FP8 KV cache quantization, continuous batching ve chunked prefill ayarları.
- Canlı Kurs
- 5 modül
-
LLM servislerinde TTFT, ITL ve toplam throughput optimizasyonu: compute-bound ve memory-bandwidth-bound darboğaz analizi, FlashAttention/FlashInfer, CUDA Graphs, speculative decoding, paralellik ayarları ve SLO odaklı yük testi.
- Canlı Kurs
- 5 modül
-
Kubernetes üzerinde GPU ve LLM iş yüklerinin işletimi: NVIDIA GPU Operator, MIG ve time-slicing ile GPU paylaşımı, Kueue/Volcano ile kuyruk yönetimi, hızlı model ağırlığı önbellekleme, GPU autoscaling ve DCGM izleme.
- Canlı Kurs
- 5 modül
-
Küçük dil modellerinin (SLM) uç cihazlar, saha donanımları ve NPU/gömülü GPU'larda çalıştırılması: Llama 3.2/Qwen/Gemma/Phi (1B–4B), ONNX Runtime GenAI, ExecuTorch, TensorRT-Edge, Jetson ve çevrimdışı saha senaryoları.
- Canlı Kurs
- 5 modül
-
LLM sistemlerinde birim maliyet (cost per request / 1M token) analizi ve optimizasyonu: kendi GPU'nu işletme vs ticari API başabaş hesabı, prompt/output token daraltma, batch API, model kademelendirme ve AI FinOps metrikleri.
- Canlı Kurs
- 5 modül
-
Açık ağırlıklı bir LLM'in GPU sunucuda OpenAI uyumlu API olarak nasıl sunulduğunu öğretir: inference motorları, VRAM hesabı, temel serving ayarları ve ilk benchmark. Geliştirici ve platform ekipleri için giriş programı.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
