Eğitimin Amacı ve Kapsamı
Standart mikroservisler için kurulan Kubernetes kümeleri; devasa container imajları, onlarca gigabaytlık model ağırlıkları, pahalı GPU kaynakları ve gang scheduling gereksinimleri nedeniyle yapay zeka iş yüklerinde zorlanır. Bu eğitim, mevcut veya yeni bir Kubernetes kümesini hem LLM inference servisleri hem de batch/fine-tuning işleri için üretime hazır bir GPU platformuna dönüştürmeyi öğretir.
Uygulamalarda NVIDIA GPU Operator, MIG ve time-slicing ile GPU bölümleme, PVC/CSI üzerinden hızlı model yükleme, Kueue ile ekip bazlı GPU kota/kuyruk yönetimi, LeaderWorkerSet ile çok düğümlü inference ve DCGM Exporter/Prometheus ile GPU telemetrisi kurulur.
Kimler Katılmalı?
- Kubernetes kümelerini yöneten platform, DevOps ve SRE mühendisleri
- Modellerini Kubernetes üzerinde sunan ve eğiten MLOps/LLMOps ekipleri
- Kurum içi GPU havuzunu birden fazla ekibe paylaştıran altyapı mimarları
- Ön koşul: temel Kubernetes nesneleri (Pod, Deployment, Service, PVC) ve Helm bilgisi
Kazanımlar
- NVIDIA GPU Operator ile sürücü, container runtime ve device plugin katmanını yönetmek
- MIG, time-slicing ve MPS ile küçük modelleri tek GPU üzerinde güvenle paylaştırmak
- Model ağırlıklarını önbellekleyerek pod cold-start süresini dakikalardan saniyelere indirmek
- Kueue veya Volcano ile önceliklendirme, kota ve batch GPU zamanlaması yapmak
- DCGM metrikleri ve özel kuyruk metrikleriyle LLM servislerini otomatik ölçeklendirmek
Konular
Kubernetes üzerinde GPU Yönetimi ve GPU Operator
- NVIDIA GPU Operator bileşenleri, Node Feature Discovery ve taint/toleration yapısı
- Topoloji farkındalıklı zamanlama (Topology Manager, NUMA ve NVLink)
GPU Paylaşımı: MIG, Time-Slicing ve MPS
- Donanım izolasyonlu Multi-Instance GPU (MIG) profilleri
- Embedding, reranker ve geliştirme ortamları için time-slicing ve MPS
Model Ağırlığı Depolama ve Hızlı Cold-Start
- ReadWriteMany PVC, yerel NVMe cache ve OCI model artifact yaklaşımları
- Büyük container imajları için image streaming ve pre-pull stratejileri
İş Yükü Zamanlama ve Çok Düğümlü Inference
- Kueue ve Volcano ile çok kiracılı GPU kotaları, preemption ve gang scheduling
- LeaderWorkerSet (LWS) ve Ray ile çoklu node üzerinde büyük LLM sunumu
GPU Gözlemlenebilirliği ve Autoscaling
- DCGM Exporter ile SM kullanımı, VRAM, sıcaklık ve Xid donanım hataları
- KEDA/HPA ile vLLM kuyruk derinliği ve KV cache doluluğuna göre ölçeklendirme
Bu Kategorideki Diğer Eğitimler
-
Küçük dil modellerinin (SLM) uç cihazlar, saha donanımları ve NPU/gömülü GPU'larda çalıştırılması: Llama 3.2/Qwen/Gemma/Phi (1B–4B), ONNX Runtime GenAI, ExecuTorch, TensorRT-Edge, Jetson ve çevrimdışı saha senaryoları.
- Canlı Kurs
- 5 modül
-
LLM sistemlerinde birim maliyet (cost per request / 1M token) analizi ve optimizasyonu: kendi GPU'nu işletme vs ticari API başabaş hesabı, prompt/output token daraltma, batch API, model kademelendirme ve AI FinOps metrikleri.
- Canlı Kurs
- 5 modül
-
Açık ağırlıklı bir LLM'in GPU sunucuda OpenAI uyumlu API olarak nasıl sunulduğunu öğretir: inference motorları, VRAM hesabı, temel serving ayarları ve ilk benchmark. Geliştirici ve platform ekipleri için giriş programı.
- Canlı Kurs
- 5 modül
-
vLLM ile yüksek throughput'lu LLM serving: PagedAttention, continuous batching, tensor parallelism, prefix caching, LoRA adapter sunumu ve Prometheus metrikleri. Üretime hazır bir vLLM deployment'ı ve benchmark raporu çıkarılır.
- Canlı Kurs
- 5 modül
-
Hugging Face Text Generation Inference (TGI) ile LLM sunma: Docker kurulumu, sharding, quantization, Messages API, guidance ile structured output ve Inference Endpoints. Hugging Face ekosistemini kullanan ekipler için uygulamalı program.
- Canlı Kurs
- 5 modül
-
Ollama ile açık ağırlıklı modelleri dizüstü, iş istasyonu veya sunucuda çalıştırma: model kütüphanesi, Modelfile, REST/OpenAI uyumlu API, Open WebUI, embedding ve ekip içi paylaşımlı kurulum. Hızlı prototip ve gizli veri senaryoları için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
