Eğitimin Amacı ve Kapsamı
Yapay zeka iş yüklerini Kubernetes üzerinde çalıştırmak standart mikroservis dağıtmaktan çok farklıdır: 10 GB'lık CUDA container imajları, pahalı GPU'ların boşta beklemesi, model ağırlıklarının yavaş indirilmesi ve CPU yerine kuyruk/GPU metriklerine göre ölçekleme ihtiyacı özel mimari çözümler gerektirir. Bu eğitim, container optimizasyonundan Kubernetes üzerinde kurumsal AI iş yükü orkestrasyonuna kadar tüm katmanları kapsar.
Çok aşamalı (multi-stage) CUDA Dockerfile yazımı, NVIDIA GPU Operator, MIG ve time-slicing ile GPU paylaşımı, KServe ve Knative/KEDA ile ölçeklenen çıkarım servisleri ve Kubeflow Training Operator ile çoklu GPU eğitim işleri uygulamalı olarak çalışılır. Katılımcılar kendi kümeleri için üretime hazır Helm/Kustomize şablonları ve GPU kapasite planı oluşturur.
Kimler Katılmalı?
- Yapay zeka ve veri bilimi iş yüklerini Kubernetes üzerinde işleten MLOps, DevOps ve SRE mühendisleri
- Kurum içi (on-prem) veya bulut (EKS, GKE, AKS) GPU kümelerini yöneten platform mühendisleri
- Büyük modelleri ölçeklenebilir mikroservisler olarak dağıtan yapay zeka altyapı uzmanları
- Ön koşul: Temel Docker ve Kubernetes (Pod, Deployment, Service) bilgisi
Kazanımlar
- PyTorch ve CUDA bağımlılıklarını içeren container imajlarını katman önbellekleme ve multi-stage build ile küçültmek
- NVIDIA GPU Operator, Time-Slicing ve Multi-Instance GPU (MIG) ile tek GPU'yu birden fazla pod arasında güvenle paylaştırmak
- Büyük model ağırlıklarını imaja gömmek yerine PVC, S3 init-container veya önbellek katmanıyla hızlı bağlamak
- KServe ve KEDA kullanarak istek kuyruğu uzunluğu ve GPU metriklerine göre (scale-to-zero dahil) otomatik ölçekleme kurmak
- Kubeflow Training Operator ve Volcano/Kueue ile toplu eğitim ve çıkarım işleri arasında GPU önceliklendirmesi yapmak
Konular
AI/ML İş Yükleri için İleri Container Mühendisliği
- CUDA base image seçimi (runtime vs devel), multi-stage build, uv/pip cache mount ve imaj boyutu küçültme
- Model ağırlıklarını container imajından ayırma, rootless çalışma ve GPU uyumluluk doğrulaması
Kubernetes üzerinde GPU Yönetimi ve Paylaşımı
- NVIDIA GPU Operator kurulumu, sürücü/container toolkit yönetimi ve DCGM Exporter ile GPU telemetrisi
- GPU Time-Slicing, Multi-Instance GPU (MIG) profilleri, node selector, taint/toleration ve topoloji farkındalığı
KServe ile Ölçeklenebilir Model Sunumu (InferenceService)
- KServe mimarisi: Storage Initializer (S3/PVC), Predictor, Transformer ve Explainer bileşenleri
- Canary trafik bölme, InferenceGraph ile çoklu model zincirleme ve model önbellekleme
Otomatik Ölçekleme (KEDA/Knative) ve Soğuk Başlangıç Optimizasyonu
- CPU HPA neden AI için yetmez? İstek kuyruğu (concurrency), gecikme ve DCGM GPU metrikleriyle KEDA ölçekleme
- Büyük modellerde pod ayağa kalkma (startup/readiness probe) ayarları ve yerel NVMe ağırlık önbelleği
Kubernetes Üzerinde Dağıtık Eğitim ve İş Kuyruklama (Kueue)
- Kubeflow Training Operator (PyTorchJob) ile çoklu pod/GPU üzerinde DDP eğitim çalıştırma
- Kueue ile takım kotaları, iş kuyruklama, spot/preemptible node kullanımı ve eğitim/çıkarım önceliklendirmesi
Bu Kategorideki Diğer Eğitimler
-
GPU bellek/compute mimarisi, Nsight Systems ile profilleme, TensorRT, FlashAttention, KV cache yönetimi, AWQ/GPTQ/FP8 quantization ve speculative decoding; derin öğrenme ve LLM çıkarım maliyetini düşüren mühendisler için.
- Canlı Kurs
- 5 modül
-
SageMaker Studio, Processing ve Training Jobs, SageMaker Pipelines, Model Registry, Real-Time/Serverless/Async Inference, Model Monitor ve IAM/VPC güvenliği; AWS üzerinde uçtan uca ML işleten ekipler için.
- Canlı Kurs
- 5 modül
-
OpenTelemetry, Prometheus ve Grafana ile sistem ve model telemetrisi, tahmin loglama, gecikmeli gerçek etiket (ground truth) eşleştirme, canlı doğruluk takibi ve olay müdahalesi; MLOps ve SRE ekipleri için.
- Canlı Kurs
- 5 modül
-
Covariate shift, prior probability shift ve concept drift matematiği; PSI, KS, Wasserstein ve MMD testleri; Evidently/NannyML ile etiketsiz performans tahmini ve yeniden eğitim stratejileri; veri bilimciler ve MLOps ekipleri için.
- Canlı Kurs
- 5 modül
-
Training-serving skew ve veri sızıntısını (data leakage) önleyen Feature Store mimarisi; Feast ile offline (Parquet/Snowflake/BigQuery) ve online (Redis) mağaza kurulumu, point-in-time join ve streaming özellikler; veri ve MLOps ekipleri için.
- Canlı Kurs
- 5 modül
-
Üretim öncesi adillik (Fairlearn), açıklanabilirlik (SHAP), olasılık kalibrasyonu, belirsizlik tahmini (Conformal Prediction), guardrail'ler, kademeli dağıtım ve acil durdurma (kill-switch) mekanizmaları; ML ve risk ekipleri için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
