Eğitimin Amacı ve Kapsamı
Standart web uygulamalarında CPU kullanımına göre pod ölçeklemek yeterliyken, yapay zeka servislerinde GPU belleği sabit kalır, gigabaytlarca ağırlığın indirilmesi dakikalar süren cold start'lara yol açar ve uzun süren inference istekleri klasik round-robin yük dengeleyicileri dengesizleştirir. Bu eğitim, model ve LLM servislerini yüksek trafik altında güvenilir ve ekonomik biçimde ölçekleme mühendisliğini kapsar.
Katılımcılar Prometheus, HPA, KEDA ve Knative/KServe ile kuyruk derinliği ve aktif istek sayısına dayalı autoscaling kurar; GPU time-slicing ve MIG yapılandırır; model önbellekleme ile pod açılış süresini kısaltır ve Karpenter/Cluster Autoscaler ile GPU düğümlerini yönetir. Eğitim sonunda kurum için bir ölçekleme mimarisi ve kapasite testi raporu üretilir.
Kimler Katılmalı?
- Kubernetes üzerinde model ve LLM servisleri işleten MLOps ve platform mühendisleri
- Yüksek trafikli yapay zeka sistemlerinin güvenilirliğinden sorumlu SRE ve DevOps uzmanları
- Bulut GPU altyapısını ve ölçekleme politikalarını tasarlayan altyapı mimarları
- Ön koşul: Kubernetes, Docker ve temel model serving deneyimi
Kazanımlar
- CPU yerine QPS, concurrency, kuyruk derinliği ve KV-cache doluluğuna göre HPA/KEDA kuralları yazmak
- Knative ve KServe ile az kullanılan modellerde scale-to-zero uygulayıp maliyetleri düşürmek
- Büyük model image'ları ve ağırlıkları için PVC, local NVMe cache ve image streaming ile cold start'ı hızlandırmak
- NVIDIA MIG ve GPU time-slicing ile tek GPU'yu birden fazla model pod'u arasında güvenli paylaştırmak
- Least-request yük dengeleme, backpressure, load shedding ve Karpenter ile GPU düğüm ölçeklemesini kurgulamak
Konular
Dikey ve Yatay Ölçekleme Temelleri ve GPU Paylaşımı
- Pod içi paralellik (worker/instance) vs pod kopyası (replica) ölçekleme dengesi
- NVIDIA GPU Operator ile Time-Slicing, MPS ve Multi-Instance GPU (MIG) yapılandırması
Özel Metriklerle Pod Ölçekleme: HPA, KEDA ve Knative
- DCGM GPU metrikleri, kuyruk uzunluğu, in-flight istek ve LLM KV-cache metrikleriyle ölçekleme
- KEDA (Kafka/Redis kuyruğu ve Prometheus trigger'ları) ve Knative/KServe ile scale-to-zero
- Stabilization window, cooldown ve flapping (sürekli aç-kapa) önleme ayarları
Cold Start Azaltma ve Büyük Model Dağıtım Hızlandırma
- Container image şişmesini önleme, ReadWriteMany PVC ve düğüm üstü NVMe önbellekleme
- Model ağırlıklarını paralel indirme, safetensors memory-mapping (
mmap) ve overprovisioning
Akıllı Yük Dengeleme, Backpressure ve Dayanıklılık
- Uzun süren ve değişken maliyetli inference çağrılarında Least-Request ve Prefix/KV-cache aware routing
- Max concurrency sınırı, kuyruk sınırı, circuit breaker ve kontrollü load shedding (HTTP 429/503)
Düğüm (Node) Ölçekleme ve Kapasite Testi Atölyesi
- Cluster Autoscaler ve Karpenter ile GPU node group yönetimi, on-demand + spot hibrit havuzlar
- Ani trafik sıçraması (spike) simülasyonu, darboğaz analizi ve ölçekleme kontrol listesi
Bu Kategorideki Diğer Eğitimler
-
Eğitilmiş bir modeli notebook'tan production'a taşımanın temel adımları: serialization, API ile servis etme, container'a paketleme, temel monitoring ve rollback. Model deployment sürecine yeni başlayan veri bilimciler ve geliştiriciler için.
- Canlı Kurs
- 5 modül
-
Model servisleri için REST ve gRPC protokollerinin temelleri: HTTP/JSON tasarımı, OpenAPI, Protocol Buffers, streaming RPC ve performans karşılaştırması. Doğru protokolü seçip ilk servisini yazmak isteyen geliştiriciler için.
- Canlı Kurs
- 5 modül
-
Senkron ve asenkron inference desenleri: istek-yanıt, kuyruk tabanlı işleme (Celery, Redis, Kafka), job polling, webhook ve async Python. Uzun süren model çağrılarını ölçeklenebilir biçimde tasarlamak isteyen mühendisler için.
- Canlı Kurs
- 5 modül
-
Üç temel inference modunun karşılaştırması: Spark ve Airflow ile batch scoring, REST tabanlı real-time servisler ve Kafka/Flink ile streaming inference. İş ihtiyacına uygun modu seçmek isteyen veri ve ML ekipleri için.
- Canlı Kurs
- 5 modül
-
Modelleri güvenli ve taşınabilir biçimde kaydetme: pickle/joblib riskleri, TorchScript, SavedModel, ONNX, safetensors ve GGUF formatları, MLflow ile paketleme ve sürüm uyumluluğu. ML mühendisleri ve veri bilimciler için.
- Canlı Kurs
- 5 modül
-
Model sunma mimari desenleri: embedded model, model-as-a-service, serverless, edge, multi-model ve LLM gateway yapıları; KServe, Triton, Ray Serve ve vLLM gibi platformların konumlandırılması. Mimarlar ve kıdemli ML mühendisleri için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
