Eğitimin Amacı ve Kapsamı
Bir modeli basit bir Flask veya FastAPI döngüsü içinde sunmak düşük trafikli iç araçlarda işe yarar; ancak saniyede yüzlerce istek geldiğinde Python GIL kilidi, sıralı GPU çağrıları ve bellek taşmaları yüzünden sistem çöker. Bu ileri seviye eğitim, klasik ML, derin öğrenme ve LLM modellerini üretimde yüksek throughput ve düşük p95/p99 gecikmeyle sunma mimarilerini kapsar.
Online (REST/gRPC), asenkron kuyruk (Kafka/Celery) ve batch çıkarım desenleri; NVIDIA Triton Inference Server, BentoML, Ray Serve ve vLLM üzerinde uygulamalı olarak karşılaştırılır. Dynamic batching, eşzamanlı model çalıştırma, model ensemble/pipeline grafikleri ve Locust/Perf Analyzer ile kapasite testleri yapılarak kuruma uygun bir serving mimarisi tasarlanır.
Kimler Katılmalı?
- Yüksek trafikli tahmin ve çıkarım servisleri geliştiren MLOps, yapay zeka ve backend mühendisleri
- GPU/CPU kaynaklarını verimli kullanarak model sunum maliyetini düşürmek isteyen platform ekipleri
- Gerçek zamanlı öneri, dolandırıcılık tespiti, görüntü işleme veya LLM servislerinden sorumlu mimarlar
- Ön koşul: Python, Docker ve REST API geliştirme deneyimi
Kazanımlar
- İş gereksinimine ve SLA hedeflerine göre online (REST/gRPC), streaming veya batch çıkarım desenini seçmek
- NVIDIA Triton Inference Server ve BentoML/Ray Serve üzerinde dynamic batching ile GPU kullanımını katlamak
- Ön işleme, model ve post-processing adımlarını çoklu model pipeline'ı (ensemble/DAG) olarak sunmak
- Perf Analyzer ve Locust ile p50/p95/p99 gecikme ve throughput sınırlarını ölçüp kuyruk/zaman aşımı ayarlarını yapmak
- Canary, shadow (dark launch) ve A/B yönlendirme stratejileriyle canlı trafiği kesintisiz yeni modele aktarmak
Konular
Çıkarım (Inference) Desenleri ve Protokol Seçimi
- Senkron (REST, gRPC), asenkron kuyruk, streaming (Kafka) ve çevrimdışı batch çıkarım ödünleşimleri
- Protobuf/gRPC ve shared memory ile büyük tensör (görüntü/embedding) transferinde serileştirme darboğazını aşma
NVIDIA Triton Inference Server ile Yüksek Verimli Sunum
- Model repository yapısı, ONNX/TensorRT/PyTorch/Python backend'leri ve config.pbtxt yapılandırması
- Dynamic batching, preferred batch size, max queue delay ve tek GPU'da çoklu model (concurrent execution)
BentoML, Ray Serve ve vLLM ile Python-Native Çıkarım Grafikleri
- BentoML ve Ray Serve ile ön işleme (CPU) ve derin öğrenme (GPU) adımlarını bağımsız ölçekleme
- LLM ve VLM iş yükleri için vLLM ile continuous batching ve PagedAttention mimarisi
Yük Testi, Kapasite Planlama ve Önbellekleme
- Triton Model Analyzer / Perf Analyzer ve Locust ile p99 gecikme - throughput doygunluk eğrisi çıkarma
- Özellik (feature) önbellekleme, semantik önbellek (Redis) ve soğuk başlangıç (cold-start) süresi azaltma
Trafik Yönetimi ve Güvenli Canlıya Geçiş Desenleri
- Shadow deployment (gerçek trafiği klonlama), canary sürümleme ve ağırlıklı A/B yönlendirme
- Devre kesici (circuit breaker), fallback (yedek basit model/kural) ve zarif hata yönetimi (graceful degradation)
Bu Kategorideki Diğer Eğitimler
-
GitHub Actions/GitLab CI ile veri, model ve kod doğrulama, PR üzerinde otomatik model değerlendirme raporları, Airflow/Argo/Prefect ile Continuous Training (CT) tetikleyicileri ve GitOps dağıtımı; MLOps ekipleri için.
- Canlı Kurs
- 5 modül
-
CUDA/PyTorch için optimize Docker imajları, Kubernetes NVIDIA GPU Operator, MIG/time-slicing, KServe ile serverless/autoscaling model sunumu ve Kubeflow/Volcano ile dağıtık eğitim; platform ve MLOps ekipleri için.
- Canlı Kurs
- 5 modül
-
GPU bellek/compute mimarisi, Nsight Systems ile profilleme, TensorRT, FlashAttention, KV cache yönetimi, AWQ/GPTQ/FP8 quantization ve speculative decoding; derin öğrenme ve LLM çıkarım maliyetini düşüren mühendisler için.
- Canlı Kurs
- 5 modül
-
SageMaker Studio, Processing ve Training Jobs, SageMaker Pipelines, Model Registry, Real-Time/Serverless/Async Inference, Model Monitor ve IAM/VPC güvenliği; AWS üzerinde uçtan uca ML işleten ekipler için.
- Canlı Kurs
- 5 modül
-
OpenTelemetry, Prometheus ve Grafana ile sistem ve model telemetrisi, tahmin loglama, gecikmeli gerçek etiket (ground truth) eşleştirme, canlı doğruluk takibi ve olay müdahalesi; MLOps ve SRE ekipleri için.
- Canlı Kurs
- 5 modül
-
Covariate shift, prior probability shift ve concept drift matematiği; PSI, KS, Wasserstein ve MMD testleri; Evidently/NannyML ile etiketsiz performans tahmini ve yeniden eğitim stratejileri; veri bilimciler ve MLOps ekipleri için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
