Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Tek bir container'da çalışan TensorFlow Serving'i kurumsal Kubernetes kümelerine taşırken; büyük model artefaktlarının S3/GCS'den indirilmesi, GPU kaynak paylaşımı, gRPC yük dengeleme ve soğuk başlatma (cold start) sırasında pod'ların erken trafik alması gibi operasyonel sorunlar ortaya çıkar. Bu eğitim, TensorFlow servislerini bulut-yerel (cloud-native) standartlarda paketleme ve orkestre etme pratiği kazandırır.

Katılımcılar özel Docker image'ları oluşturur, initContainer ve nesne depolama entegrasyonu kurar, HTTP/gRPC probe'larını ve Envoy/Istio ile L7 gRPC yük dengelemesini yapılandırır; HPA ve KServe ile otomatik ölçekleme uygular. Çıktı olarak kurumun ortamına uyarlanabilir bir Helm chart/manifest şablonu ve operasyon kontrol listesi üretilir.

Kimler Katılmalı?

  • Model servislerini Kubernetes üzerinde işleten MLOps ve platform mühendisleri
  • Yapay zeka iş yüklerini container altyapısına taşıyan DevOps ve SRE ekipleri
  • Üretim dağıtım süreçlerini standartlaştırmak isteyen ML mühendisleri
  • Ön koşul: temel Docker, Kubernetes (Deployment, Service) ve TensorFlow Serving bilgisi

Kazanımlar

  • Büyük model ağırlıklarını image'dan ayırarak S3/GCS/PVC üzerinden pod'lara bağlamak
  • Kubernetes'te startup, readiness ve liveness probe'larını model yükleme süresine göre ayarlamak
  • HTTP/2 gRPC bağlantı yapışkanlığı (connection sticking) sorununu L7 load balancer ile çözmek
  • NVIDIA GPU Operator, resource limits ve node affinity ile GPU iş yüklerini zamanlamak
  • Prometheus metriklerine dayalı HPA/KEDA ve KServe ile otomatik ölçekleme ve kanarya dağıtımı kurmak

Konular

Üretim Odaklı Docker Paketleme ve Model Depolama
  • CPU (AVX/OneDNN) ve GPU tabanlı TensorFlow Serving image seçimi ve özelleştirme
  • Baked-in image vs S3/GCS/MinIO ve PVC üzerinden model bağlama desenleri
Kubernetes Deployment, Probe ve Konfigürasyon Yönetimi
  • ConfigMap ile models.config ve batching.config enjeksiyonu
  • Büyük modellerde startupProbe, readinessProbe ve graceful shutdown ayarları
Ağ, gRPC Yük Dengeleme ve GPU Zamanlama
  • Kubernetes Service'lerde HTTP/2 gRPC yük dengeleme sorunu ve Envoy/Ingress çözümü
  • NVIDIA device plugin, GPU bellek/çekirdek limitleri, taints/tolerations
Otomatik Ölçekleme: HPA, KEDA ve Özel Metrikler
  • CPU ölçeklemesinin sınırları; QPS ve kuyruk gecikmesine göre HPA/KEDA kuralları
  • Rolling update ve blue/green geçişlerde sıfır kesinti stratejileri
KServe ile Standart Sunum ve CI/CD Şablonu
  • KServe InferenceService ile TensorFlow modellerini deklaratif sunma
  • Helm chart paketleme ve kurum içi dağıtım kontrol listesi

Bu Kategorideki Diğer Eğitimler

  • TorchServe Temelleri

    PyTorch modellerini TorchServe ile üretime alma: özel Handler yazımı, torch-model-archiver ile .mar paketleme, Inference ve Management API kullanımı, worker ve sürüm yönetimi. PyTorch kullanan veri bilimciler ve ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • İleri Seviye TorchServe

    TorchServe ile çoklu model DAG iş akışları (Workflows), torch.compile/ONNX/TensorRT hızlandırma, çoklu GPU ve büyük model paralel sunumu, özel Prometheus metrikleri ve üretim güvenliği. Kıdemli ML ve MLOps mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • TorchServe Batch Inference

    TorchServe'de dynamic batching ve yüksek hacimli toplu skorlama: batch_size ve max_batch_delay kalibrasyonu, vektörize Handler yazımı, değişken boyutlu girdilerde padding ve kuyruk entegrasyonu. ML ve veri mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • ONNX Temelleri

    PyTorch, TensorFlow ve scikit-learn modellerini ONNX formatına dönüştürme, grafik doğrulama, ONNX Runtime ve Execution Provider'lar (CPU, CUDA, TensorRT) ile hızlandırma ve quantization. ML ve deployment mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Triton Temelleri

    NVIDIA Triton Inference Server ile yüksek performanslı model sunumu: Model Repository dizin yapısı, config.pbtxt, dynamic batching, concurrent model execution, HTTP/gRPC istemcileri ve Perf Analyzer. ML ve MLOps mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • İleri Seviye Triton

    Triton Inference Server'da Model Analyzer ile otomatik tuning, Ensemble ve Business Logic Scripting (BLS), stateful/sequence batcher, paylaşımlı bellek (IPC) ve TensorRT-LLM/vLLM backend ile LLM sunumu. Kıdemli ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin