Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Yüksek QPS altında çalışan veya aynı sunucuda onlarca modeli barındıran TensorFlow Serving kurulumları, varsayılan ayarlarla ciddi GPU darboğazları ve latency sıçramaları yaşar. Bu ileri seviye program; sunucu içi batching zamanlayıcısını, XLA ve TensorRT grafik optimizasyonlarını, çoklu model/sürüm etiketlerini (version labels) ve gözlemlenebilirlik ayarlarını derinlemesine ele alır.

Katılımcılar çalışma zamanında yeniden başlatma gerektirmeden HandleReloadConfigRequest ile model havuzunu günceller, batching parametrelerini yük testi altında kalibre eder ve Prometheus metrikleriyle kuyruk gecikmelerini izler. Eğitim sonunda üretime hazır bir yapılandırma paketi ve performans inceleme kontrol listesi oluşturulur.

Kimler Katılmalı?

  • Üretimde TensorFlow Serving işleten kıdemli ML ve MLOps mühendisleri
  • GPU verimliliği ve düşük gecikmeli inference'tan sorumlu performans mühendisleri
  • Çoklu model sunum altyapısını yöneten platform mühendisleri
  • Ön koşul: SavedModel ve temel TensorFlow Serving deneyimi

Kazanımlar

  • ModelServerConfig ile çoklu model ve kanarya sürüm etiketlerini dinamik yönetmek
  • Sunucu tarafı batching parametrelerini (batch size, timeout, thread) iş yüküne göre optimize etmek
  • XLA, FP16/INT8 quantization ve TF-TensorRT ile inference süresini kısaltmak
  • GPU bellek tahsisi ve CPU/GPU thread havuzlarını darboğazsız yapılandırmak
  • Prometheus metrikleri ve TensorFlow Profiler ile üretim darboğazlarını teşhis etmek

Konular

TensorFlow Serving İç Mimarisi ve Yaşam Döngüsü
  • Servable, AspiredVersionManager, Source ve Loader bileşenleri
  • Bellek yönetimi, model yükleme/boşaltma sıralaması ve kesintisiz geçiş
Dinamik Çoklu Model ve Sürüm Etiketleri Yönetimi
  • models.config ile çoklu model ve stable/canary etiket tanımları
  • HandleReloadConfigRequest ile çalışma zamanında kesintisiz yapılandırma güncelleme
Sunucu Tarafı Batching ve Thread Havuzu Ayarları
  • max_batch_size, batch_timeout_micros ve max_enqueued_batches kalibrasyonu
  • Inter-op / intra-op paralellik ve per_process_gpu_memory_fraction ayarları
Grafik Optimizasyonu: XLA, Quantization ve TensorRT
  • XLA JIT derlemesi ve Grappler optimizasyon geçişleri
  • FP16/INT8 post-training quantization ve TF-TensorRT ile GPU hızlandırma
Gözlemlenebilirlik, Profiling ve Sorun Giderme
  • Prometheus /monitoring/prometheus/metrics çıktısı ve kuyruk metrikleri
  • TensorFlow Profiler ile grafik içi operasyon sürelerini analiz etme

Bu Kategorideki Diğer Eğitimler

  • TensorFlow Docker ve Kubernetes Entegrasyonu

    TensorFlow Serving servislerini Docker ve Kubernetes üzerinde ölçeklenebilir biçimde işletme: nesne depolamadan model çekme, GPU zamanlama, readiness/liveness probe'ları, HPA/KEDA ve KServe entegrasyonu. MLOps ve platform mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • TorchServe Temelleri

    PyTorch modellerini TorchServe ile üretime alma: özel Handler yazımı, torch-model-archiver ile .mar paketleme, Inference ve Management API kullanımı, worker ve sürüm yönetimi. PyTorch kullanan veri bilimciler ve ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • İleri Seviye TorchServe

    TorchServe ile çoklu model DAG iş akışları (Workflows), torch.compile/ONNX/TensorRT hızlandırma, çoklu GPU ve büyük model paralel sunumu, özel Prometheus metrikleri ve üretim güvenliği. Kıdemli ML ve MLOps mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • TorchServe Batch Inference

    TorchServe'de dynamic batching ve yüksek hacimli toplu skorlama: batch_size ve max_batch_delay kalibrasyonu, vektörize Handler yazımı, değişken boyutlu girdilerde padding ve kuyruk entegrasyonu. ML ve veri mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • ONNX Temelleri

    PyTorch, TensorFlow ve scikit-learn modellerini ONNX formatına dönüştürme, grafik doğrulama, ONNX Runtime ve Execution Provider'lar (CPU, CUDA, TensorRT) ile hızlandırma ve quantization. ML ve deployment mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Triton Temelleri

    NVIDIA Triton Inference Server ile yüksek performanslı model sunumu: Model Repository dizin yapısı, config.pbtxt, dynamic batching, concurrent model execution, HTTP/gRPC istemcileri ve Perf Analyzer. ML ve MLOps mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin