Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

TorchServe'de sadece batch_size parametresini büyütmek, Handler kodu tekil girdiye göre yazıldıysa hiçbir hızlanma sağlamaz; hatta hatalara yol açar. Bu eğitim, hem online trafikte GPU verimliliğini katlayan dynamic batching mekanizmasını hem de milyonlarca kaydı işleyen offline/mikro-batch skorlama mimarilerini uçtan uca ele alır.

Katılımcılar liste halindeki istekleri tek bir tensörde birleştiren vektörize preprocess ve postprocess metotları yazar, farklı uzunluktaki metin ve görüntüler için dinamik padding uygular, kısmi hata (partial failure) yönetimini kurgular ve Airflow/Kafka ile toplu iş akışı oluşturur. Eğitim sonunda yük testiyle doğrulanmış bir batch handler şablonu üretilir.

Kimler Katılmalı?

  • TorchServe servislerinde GPU kullanım oranını ve throughput'u artırmak isteyen ML mühendisleri
  • Yüksek hacimli doküman, görüntü veya tablo verisini toplu skorlayan veri mühendisleri
  • Inference maliyetlerini düşürmeyi hedefleyen MLOps uzmanları
  • Ön koşul: temel PyTorch ve TorchServe Handler bilgisi

Kazanımlar

  • TorchServe frontend kuyruğu ile backend worker arasındaki dynamic batching akışını yapılandırmak
  • Çoklu isteği tek seferde işleyen vektörize preprocess, inference ve postprocess yazmak
  • Değişken uzunluklu NLP ve farklı çözünürlüklü görüntü girdilerini güvenli biçimde tensörleştirmek
  • batch_size ve max_batch_delay parametrelerini SLA hedefine göre kalibre etmek
  • Büyük veri kümeleri için asenkron kuyruk ve mikro-batch skorlama pipeline'ı kurmak

Konular

TorchServe Batching Mekanizmasının Çalışma Prensibi
  • Frontend job kuyruğu, batch_size, max_batch_delay ve worker iletişimi
  • Online dynamic batching ile offline bulk scoring arasındaki mimari farklar
Batch-Aware (Vektörize) Handler Geliştirme
  • data listesini ayrıştırma, torch.stack / torch.cat ile tensör birleştirme
  • Tahmin sonuçlarını istek sırasını bozmadan istemcilere geri eşleme
  • Batch içindeki bozuk tekil girdileri (partial failure) izole etme
Değişken Boyutlu Girdiler: NLP ve Görüntü Padding
  • Tokenizer'larda dynamic padding, attention mask ve uzunluk sıralama (bucketing)
  • Farklı boyuttaki görüntülerde resize/pad stratejileri ve CPU darboğazını önleme
Parametre Kalibrasyonu ve Bellek Yönetimi
  • CUDA Out-of-Memory (OOM) hatalarını önleme, torch.inference_mode kullanımı
  • Locust/wrk ile farklı batch_size ve max_batch_delay kombinasyonlarını test etme
Yüksek Hacimli Offline ve Mikro-Batch Pipeline'ları
  • S3/Parquet kaynaklarından okuma, asenkron HTTP/gRPC istemci havuzu ile gönderim
  • Airflow veya Kafka consumer ile TorchServe üzerinde toplu skorlama mimarisi

Bu Kategorideki Diğer Eğitimler

  • ONNX Temelleri

    PyTorch, TensorFlow ve scikit-learn modellerini ONNX formatına dönüştürme, grafik doğrulama, ONNX Runtime ve Execution Provider'lar (CPU, CUDA, TensorRT) ile hızlandırma ve quantization. ML ve deployment mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Triton Temelleri

    NVIDIA Triton Inference Server ile yüksek performanslı model sunumu: Model Repository dizin yapısı, config.pbtxt, dynamic batching, concurrent model execution, HTTP/gRPC istemcileri ve Perf Analyzer. ML ve MLOps mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • İleri Seviye Triton

    Triton Inference Server'da Model Analyzer ile otomatik tuning, Ensemble ve Business Logic Scripting (BLS), stateful/sequence batcher, paylaşımlı bellek (IPC) ve TensorRT-LLM/vLLM backend ile LLM sunumu. Kıdemli ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Triton ile Diğer Framework Entegrasyonu

    PyTorch, TensorFlow, ONNX, TensorRT, OpenVINO ve scikit-learn/XGBoost (FIL) modellerini ve özel Python backend'lerini tek bir Triton sunucusunda birleştirme. Heterojen model portföyünü yöneten ML ve MLOps mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • FastAPI ile Model Sunma

    FastAPI ile üretime hazır ML ve LLM inference servisleri geliştirme: lifespan ile model yükleme, Pydantic v2 şemaları, async/threadpool yönetimi, SSE streaming, Gunicorn/Uvicorn ayarları ve Prometheus izleme. Geliştiriciler ve ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Flask ile Model Sunma

    Flask ve WSGI mimarisi ile hafif ML tahmin servisleri geliştirme: Application Factory, Blueprint, Marshmallow/Pydantic doğrulama, Gunicorn worker/thread ayarları ve Docker paketleme. Veri bilimciler ve Python geliştiricileri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin