Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Karmaşık üretim senaryolarında Triton'dan tam performans almak; modeller arası sıfır kopyalı (zero-copy) veri aktarımını, koşullu iş mantığını, durum bilgili (stateful) dizi modellerini ve LLM'ler için in-flight batching yapılandırmasını gerektirir. Bu ileri seviye program, Triton'un mimari sınırlarını zorlayan özellikleri uygulamalı olarak kapsar.

Katılımcılar Ensemble ve Business Logic Scripting (BLS) ile GPU üzerinde çok adımlı pipeline'lar kurar, System/CUDA Shared Memory ile ağ darboğazını aşar, Model Analyzer ile optimal batch/instance kombinasyonunu otomatik bulur ve TensorRT-LLM / vLLM backend üzerinde streaming LLM servisi çalıştırır. Çıktı olarak kurum senaryosuna uyarlanmış ileri seviye bir Triton mimarisi ve tuning raporu üretilir.

Kimler Katılmalı?

  • Triton üzerinde yüksek throughput ve düşük latency hedefleriyle çalışan kıdemli ML mühendisleri
  • Çok adımlı görüntü, ses veya LLM inference pipeline'ları kuran yapay zeka mimarları
  • GPU kümesi maliyetlerini ve kapasitesini optimize eden MLOps ve platform mühendisleri
  • Ön koşul: Triton Temelleri (Model Repository, config.pbtxt, istemci kullanımı) deneyimi

Kazanımlar

  • Ensemble scheduler ve BLS ile döngü ve koşul içeren çok modelli pipeline'lar tasarlamak
  • Model Analyzer ile latency/VRAM kısıtları altında en iyi config.pbtxt parametrelerini bulmak
  • Sequence batcher, response cache ve priority queue mekanizmalarını yapılandırmak
  • System ve CUDA Shared Memory kullanarak büyük tensör transfer maliyetini ortadan kaldırmak
  • TensorRT-LLM ve vLLM backend'leri ile decoupled streaming modunda LLM sunmak

Konular

Ensemble Modeller ve Business Logic Scripting (BLS)
  • Ensemble scheduler ile ön işleme, model ve son işleme adımlarını zincirleme
  • Python backend içinde InferenceRequest (BLS) ile koşullu/döngüsel model çağırma
  • DLPack ile GPU belleğinde sıfır kopyalı (zero-copy) tensör paylaşımı
İleri Zamanlama: Sequence Batcher, Öncelik ve Cache
  • Stateful modeller için sequence_batching (Direct ve Oldest stratejileri, CORRID)
  • Çok seviyeli priority queue, timeout ve Triton Response Cache yapılandırması
Bellek, İletişim ve Çoklu GPU Optimizasyonu
  • Büyük görüntü/ses girdileri için System ve CUDA Shared Memory (IPC) kullanımı
  • NVIDIA MIG bölümleme, rate limiter ve çoklu GPU yük dağılımı
Model Analyzer ile Otomatik Kapasite ve Konfigürasyon Tuning
  • Latency bütçesi ve GPU VRAM sınırlarına göre otomatik parametre taraması
  • Pareto eğrisi raporlarını okuma ve optimal üretim konfigürasyonunu seçme
LLM ve Üretken Yapay Zeka Sunumu (TensorRT-LLM & vLLM)
  • Decoupled (ayrık) transaction policy ve gRPC streaming yanıt akışı
  • In-flight/continuous batching, paged KV cache ve tensor parallelism ile LLM sunumu

Bu Kategorideki Diğer Eğitimler

  • Triton ile Diğer Framework Entegrasyonu

    PyTorch, TensorFlow, ONNX, TensorRT, OpenVINO ve scikit-learn/XGBoost (FIL) modellerini ve özel Python backend'lerini tek bir Triton sunucusunda birleştirme. Heterojen model portföyünü yöneten ML ve MLOps mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • FastAPI ile Model Sunma

    FastAPI ile üretime hazır ML ve LLM inference servisleri geliştirme: lifespan ile model yükleme, Pydantic v2 şemaları, async/threadpool yönetimi, SSE streaming, Gunicorn/Uvicorn ayarları ve Prometheus izleme. Geliştiriciler ve ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Flask ile Model Sunma

    Flask ve WSGI mimarisi ile hafif ML tahmin servisleri geliştirme: Application Factory, Blueprint, Marshmallow/Pydantic doğrulama, Gunicorn worker/thread ayarları ve Docker paketleme. Veri bilimciler ve Python geliştiricileri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Ray Serve

    Ray Serve ile Python-native dağıtık model ve LLM sunumu: DeploymentGraph kompozisyonu, kesirli GPU paylaşımı, dynamic batching, replica autoscaling, vLLM entegrasyonu ve KubeRay. ML ve platform mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Model Versiyonlama ve Değiştirme

    Üretimdeki modelleri kesintisiz ve güvenli biçimde güncelleme: MLflow Model Registry, semantik versiyonlama, shadow deployment, canary, blue/green, A/B testi ve otomatik rollback. MLOps ve ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Sunulan Modellerin Ölçeklendirilmesi

    Canlı model servislerini yatay ve dikey ölçekleme: Kubernetes HPA, KEDA ve Knative ile kuyruk/GPU metriklerine göre autoscaling, cold start azaltma, MIG/time-slicing ve yük dengeleme. MLOps, SRE ve platform mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin