Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Kurum içinde hem PyTorch hem ONNX hem de TensorRT modellerini aynı GPU kümesi üzerinde yüksek doluluk oranıyla çalıştırmak gerektiğinde NVIDIA Triton Inference Server endüstri standardı olarak öne çıkar. Bu eğitim, Triton'un mimarisini, model deposu (Model Repository) yapısını ve temel performans özelliklerini sıfırdan başlayarak uygulamalı biçimde öğretir.

Katılımcılar config.pbtxt dosyalarını yazar, dynamic batching ve instance_group ile eşzamanlı model çalıştırmayı etkinleştirir, tritonclient ile HTTP/gRPC çağrıları yapar ve Perf Analyzer ile ilk performans ölçümlerini gerçekleştirir. Eğitim sonunda kurumun kendi modelleri için hazır bir Triton repository şablonu oluşturulur.

Kimler Katılmalı?

  • Modellerini GPU ve CPU üzerinde yüksek verimlilikle sunmak isteyen ML mühendisleri
  • Çoklu framework destekleyen ortak bir serving katmanı kuran MLOps ve platform mühendisleri
  • Python tabanlı basit web sunucularından kurumsal inference sunucularına geçen geliştiriciler
  • Ön koşul: Python, Docker ve temel model deployment bilgisi

Kazanımlar

  • Triton Model Repository dizin yapısını ve sürüm politikalarını standartlara uygun kurmak
  • Girdi/çıktı tensörlerini, veri tiplerini ve boyutlarını config.pbtxt ile tanımlamak
  • dynamic_batching ve instance_group ayarlarıyla GPU kullanımını artırmak
  • Python tritonclient (HTTP ve gRPC) ile senkron ve asenkron tahmin istekleri göndermek
  • Perf Analyzer ve Prometheus metrikleriyle servisin temel latency ve throughput profilini çıkarmak

Konular

Triton Mimarisi ve Model Repository Yapısı
  • Triton'un desteklediği backend'ler, zamanlayıcı (scheduler) ve bellek mimarisi
  • Model dizin hiyerarşisi, sürüm klasörleri ve NGC container ile sunucu başlatma
Model Yapılandırması: config.pbtxt
  • platform/backend, max_batch_size, input ve output tanımları
  • Otomatik yapılandırma (auto-generated config) ve dinamik boyut (-1) ayarları
Dynamic Batching ve Concurrent Model Execution
  • dynamic_batching bloğu, tercih edilen batch boyutları ve kuyruk gecikmesi
  • instance_group ile aynı GPU/CPU üzerinde çoklu model kopyası çalıştırma
HTTP/REST (KServe v2) ve gRPC İstemci Geliştirme
  • Open Inference Protocol (v2) health, metadata ve infer endpoint'leri
  • tritonclient.http ve tritonclient.grpc ile Python istemci uygulaması
Model Kontrol Modları, Metrikler ve Perf Analyzer
  • NONE, POLL ve EXPLICIT modlarıyla çalışma zamanında model yükleme/kaldırma
  • Prometheus metrikleri ve Perf Analyzer ile ilk yük testi

Bu Kategorideki Diğer Eğitimler

  • İleri Seviye Triton

    Triton Inference Server'da Model Analyzer ile otomatik tuning, Ensemble ve Business Logic Scripting (BLS), stateful/sequence batcher, paylaşımlı bellek (IPC) ve TensorRT-LLM/vLLM backend ile LLM sunumu. Kıdemli ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Triton ile Diğer Framework Entegrasyonu

    PyTorch, TensorFlow, ONNX, TensorRT, OpenVINO ve scikit-learn/XGBoost (FIL) modellerini ve özel Python backend'lerini tek bir Triton sunucusunda birleştirme. Heterojen model portföyünü yöneten ML ve MLOps mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • FastAPI ile Model Sunma

    FastAPI ile üretime hazır ML ve LLM inference servisleri geliştirme: lifespan ile model yükleme, Pydantic v2 şemaları, async/threadpool yönetimi, SSE streaming, Gunicorn/Uvicorn ayarları ve Prometheus izleme. Geliştiriciler ve ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Flask ile Model Sunma

    Flask ve WSGI mimarisi ile hafif ML tahmin servisleri geliştirme: Application Factory, Blueprint, Marshmallow/Pydantic doğrulama, Gunicorn worker/thread ayarları ve Docker paketleme. Veri bilimciler ve Python geliştiricileri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Ray Serve

    Ray Serve ile Python-native dağıtık model ve LLM sunumu: DeploymentGraph kompozisyonu, kesirli GPU paylaşımı, dynamic batching, replica autoscaling, vLLM entegrasyonu ve KubeRay. ML ve platform mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Model Versiyonlama ve Değiştirme

    Üretimdeki modelleri kesintisiz ve güvenli biçimde güncelleme: MLflow Model Registry, semantik versiyonlama, shadow deployment, canary, blue/green, A/B testi ve otomatik rollback. MLOps ve ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin