Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Farklı veri bilimi ekiplerinin ürettiği XGBoost tablo modelleri, PyTorch/TensorFlow derin öğrenme ağları ve özel Python kütüphaneleri için ayrı ayrı sunucu mimarileri kurmak operasyonel karmaşaya yol açar. Bu eğitim, Triton'un çoklu backend mimarisini kullanarak tüm bu farklı framework'leri tek bir standart API ve sunucu altında birleştirmeyi öğretir.

Katılımcılar LibTorch, TensorFlow, ONNX Runtime, TensorRT, OpenVINO, Forest Inference Library (FIL) ve Python Backend üzerinde gerçek modeller çalıştırır; conda-pack ile özel Python bağımlılıklarını izole eder ve MLflow-Triton entegrasyonunu kurar. Eğitim sonunda kurumun heterojen modelleri için birleştirilmiş bir referans repository ve backend seçim rehberi elde edilir.

Kimler Katılmalı?

  • Birden fazla ML/DL framework'ünü üretimde destekleyen MLOps ve platform mühendisleri
  • Tablo (XGBoost/LightGBM), görüntü ve dil modellerini ortak serviste birleştiren ML mühendisleri
  • Özel Python kütüphanelerini Triton içine taşımak isteyen yapay zeka geliştiricileri
  • Ön koşul: Triton Temelleri bilgisi ve en az bir ML framework deneyimi

Kazanımlar

  • İş yüküne göre PyTorch, TensorFlow, ONNX, TensorRT, OpenVINO ve FIL backend'lerini seçmek
  • XGBoost, LightGBM ve scikit-learn ağaç modellerini FIL backend ile GPU/CPU'da hızlandırmak
  • TritonPythonModel ve conda-pack ile özel bağımlılıklı Python modellerini paketlemek
  • Farklı backend'lerde tensör isimlendirme, veri tipi ve cihaz (CPU/GPU) uyumsuzluklarını çözmek
  • MLflow Model Registry ve KServe üzerinden çoklu framework modellerini Triton'a dağıtmak

Konular

Triton Backend Ekosistemi ve Seçim Kriterleri
  • Backend mimarisi, paylaşımlı kütüphaneler ve özel Triton container derleme (build.py)
  • Donanım ve model tipine göre backend karar matrisi
Derin Öğrenme Backend'leri: PyTorch, TensorFlow, ONNX ve TensorRT
  • TorchScript (pytorch_libtorch) ve SavedModel (tensorflow) entegrasyon incelikleri
  • ONNX Runtime, TensorRT plan ve CPU için OpenVINO backend yapılandırması
Tablo ve Klasik ML Modelleri: FIL Backend
  • XGBoost, LightGBM ve scikit-learn Random Forest modellerini FIL ile sunma
  • Treelite formatı, CPU/GPU eşik değerleri ve yüksek QPS tablo skorlaması
Python Backend ve Özel Ortam Paketleme
  • TritonPythonModel (initialize, execute, finalize) ile spaCy/Hugging Face/özel kod çalıştırma
  • conda-pack ile modele özel Python bağımlılıklarını EXECUTION_ENV_PATH altında izole etme
Hibrit Pipeline'lar ve MLflow/KServe Entegrasyonu
  • Python ön işleme + ONNX/TensorRT + FIL adımlarını tek sunucuda birleştirme
  • mlflow-triton eklentisi ve KServe multi-model serving ile yaşam döngüsü yönetimi

Bu Kategorideki Diğer Eğitimler

  • FastAPI ile Model Sunma

    FastAPI ile üretime hazır ML ve LLM inference servisleri geliştirme: lifespan ile model yükleme, Pydantic v2 şemaları, async/threadpool yönetimi, SSE streaming, Gunicorn/Uvicorn ayarları ve Prometheus izleme. Geliştiriciler ve ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Flask ile Model Sunma

    Flask ve WSGI mimarisi ile hafif ML tahmin servisleri geliştirme: Application Factory, Blueprint, Marshmallow/Pydantic doğrulama, Gunicorn worker/thread ayarları ve Docker paketleme. Veri bilimciler ve Python geliştiricileri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Ray Serve

    Ray Serve ile Python-native dağıtık model ve LLM sunumu: DeploymentGraph kompozisyonu, kesirli GPU paylaşımı, dynamic batching, replica autoscaling, vLLM entegrasyonu ve KubeRay. ML ve platform mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Model Versiyonlama ve Değiştirme

    Üretimdeki modelleri kesintisiz ve güvenli biçimde güncelleme: MLflow Model Registry, semantik versiyonlama, shadow deployment, canary, blue/green, A/B testi ve otomatik rollback. MLOps ve ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Sunulan Modellerin Ölçeklendirilmesi

    Canlı model servislerini yatay ve dikey ölçekleme: Kubernetes HPA, KEDA ve Knative ile kuyruk/GPU metriklerine göre autoscaling, cold start azaltma, MIG/time-slicing ve yük dengeleme. MLOps, SRE ve platform mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Model Deployment Giriş

    Eğitilmiş bir modeli notebook'tan production'a taşımanın temel adımları: serialization, API ile servis etme, container'a paketleme, temel monitoring ve rollback. Model deployment sürecine yeni başlayan veri bilimciler ve geliştiriciler için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin