Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Gerçek dünya yapay zeka sistemleri çoğu zaman tek bir modelden ibaret değildir; OCR'dan metin sınıflandırmaya uzanan çok adımlı pipeline'lar, birden fazla GPU'ya yayılan büyük modeller ve sıkı gecikme hedefleri gerektirir. Bu ileri seviye eğitim, TorchServe'ü karmaşık üretim senaryolarına uyarlamak ve maksimum donanım verimliliği almak için tasarlanmıştır.

Katılımcılar TorchServe Workflows ile DAG tabanlı ensemble/pipeline kurgular, torch.compile, Torch-TensorRT ve IPEX ile hızlandırma uygular, torchrun ve device_ids ile çoklu GPU dağıtımı yapar; Prometheus metriklerini ve SSL/token güvenliğini yapılandırır. Eğitim sonunda kurumsal bir referans mimari ve üretim sertleştirme kontrol listesi teslim edilir.

Kimler Katılmalı?

  • PyTorch tabanlı modelleri yüksek ölçekte sunan kıdemli ML ve yapay zeka mühendisleri
  • GPU kümelerinde TorchServe işleten MLOps ve platform mühendisleri
  • Çok adımlı bilgisayarlı görü veya NLP inference pipeline'ları tasarlayan teknik liderler
  • Ön koşul: TorchServe temelleri (Handler ve .mar yapısı) ve PyTorch deneyimi

Kazanımlar

  • TorchServe Workflows ve .war arşivleriyle çok modelli DAG pipeline'ları kurmak
  • torch.compile, ONNX Runtime ve TensorRT entegrasyonuyla inference hızını artırmak
  • Çoklu GPU sabitleme (pinning) ve tensor/pipeline paralelliği ile büyük modelleri sunmak
  • Özel iş ve model metriklerini Prometheus formatında dışa aktarmak
  • SSL/TLS, token yetkilendirme ve KServe entegrasyonu ile kurumsal dağıtımı tamamlamak

Konular

TorchServe Workflows ile Çoklu Model Orkestrasyonu
  • YAML ile DAG tanımı: sıralı, paralel ve ensemble model akışları
  • torch-workflow-archiver ile .war paketleme ve Workflow API yönetimi
Derleyici ve Donanım Hızlandırma Teknikleri
  • Handler içinde torch.compile, Torch-TensorRT ve ONNX Runtime kullanımı
  • FP16/BF16 autocast, INT8 quantization ve CPU için Intel Extension for PyTorch (IPEX)
Çoklu GPU Yönetimi ve Büyük Model Sunumu
  • Worker başına GPU ataması (device_ids) ve bellek izolasyonu
  • torchrun tabanlı dağıtık inference ve Accelerate/DeepSpeed entegrasyonu
  • Akış (streaming) yanıtları ile üretken model sunumu
İleri Gözlemlenebilirlik, Profiling ve Hata Ayıklama
  • Metrics API ile özel counter/gauge/histogram metrikleri tanımlama
  • PyTorch Profiler ve TorchServe loglarıyla worker darboğazlarını inceleme
Üretim Güvenliği ve Kubernetes/KServe Dağıtımı
  • SSL/TLS sertifikaları, key/token yetkilendirme ve Management API kısıtlamaları
  • Kubernetes ve KServe üzerinde ölçeklenebilir TorchServe topolojisi

Bu Kategorideki Diğer Eğitimler

  • TorchServe Batch Inference

    TorchServe'de dynamic batching ve yüksek hacimli toplu skorlama: batch_size ve max_batch_delay kalibrasyonu, vektörize Handler yazımı, değişken boyutlu girdilerde padding ve kuyruk entegrasyonu. ML ve veri mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • ONNX Temelleri

    PyTorch, TensorFlow ve scikit-learn modellerini ONNX formatına dönüştürme, grafik doğrulama, ONNX Runtime ve Execution Provider'lar (CPU, CUDA, TensorRT) ile hızlandırma ve quantization. ML ve deployment mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Triton Temelleri

    NVIDIA Triton Inference Server ile yüksek performanslı model sunumu: Model Repository dizin yapısı, config.pbtxt, dynamic batching, concurrent model execution, HTTP/gRPC istemcileri ve Perf Analyzer. ML ve MLOps mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • İleri Seviye Triton

    Triton Inference Server'da Model Analyzer ile otomatik tuning, Ensemble ve Business Logic Scripting (BLS), stateful/sequence batcher, paylaşımlı bellek (IPC) ve TensorRT-LLM/vLLM backend ile LLM sunumu. Kıdemli ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Triton ile Diğer Framework Entegrasyonu

    PyTorch, TensorFlow, ONNX, TensorRT, OpenVINO ve scikit-learn/XGBoost (FIL) modellerini ve özel Python backend'lerini tek bir Triton sunucusunda birleştirme. Heterojen model portföyünü yöneten ML ve MLOps mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • FastAPI ile Model Sunma

    FastAPI ile üretime hazır ML ve LLM inference servisleri geliştirme: lifespan ile model yükleme, Pydantic v2 şemaları, async/threadpool yönetimi, SSE streaming, Gunicorn/Uvicorn ayarları ve Prometheus izleme. Geliştiriciler ve ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin