Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

PyTorch ile geliştirilen modeller üretime taşınırken ön işleme kodu, model ağırlıkları ve yardımcı dosyalar çoğu zaman dağınık kalır. TorchServe, tüm bu bileşenleri tek bir .mar arşivinde birleştiren ve hazır Inference/Management API'leri sunan standart PyTorch sunum aracıdır. Bu eğitim, bir PyTorch modelini paketlemekten canlı servise dönüştürmeye kadar tüm temel adımları uygulamalı olarak gösterir.

Katılımcılar yerleşik (built-in) ve özel BaseHandler sınıflarını yazar, torch-model-archiver ile model arşivi üretir, config.properties üzerinden port ve worker sayılarını yönetir. Eğitim sonunda kurumun kendi PyTorch modeli için tekrar kullanılabilir bir handler ve dağıtım şablonu hazırlanır.

Kimler Katılmalı?

  • PyTorch ile eğittiği modelleri servis olarak sunmak isteyen veri bilimciler
  • PyTorch modellerini standart bir yapı içinde paketleyecek ML mühendisleri
  • Model API'lerini konteyner ortamına taşıyan yazılım ve platform geliştiricileri
  • Ön koşul: Python ve temel PyTorch (nn.Module, state_dict) bilgisi

Kazanımlar

  • Eager mode (state_dict) ve TorchScript modellerini TorchServe için hazırlamak
  • initialize, preprocess, inference ve postprocess adımlarını içeren özel Handler yazmak
  • torch-model-archiver ile bağımlılıkları ve ek dosyaları .mar paketine dönüştürmek
  • Inference, Management ve Metrics API'leri üzerinden modeli sorgulamak ve worker ölçeklemek
  • Docker üzerinde TorchServe çalıştırarak temel üretim ayarlarını yapılandırmak

Konular

TorchServe Mimarisi ve Temel Kavramlar
  • Java frontend, Python backend worker'ları ve Model Store yapısı
  • Eager mode (state_dict) ve TorchScript model hazırlığı
Yerleşik ve Özel Handler Geliştirme
  • image_classifier, text_classifier gibi yerleşik handler'lar
  • BaseHandler miras alarak preprocess, inference ve postprocess yazımı
Model Paketleme: torch-model-archiver
  • --extra-files, --requirements-file ve sürüm etiketleriyle .mar üretimi
  • Arşiv içeriğini doğrulama ve yerel test
Inference ve Management API Kullanımı
  • REST ve gRPC üzerinden tahmin, açıklama (explanations) ve health check çağrıları
  • Management API ile çalışma zamanında model kaydetme, silme ve worker ölçekleme
Yapılandırma ve Docker ile Dağıtım
  • config.properties ile port, CORS, timeout ve model snapshot ayarları
  • Resmi TorchServe Docker image'ı ile servis ayağa kaldırma

Bu Kategorideki Diğer Eğitimler

  • İleri Seviye TorchServe

    TorchServe ile çoklu model DAG iş akışları (Workflows), torch.compile/ONNX/TensorRT hızlandırma, çoklu GPU ve büyük model paralel sunumu, özel Prometheus metrikleri ve üretim güvenliği. Kıdemli ML ve MLOps mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • TorchServe Batch Inference

    TorchServe'de dynamic batching ve yüksek hacimli toplu skorlama: batch_size ve max_batch_delay kalibrasyonu, vektörize Handler yazımı, değişken boyutlu girdilerde padding ve kuyruk entegrasyonu. ML ve veri mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • ONNX Temelleri

    PyTorch, TensorFlow ve scikit-learn modellerini ONNX formatına dönüştürme, grafik doğrulama, ONNX Runtime ve Execution Provider'lar (CPU, CUDA, TensorRT) ile hızlandırma ve quantization. ML ve deployment mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Triton Temelleri

    NVIDIA Triton Inference Server ile yüksek performanslı model sunumu: Model Repository dizin yapısı, config.pbtxt, dynamic batching, concurrent model execution, HTTP/gRPC istemcileri ve Perf Analyzer. ML ve MLOps mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • İleri Seviye Triton

    Triton Inference Server'da Model Analyzer ile otomatik tuning, Ensemble ve Business Logic Scripting (BLS), stateful/sequence batcher, paylaşımlı bellek (IPC) ve TensorRT-LLM/vLLM backend ile LLM sunumu. Kıdemli ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Triton ile Diğer Framework Entegrasyonu

    PyTorch, TensorFlow, ONNX, TensorRT, OpenVINO ve scikit-learn/XGBoost (FIL) modellerini ve özel Python backend'lerini tek bir Triton sunucusunda birleştirme. Heterojen model portföyünü yöneten ML ve MLOps mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin