Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Birden fazla modelin birbirini çağırdığı ajan/RAG sistemlerinde veya hem CPU ön işleme hem de GPU inference adımlarını barındıran pipeline'larda, her adımı ayrı mikroservis yapmak yerine Python içinde dağıtık ölçeklemek büyük esneklik sağlar. Ray Serve, Ray kümesi üzerinde kesirli GPU paylaşımı, bağımsız replica ölçekleme ve vLLM tabanlı LLM sunumu sağlayan Python-native bir serving katmanıdır.

Katılımcılar @serve.deployment ve DeploymentHandle ile çok modelli grafikler kurar, @serve.batch ile dynamic batching uygular, FastAPI entegrasyonu yapar ve KubeRay üzerinde çok düğümlü dağıtım gerçekleştirir. Eğitim sonunda kurum senaryosuna uygun bir Ray Serve uygulaması ve yapılandırma dosyası (serve config) üretilir.

Kimler Katılmalı?

  • Çok modelli pipeline'lar, RAG ve multi-agent sistemleri ölçekleyen ML ve yapay zeka mühendisleri
  • Ray ve Kubernetes (KubeRay) üzerinde GPU kümelerini yöneten MLOps ve platform mühendisleri
  • Python kodundan çıkmadan dağıtık model sunumu yapmak isteyen geliştiriciler
  • Ön koşul: orta seviye Python, async/await kavramları ve temel model serving bilgisi

Kazanımlar

  • @serve.deployment ile CPU ve GPU kaynaklarını (kesirli GPU dahil) model bazında tahsis etmek
  • DeploymentHandle ile birden fazla modeli ve iş mantığını asenkron olarak zincirlemek
  • @serve.batch ve replica autoscaling ayarlarıyla trafik dalgalanmalarına otomatik uyum sağlamak
  • Ray Serve LLM / vLLM entegrasyonu ile OpenAI uyumlu ölçeklenebilir LLM endpoint'leri kurmak
  • serve build ve KubeRay RayService ile sıfır kesintili üretim dağıtımı yapmak

Konular

Ray Mimarisi ve Ray Serve Temelleri
  • Ray actor modeli, Head/Worker düğümleri, HTTP Proxy ve Replica mimarisi
  • @serve.deployment, FastAPI (@serve.ingress) entegrasyonu ve ilk servis
Kaynak Yönetimi, Dynamic Batching ve Autoscaling
  • ray_actor_options ile CPU ve kesirli GPU (num_gpus=0.25) paylaşımı
  • @serve.batch dekoratörü ve kuyruk uzunluğuna göre autoscaling_config ayarları
Çoklu Model Kompozisyonu ve Model Multiplexing
  • DeploymentHandle ile ön işleme, sınıflandırıcı ve yeniden sıralayıcı (reranker) modelleri bağlama
  • @serve.multiplexed ile yüzlerce LoRA adaptörünü veya müşteri modelini dinamik önbellekle sunma
Ray Serve ve vLLM ile Büyük Dil Modeli (LLM) Sunumu
  • vLLM engine entegrasyonu, tensor/pipeline parallelism ve placement group yapılandırması
  • Streaming yanıtlar, multi-LoRA sunumu ve OpenAI uyumlu API katmanı
KubeRay ile Üretim Dağıtımı ve Gözlemlenebilirlik
  • serve build ile deklaratif YAML üretimi ve KubeRay RayService ile kesintisiz güncelleme
  • Ray Dashboard, Prometheus metrikleri ve dağıtık log/trace takibi

Bu Kategorideki Diğer Eğitimler

  • Model Versiyonlama ve Değiştirme

    Üretimdeki modelleri kesintisiz ve güvenli biçimde güncelleme: MLflow Model Registry, semantik versiyonlama, shadow deployment, canary, blue/green, A/B testi ve otomatik rollback. MLOps ve ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Sunulan Modellerin Ölçeklendirilmesi

    Canlı model servislerini yatay ve dikey ölçekleme: Kubernetes HPA, KEDA ve Knative ile kuyruk/GPU metriklerine göre autoscaling, cold start azaltma, MIG/time-slicing ve yük dengeleme. MLOps, SRE ve platform mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Model Deployment Giriş

    Eğitilmiş bir modeli notebook'tan production'a taşımanın temel adımları: serialization, API ile servis etme, container'a paketleme, temel monitoring ve rollback. Model deployment sürecine yeni başlayan veri bilimciler ve geliştiriciler için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • REST API ve gRPC Temelleri

    Model servisleri için REST ve gRPC protokollerinin temelleri: HTTP/JSON tasarımı, OpenAPI, Protocol Buffers, streaming RPC ve performans karşılaştırması. Doğru protokolü seçip ilk servisini yazmak isteyen geliştiriciler için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Synchronous vs Asynchronous Inference

    Senkron ve asenkron inference desenleri: istek-yanıt, kuyruk tabanlı işleme (Celery, Redis, Kafka), job polling, webhook ve async Python. Uzun süren model çağrılarını ölçeklenebilir biçimde tasarlamak isteyen mühendisler için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Batch, Real-time ve Streaming Inference Temelleri

    Üç temel inference modunun karşılaştırması: Spark ve Airflow ile batch scoring, REST tabanlı real-time servisler ve Kafka/Flink ile streaming inference. İş ihtiyacına uygun modu seçmek isteyen veri ve ML ekipleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin