Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

FastAPI, Python ekosisteminde özel iş mantığı içeren ML ve LLM servisleri geliştirmek için en popüler araçtır; ancak CPU/GPU-bound model çağrılarının async def içinde event loop'u bloklaması veya her worker'ın modeli belleğe tekrar yükleyerek OOM hatası üretmesi sık yapılan üretim hatalarıdır. Bu eğitim, yalnızca genel FastAPI kullanımını değil, doğrudan model sunumuna özgü mimari desenleri ele alır.

Katılımcılar lifespan context manager ile güvenli model ısındırma (warmup), Pydantic v2 ile tensör/özellik doğrulama, LLM'ler için Server-Sent Events (SSE) token streaming, run_in_executor ile bloklamayan tahmin ve OpenTelemetry/Prometheus izleme yapılarını kurar. Çıktı olarak kurum içi projelerde hemen kullanılabilecek bir FastAPI inference servis şablonu elde edilir.

Kimler Katılmalı?

  • Modellerini özel iş kurallarıyla birlikte API olarak sunan ML ve yapay zeka mühendisleri
  • LLM tabanlı uygulama ve RAG servisleri geliştiren backend geliştiriciler
  • Notebook'taki modelleri üretime hazır mikroservislere dönüştüren veri bilimciler
  • Ön koşul: orta seviye Python ve temel HTTP/REST bilgisi

Kazanımlar

  • lifespan yapısı ile modelleri başlangıçta bir kez yükleyip GPU/CPU belleğini güvenli yönetmek
  • Pydantic v2 ile katı girdi/çıktı sözleşmeleri ve anlamlı doğrulama hataları tanımlamak
  • CPU/GPU-bound model.predict() çağrılarını event loop'u kilitlemeden çalıştırmak
  • StreamingResponse ve SSE ile LLM token akışı ve dosya/görüntü yükleme endpoint'leri yazmak
  • Uvicorn/Gunicorn worker sayısını, health check'leri ve Prometheus metriklerini üretime göre ayarlamak

Konular

Model Yaşam Döngüsü ve Girdi/Çıktı Sözleşmeleri
  • lifespan ile model yükleme, GPU warmup ve graceful shutdown sırasında kaynak temizliği
  • Pydantic v2 ile özellik doğrulama, batch istek şemaları ve model sürüm bilgisi döndürme
Event Loop, Concurrency ve Bloklamayan Inference
  • def vs async def farkı: CPU/GPU-bound model çağrılarında event loop kilitlenmesi
  • run_in_threadpool, ProcessPoolExecutor ve hafif in-app micro-batching desenleri
Multimodal Girdiler ve LLM Token Streaming
  • UploadFile ile görüntü/ses işleme ve bellek taşmasını önleme
  • StreamingResponse ve Server-Sent Events (SSE) ile gerçek zamanlı LLM yanıt akışı
Gözlemlenebilirlik, Test ve Hata Yönetimi
  • Liveness vs model-hazır readiness probe endpoint'leri
  • Prometheus metrikleri (tahmin süresi, dağılım) ve pytest / TestClient ile birim testleri
Üretim Sunucusu (Uvicorn/Gunicorn) ve Container Dağıtımı
  • Worker sayısı ve GPU/RAM bellek çarpımı problemi; --preload tuzakları
  • Çok aşamalı Dockerfile, güvenlik başlıkları ve yük testi doğrulaması

Bu Kategorideki Diğer Eğitimler

  • Flask ile Model Sunma

    Flask ve WSGI mimarisi ile hafif ML tahmin servisleri geliştirme: Application Factory, Blueprint, Marshmallow/Pydantic doğrulama, Gunicorn worker/thread ayarları ve Docker paketleme. Veri bilimciler ve Python geliştiricileri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Ray Serve

    Ray Serve ile Python-native dağıtık model ve LLM sunumu: DeploymentGraph kompozisyonu, kesirli GPU paylaşımı, dynamic batching, replica autoscaling, vLLM entegrasyonu ve KubeRay. ML ve platform mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Model Versiyonlama ve Değiştirme

    Üretimdeki modelleri kesintisiz ve güvenli biçimde güncelleme: MLflow Model Registry, semantik versiyonlama, shadow deployment, canary, blue/green, A/B testi ve otomatik rollback. MLOps ve ML mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Sunulan Modellerin Ölçeklendirilmesi

    Canlı model servislerini yatay ve dikey ölçekleme: Kubernetes HPA, KEDA ve Knative ile kuyruk/GPU metriklerine göre autoscaling, cold start azaltma, MIG/time-slicing ve yük dengeleme. MLOps, SRE ve platform mühendisleri için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Model Deployment Giriş

    Eğitilmiş bir modeli notebook'tan production'a taşımanın temel adımları: serialization, API ile servis etme, container'a paketleme, temel monitoring ve rollback. Model deployment sürecine yeni başlayan veri bilimciler ve geliştiriciler için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • REST API ve gRPC Temelleri

    Model servisleri için REST ve gRPC protokollerinin temelleri: HTTP/JSON tasarımı, OpenAPI, Protocol Buffers, streaming RPC ve performans karşılaştırması. Doğru protokolü seçip ilk servisini yazmak isteyen geliştiriciler için.

    Model Sunma (Model Deployment) Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin