Eğitimin Amacı ve Kapsamı
Birkaç milisaniyede yanıt veren bir sınıflandırıcı ile dakikalar süren bir doküman analizi ya da LLM çağrısı aynı şekilde sunulamaz. Eğitim, senkron istek-yanıt modelinin sınırlarını, asenkron job desenlerini (kuyruk, worker, job ID ile polling, webhook callback) ve Python'da asyncio tabanlı servis yazımını ele alır.
Uygulamalarda Celery ve Redis ile bir inference kuyruğu kurulur, timeout, retry ve idempotency kuralları tanımlanır; Amazon SageMaker Asynchronous Inference gibi yönetilen seçenekler de değerlendirilir. Sonuçta kurumun bir senaryosu için desen seçim kontrol listesi ve çalışan bir referans uygulama hazırlanır.
Kimler Katılmalı?
- Model servisleri tasarlayan yapay zeka ve backend mühendisleri
- Uzun süren LLM veya doküman işleme iş akışlarını yöneten ekipler
- Kuyruk ve worker altyapısını işleten platform mühendisleri
- Ön koşul: Python ve REST API temel bilgisi
Kazanımlar
- Bir inference iş yükü için senkron veya asenkron deseni gerekçesiyle seçmek
- asyncio ile bloklamayan bir model servisi yazmak
- Celery/Redis ile kuyruk tabanlı inference akışı kurmak
- Polling ve webhook ile sonuç teslimi tasarlamak
- Timeout, retry ve idempotency kurallarını uygulamak
Konular
Senkron Inference ve Sınırları
- İstek-yanıt modeli, timeout ve bağlantı limitleri
- Hangi iş yükleri senkron kalmalı?
Python'da asyncio ve Async Servisler
- Event loop, async/await ve bloklayan kod tuzakları
- Async FastAPI endpoint'leri ve thread pool kullanımı
Kuyruk Tabanlı Asenkron Inference
- Celery, Redis ve Kafka ile job kuyruğu
- Worker ölçekleme ve önceliklendirme
Sonuç Teslimi: Polling, Webhook ve Streaming
- Job ID ile durum sorgulama
- Webhook callback ve server-sent events
Güvenilirlik ve Yönetilen Seçenekler
- Retry, idempotency ve dead-letter kuyrukları
- SageMaker Asynchronous Inference ve benzeri servisler
Bu Kategorideki Diğer Eğitimler
-
Üç temel inference modunun karşılaştırması: Spark ve Airflow ile batch scoring, REST tabanlı real-time servisler ve Kafka/Flink ile streaming inference. İş ihtiyacına uygun modu seçmek isteyen veri ve ML ekipleri için.
- Canlı Kurs
- 5 modül
-
Modelleri güvenli ve taşınabilir biçimde kaydetme: pickle/joblib riskleri, TorchScript, SavedModel, ONNX, safetensors ve GGUF formatları, MLflow ile paketleme ve sürüm uyumluluğu. ML mühendisleri ve veri bilimciler için.
- Canlı Kurs
- 5 modül
-
Model sunma mimari desenleri: embedded model, model-as-a-service, serverless, edge, multi-model ve LLM gateway yapıları; KServe, Triton, Ray Serve ve vLLM gibi platformların konumlandırılması. Mimarlar ve kıdemli ML mühendisleri için.
- Canlı Kurs
- 5 modül
-
Model sunumunda p95/p99 latency, throughput ve birim maliyet dengesi: dynamic batching, quantization, caching, GPU/CPU seçimi ve yük testi ile optimizasyon. Ölçeklenebilir ve ekonomik inference altyapısı kuran ML ve platform mühendisleri için.
- Canlı Kurs
- 5 modül
-
Inference servislerinin uçtan uca güvenliği: mTLS, OAuth2/JWT, rate limiting, güvenli serialization, container sertleştirme, model çalma/adversarial saldırı savunması ve KVKK uyumu. ML, platform ve uygulama güvenliği mühendisleri için.
- Canlı Kurs
- 5 modül
-
TensorFlow ve Keras modellerini SavedModel formatında dışa aktarma, SignatureDef tanımlama ve TensorFlow Serving ile REST/gRPC üzerinden yayına alma. Modellerini üretime taşımaya başlayan veri bilimciler ve ML mühendisleri için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
