Eğitimin Amacı ve Kapsamı
Model sayısı ve trafik arttıkça tek bir Flask servisi yetersiz kalır; doğru mimari seçimi maliyeti, güvenilirliği ve ekiplerin hızını belirler. Program embedded model, model-as-a-service, serverless, edge ve multi-model serving desenlerini, inference graph ve LLM gateway yapılarını karşılaştırır.
KServe, NVIDIA Triton, Ray Serve, BentoML ve vLLM gibi platformlar hangi problemi çözdükleri açısından konumlandırılır; yönetilen seçenekler olarak Vertex AI, Amazon SageMaker ve Azure AI Foundry değerlendirilir. Katılımcılar kurumun bir senaryosu için hedef mimari taslağını ve mimari karar kayıtlarını hazırlar.
Kimler Katılmalı?
- Yapay zeka platformunu tasarlayan çözüm ve yazılım mimarları
- Kıdemli ML ve MLOps mühendisleri
- Platform ve altyapı ekip liderleri
- Ön koşul: model deployment ve container temelleri
Kazanımlar
- Başlıca model sunma desenlerini artı ve eksileriyle karşılaştırmak
- Senaryoya uygun serving platformunu gerekçesiyle seçmek
- Multi-model ve inference graph yapılarını tasarlamak
- LLM iş yükleri için gateway, cache ve routing katmanlarını planlamak
- Hedef mimariyi mimari karar kayıtlarıyla belgelemek
Konular
Temel Sunma Desenleri
- Embedded model ve model-as-a-service
- Serverless ve edge deployment
Multi-model Serving ve Inference Graph
- Model paylaşımlı sunucular ve dinamik yükleme
- Ön işleme, model ve son işleme zincirleri
Serving Platformlarının Konumlandırılması
- KServe, Triton, Ray Serve, BentoML
- Yönetilen servisler: Vertex AI, SageMaker, Azure AI Foundry
LLM Serving Mimarileri
- vLLM ve SGLang ile self-hosted serving
- LLM gateway, semantic cache ve model routing
Hedef Mimari Atölyesi
- Kurum senaryosu için mimari taslak
- Mimari karar kayıtları ve risk analizi
Bu Kategorideki Diğer Eğitimler
-
Model sunumunda p95/p99 latency, throughput ve birim maliyet dengesi: dynamic batching, quantization, caching, GPU/CPU seçimi ve yük testi ile optimizasyon. Ölçeklenebilir ve ekonomik inference altyapısı kuran ML ve platform mühendisleri için.
- Canlı Kurs
- 5 modül
-
Inference servislerinin uçtan uca güvenliği: mTLS, OAuth2/JWT, rate limiting, güvenli serialization, container sertleştirme, model çalma/adversarial saldırı savunması ve KVKK uyumu. ML, platform ve uygulama güvenliği mühendisleri için.
- Canlı Kurs
- 5 modül
-
TensorFlow ve Keras modellerini SavedModel formatında dışa aktarma, SignatureDef tanımlama ve TensorFlow Serving ile REST/gRPC üzerinden yayına alma. Modellerini üretime taşımaya başlayan veri bilimciler ve ML mühendisleri için.
- Canlı Kurs
- 5 modül
-
TensorFlow Serving'de çoklu model yönetimi, dynamic batching, XLA/TensorRT ve mixed precision hızlandırma, GPU bellek ayarı, Prometheus metrikleri ve özel servable mimarisi. Yüksek trafikli TF servislerini işleten mühendisler için.
- Canlı Kurs
- 5 modül
-
TensorFlow Serving servislerini Docker ve Kubernetes üzerinde ölçeklenebilir biçimde işletme: nesne depolamadan model çekme, GPU zamanlama, readiness/liveness probe'ları, HPA/KEDA ve KServe entegrasyonu. MLOps ve platform mühendisleri için.
- Canlı Kurs
- 5 modül
-
PyTorch modellerini TorchServe ile üretime alma: özel Handler yazımı, torch-model-archiver ile .mar paketleme, Inference ve Management API kullanımı, worker ve sürüm yönetimi. PyTorch kullanan veri bilimciler ve ML mühendisleri için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
