Eğitimin Amacı ve Kapsamı
Farklı ekiplerin doğrudan OpenAI, Anthropic, Gemini, Azure/Bedrock veya kurum içi vLLM endpoint'lerine bağlanması; dağınık API anahtarlarına, sağlayıcı kesintilerinde uygulamanın durmasına ve kontrolsüz maliyetlere yol açar. Bu eğitim, uygulama katmanı ile model sağlayıcıları arasına merkezi bir Model Gateway (LiteLLM Proxy, Envoy AI Gateway, Kong/Portkey) konumlandırma ve akıllı yönlendirme (routing) kurgulama pratiklerini öğretir.
Katılımcılar lab'larda bulut ve lokal modelleri tek bir OpenAI uyumlu API arkasında birleştirir; timeout/429 hatalarında otomatik fallback, gecikme tabanlı yük dengeleme, sorgu zorluğuna göre semantik yönlendirme ve ekip bazlı kota/bütçe yönetimini devreye alır.
Kimler Katılmalı?
- Kurum içi yapay zeka platformu ve ortak servis katmanı kuran platform mühendisleri
- Çoklu model sağlayıcı (multi-provider) kullanan yazılım ve çözüm mimarları
- API güvenliği, kota ve maliyet kontrolünden sorumlu MLOps/SRE ekipleri
- Ön koşul: Docker, REST API yönetimi ve temel LLM servis kavramları
Kazanımlar
- Bulut API'lerini ve kurum içi vLLM/Ollama servislerini tek bir standart şemada sunmak
- Rate limit (429) ve kesinti durumlarında sağlayıcılar arası kesintisiz fallback zinciri kurmak
- İstekleri maliyet, gecikme, veri gizliliği veya zorluk derecesine göre uygun modele yönlendirmek
- Sanal API anahtarları (virtual keys), RBAC ve departman bazlı harcama limitleri tanımlamak
- Gateway katmanında merkezi loglama, PII maskeleme ve önbellekleme politikalarını işletmek
Konular
Model Gateway Mimarisi ve Araç Ekosistemi
- Klasik API gateway ile AI/Model gateway arasındaki farklar (token-aware rate limiting, streaming)
- LiteLLM Proxy, Envoy AI Gateway, Kong AI Gateway ve Portkey karşılaştırması
Birleşik API, Yük Dengeleme ve Dayanıklılık (Resilience)
- OpenAI, Anthropic, Bedrock, Vertex ve yerel vLLM modellerini tek endpoint'te toplama
- Retry, cooldown, circuit breaker ve bölgeler/sağlayıcılar arası otomatik fallback
Akıllı Yönlendirme (Intelligent & Semantic Routing)
- Latency-based, least-busy ve maliyet odaklı yönlendirme stratejileri
- Sorgu sınıflandırıcı veya router model ile kolay/zor ve gizli/açık veri yönlendirmesi
Kimlik Doğrulama, Sanal Anahtarlar ve Kota Yönetimi
- Kurumsal SSO/OIDC entegrasyonu, ekip bazlı sanal anahtarlar ve model erişim izinleri
- Dakikalık token/istek (TPM/RPM) limitleri ve aylık bütçe tavanı (hard/soft cap)
Merkezi Gözlemlenebilirlik ve Yüksek Erişilebilirlik
- Gateway üzerinden OpenTelemetry/Langfuse trace aktarımı ve maliyet muhasebesi
- PostgreSQL ve Redis ile çok kopyalı (HA) LiteLLM/Gateway üretim kurulumu
Bu Kategorideki Diğer Eğitimler
-
LLM ve RAG uygulamaları için GitHub Actions/GitLab CI tabanlı CI/CD hatları: PR aşamasında hızlı smoke/eval testleri, deterministik ve model-graded kalite kapıları, maliyet/gecikme bütçesi kontrolü, canary dağıtım ve otomatik rollback.
- Canlı Kurs
- 5 modül
-
LLM uygulamalarında sistematik kalite ölçümü: Promptfoo, DeepEval ve Ragas ile deterministik ve LLM-as-a-judge metrikler, hakem model yanlılıklarını (bias) giderme, insan değerlendirmesiyle kalibrasyon ve kurumsal eval karnesi.
- Canlı Kurs
- 5 modül
-
Büyük ölçekli, hızlı ve tekrarlanabilir LLM evaluation pipeline mühendisliği: asenkron paralel test koşucuları, judge maliyet/önbellek optimizasyonu, veri seti besleme, istatistiksel anlamlılık ve deney karşılaştırma panelleri.
- Canlı Kurs
- 5 modül
-
Canlı LLM trafiğinde sürekli kalite kontrolü: üretim trace'lerinden akıllı örnekleme, kullanıcı gecikmesini etkilemeyen asenkron online evaluator'lar, referanssız halüsinasyon/relevans ölçümü, sorgu kayması (drift) tespiti ve uyarı mekanizmaları.
- Canlı Kurs
- 5 modül
-
Prompt, model veya RAG ayarları değiştiğinde eski çalışan senaryoların bozulmasını önleme: deterministik kontrat testleri, semantik eşdeğerlik, tool-call doğrulaması, snapshot karşılaştırma ve sürüm onay matrisi.
- Canlı Kurs
- 5 modül
-
Çok adımlı LLM, RAG ve agent sistemlerinde derinlemesine gözlemlenebilirlik: OpenTelemetry GenAI standartları, Langfuse ve Arize Phoenix kurulumu, span bazında token/gecikme/maliyet analizi, PII maskeleme ve üretim trace panelleri.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
