Eğitimin Amacı ve Kapsamı
Kurumsal bir uygulamada her isteği en büyük ve en pahalı modele göndermek bütçeyi hızla tüketir; tüm istekleri küçük modele yönlendirmek ise zor sorularda kaliteyi düşürür. Bu eğitim; istek sınıflandırma, zorluk tahmini, semantik ve kural tabanlı router'lar, model cascade (önce hızlı model, gerekirse güçlü model) ve sağlayıcı kesintilerine karşı çoklu model fallback mimarilerini ele alır.
Katılımcılar LiteLLM ve özel router bileşenleri kullanarak birden fazla kapalı ve open-weight modeli tek bir gateway arkasında birleştirir; kurum trafiğini temsil eden bir veri seti üzerinde model seçim matrisi ve yönlendirme politikası oluşturur.
Kimler Katılmalı?
- Çoklu LLM kullanılan ürünleri ölçeklendiren yapay zeka ve backend mühendisleri
- Kurumsal AI gateway ve platform altyapısını tasarlayan yazılım mimarları
- Birim maliyet, SLA ve sağlayıcı bağımsızlığı hedefleri olan teknik liderler
- Ön koşul: LLM API'leri ile servis geliştirme ve temel eval kavramları bilgisi
Kazanımlar
- Görev tipine, karmaşıklığa ve SLA hedeflerine göre çoklu model seçim matrisi hazırlar
- Kural tabanlı, embedding tabanlı ve küçük sınıflandırıcı tabanlı router'lar kurar
- Güven skoru ve doğrulayıcı kontrolleriyle model cascade akışı uygular
- LiteLLM gibi bir LLM gateway üzerinde yük dengeleme, kota ve fallback tanımlar
- Tek model ile yönlendirmeli mimariyi kalite, maliyet ve p95 latency açısından karşılaştırır
Konular
Çoklu Model Mimarisi ve Seçim Matrisi
- Reasoning, genel amaçlı, hızlı ve open-weight modellerin görev bazlı eşleştirilmesi
- Kalite, birim maliyet, TTFT, throughput ve veri yerleşimi kriterleri
Model Routing Yaklaşımları
- Deterministik kurallar, embedding benzerliği ve hafif sınıflandırıcılarla yönlendirme
- RouteLLM ve özel router modellerinin eğitimi ve kalibrasyonu
Model Cascade ve Doğrulayıcı Kalıpları
- Küçük modelden büyük modele eskalasyon kriterleri
- Şema doğrulama, öz-kontrol ve judge sinyalleriyle kalite kapıları
LLM Gateway ve Sağlayıcı Dayanıklılığı
- LiteLLM ile birleşik API, rate limit, bütçe kontrolü ve anahtar rotasyonu
- Bölgesel kesinti ve kota aşımında otomatik çapraz sağlayıcı fallback'i
Çoklu Model Sistemlerde Prompt Uyumluluğu
- Farklı model aileleri arasında prompt ve tool davranış farklarının yönetimi
- Model değiştiğinde kırılmayan şablon ve eval regresyon testleri
Uygulama: Kurumsal Router ve Gateway Tasarımı
- Kurum istek örnekleri üzerinde iki kademeli router kurulumu
- Maliyet tasarrufu ve kalite koruma oranının ölçülmesi
Bu Kategorideki Diğer Eğitimler
-
Görsel, taranmış belge, tablo, grafik, ses ve video girdilerini işleyen multimodal LLM uygulamaları geliştirme programı; VLM API'leri, open-weight vision modelleri, OCRsız belge anlama ve doğruluk ölçümü.
- Canlı Kurs
- 6 modül
-
Sparse Mixture of Experts (MoE) modellerinin router, aktif parametre ve uzman dengesi mantığını; VRAM hesaplamasını, vLLM/SGLang ile expert parallelism sunumunu ve LoRA ile uyarlanmasını kapsayan ileri seviye program.
- Canlı Kurs
- 6 modül
-
SSE, WebSockets ve WebRTC ile düşük gecikmeli metin, yapılandırılmış veri ve çift yönlü ses akışı sunan gerçek zamanlı LLM uygulamaları geliştirme; TTFT optimizasyonu, kesme (barge-in) ve eşzamanlılık yönetimi.
- Canlı Kurs
- 6 modül
-
1B–14B parametreli küçük dil modelleriyle (Llama, Qwen, Gemma, Phi, Ministral) sınıflandırma, çıkarım, yönlendirme ve dar kapsamlı görevlerde düşük maliyetli ve hızlı çözümler geliştirme; distillation ve ince ayar programı.
- Canlı Kurs
- 6 modül
-
Llama, Qwen, Mistral ve DeepSeek gibi open-weight modelleri vLLM, SGLang ve Ollama ile şirket içi veya özel bulutta OpenAI uyumlu API olarak sunma, GPU boyutlandırma, quantization ve güvenlik programı.
- Canlı Kurs
- 6 modül
-
Üretimdeki LLM uygulamalarında token tüketimini, fatura maliyetini ve p95 gecikmeyi düşüren mühendislik teknikleri: prompt ve semantik caching, Batch API, çıktı kontrolü, model kademelendirme ve birim maliyet analizi.
- Canlı Kurs
- 6 modül
Bizimle iletişime geçin
