Eğitimin Amacı ve Kapsamı
Bir notebook içinde 20 örneği değerlendirmek kolaydır; ancak yüzlerce test senaryosunu, çok adımlı agent akışlarını ve birden fazla hakem modeli her gün düzenli, hızlı ve düşük maliyetle çalıştırmak sağlam bir veri ve yazılım mühendisliği mimarisi gerektirir. Bu ileri seviye eğitim, değerlendirme sürecini ölçeklenebilir bir 'Evaluation Pipeline' servisine dönüştürmeye odaklanır.
Katılımcılar; asenkron ve rate-limit farkındalıklı paralel koşucular, deterministik eval önbellekleme, Batch API ile düşük maliyetli gece değerlendirmeleri, tekrarlı koşumlarda varyans/güven aralığı hesabı ve Langfuse/Phoenix/MLflow üzerinde deney karşılaştırma veri modelleri kurar.
Kimler Katılmalı?
- Merkezi değerlendirme altyapısı kuran LLMOps, MLOps ve platform mühendisleri
- Yüksek hacimli LLM ve agent test otomasyonu geliştiren kıdemli yazılım/AI mühendisleri
- Model ve prompt deneylerini ölçeklendiren veri bilimi ve AI altyapı ekipleri
- Ön koşul: Python (async/await), API entegrasyonu ve temel LLM evaluation bilgisi
Kazanımlar
- Yüzlerce test vakasını rate limit'lere takılmadan paralel koşan asenkron eval motoru kurmak
- Yanıt ve hakem puanlarını hash bazlı önbellekleyerek tekrar koşum maliyetini düşürmek
- LLM stokastikliğini yönetmek için pass@k, tekrarlı koşum ve güven aralığı hesaplamak
- Çok aşamalı pipeline'larda (retrieval -> generation -> judge) ara çıktıları artefakt olarak saklamak
- Farklı deney koşumlarını dilim bazında (slice-based) karşılaştıran raporlama altyapısı oluşturmak
Konular
Evaluation Pipeline Mimarisi ve Veri Modeli
- Dataset, target (uygulama), evaluator, run ve score varlıklarının şema tasarımı
- Uygulama çağrısı (generation) ile puanlama (scoring) aşamalarını birbirinden ayırma
Yüksek Hızlı Paralel Koşum ve Rate-Limit Yönetimi
asyncio, semaphore, token-bucket rate limiter ve otomatik backoff mimarisi- Büyük ölçekli regresyon ve model kıyaslamalarında Batch API kullanımı
Önbellekleme, Maliyet Kontrolü ve Aşamalı Değerlendirme
- (Prompt + input + model) hash'i ile yanıt ve judge sonucu önbellekleme
- Ucuz deterministik/küçük judge filtrelerinden sonra pahalı hakem modeli çağırma
Stokastiklik, İstatistiksel Güven ve Dilim Analizi
- Temperature > 0 senaryolarında pass@k, pass^k ve bootstrap güven aralıkları
- Ortalama skorda gizlenen hataları kategori/zorluk dilimleriyle (data slicing) yakalama
Deney İzleme ve Görselleştirme Entegrasyonu
- Langfuse, Arize Phoenix ve MLflow Experiments API'lerine otomatik sonuç basma
- Kurum içi ekipler için standart CLI/SDK tabanlı eval pipeline şablonu
Bu Kategorideki Diğer Eğitimler
-
Canlı LLM trafiğinde sürekli kalite kontrolü: üretim trace'lerinden akıllı örnekleme, kullanıcı gecikmesini etkilemeyen asenkron online evaluator'lar, referanssız halüsinasyon/relevans ölçümü, sorgu kayması (drift) tespiti ve uyarı mekanizmaları.
- Canlı Kurs
- 5 modül
-
Prompt, model veya RAG ayarları değiştiğinde eski çalışan senaryoların bozulmasını önleme: deterministik kontrat testleri, semantik eşdeğerlik, tool-call doğrulaması, snapshot karşılaştırma ve sürüm onay matrisi.
- Canlı Kurs
- 5 modül
-
Çok adımlı LLM, RAG ve agent sistemlerinde derinlemesine gözlemlenebilirlik: OpenTelemetry GenAI standartları, Langfuse ve Arize Phoenix kurulumu, span bazında token/gecikme/maliyet analizi, PII maskeleme ve üretim trace panelleri.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamaları için düşük gecikmeli girdi ve çıktı koruma katmanları (guardrails): prompt injection ve jailbreak engelleme, KVKK uyumlu PII maskeleme, konu sınırlama, halüsinasyon kontrolü ve güvenli tool yetkileri.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamalarında çok katmanlı önbellekleme ile maliyet ve gecikmeyi düşürme: sağlayıcı/vLLM prompt caching, Redis ile exact cache, vektör tabanlı semantic caching, kiracı izolasyonu ve cache invalidation.
- Canlı Kurs
- 5 modül
-
Çok adımlı LLM, RAG ve agent uygulamalarında uçtan uca gecikme (E2E latency) yönetimi: SSE streaming UX, paralel retrieval/guardrail/tool yürütme, çıktı daraltma, P95/P99 kuyruk gecikmesi ve hedged request desenleri.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
