Eğitimin Amacı ve Kapsamı
Canlıya çıkmadan önce koşulan statik test setleri, gerçek kullanıcıların zamanla değişen sorularını, yeni ürün kampanyalarını veya bilgi bankasına eklenen bozuk dokümanları öngöremez. Üretim ortamında ground-truth (doğru yanıt) etiketi de bulunmadığından değerlendirme tamamen farklı bir mimari gerektirir. Bu ileri seviye program, canlı üretim trafiğini kullanıcıyı yavaşlatmadan sürekli değerlendirme (continuous evaluation) sistemini öğretir.
Katılımcılar üretim trace'lerini kuyruk üzerinden asenkron tüketen, stratejik örnekleme (sampling) yapan, referanssız RAG/agent metrikleri koşan ve kalite veya konu dağılımı kaydığında (drift) erken uyarı üreten bir izleme hattı kurar.
Kimler Katılmalı?
- Canlıda yüksek trafikli LLM uygulamaları işleten LLMOps, MLOps ve SRE mühendisleri
- Üretim kalitesini ve model kaymasını (drift) izleyen veri bilimciler ve AI mühendisleri
- Gözlemlenebilirlik ve kalite platformu geliştiren altyapı ekipleri
- Ön koşul: LLM evaluation temelleri, tracing kavramları ve Python bilgisi
Kazanımlar
- Kullanıcı yanıt süresine sıfır ek gecikme getiren asenkron online değerlendirme mimarisi kurmak
- Maliyeti kontrol altında tutmak için kural ve sinyal tabanlı akıllı trace örnekleme yapmak
- Ground-truth olmadan bağlama sadakat (faithfulness), toksisite ve görev başarısını puanlamak
- Embedding kümeleme ile kullanıcı sorgu dağılımındaki kaymaları (topic/concept drift) tespit etmek
- Düşük puanlı canlı konuşmaları otomatik olarak insan inceleme kuyruğuna (annotation queue) aktarmak
Konular
Offline Değerlendirme ile Continuous Online Evaluation Farkı
- Canlı trafikte ground-truth yokluğu, maliyet kısıtı ve gecikme izolasyonu
- Out-of-band (asenkron) trace tüketimi ve mesaj kuyruğu mimarisi
Akıllı Örnekleme (Sampling) Stratejileri
- Rastgele (%5) örnekleme yerine yüksek gecikmeli, uzun turlu veya düşük retrieval skorlu trace seçimi
- Negatif kullanıcı sinyali (thumbs-down, yeniden sorma, vazgeçme) tetiklemeli tam değerlendirme
Referanssız (Reference-Free) Üretim Evaluatörleri
- RAG için kaynak dokümana sadakat (hallucination/faithfulness) ve alaka düzeyi kontrolü
- Politika ihlali, PII sızıntısı, ton uyumu ve tool çağrı hatası değerlendiricileri
Sorgu Kayması (Drift) ve Bilinmeyen Konu Tespiti
- Gelen kullanıcı sorularının embedding dağılımını ve yeni oluşan kümeleri izleme
- Bilgi bankasında karşılığı olmayan (knowledge gap) yeni soru tiplerini yakalama
Kalite Alarmları ve İnsan İnceleme Kuyruğu
- Hareketli ortalama ve anomali bazlı kalite düşüşü uyarıları (SLO burn rate)
- Düşük skorlu trace'leri Langfuse/Phoenix annotation kuyruğuna ve regression setine aktarma
Bu Kategorideki Diğer Eğitimler
-
Prompt, model veya RAG ayarları değiştiğinde eski çalışan senaryoların bozulmasını önleme: deterministik kontrat testleri, semantik eşdeğerlik, tool-call doğrulaması, snapshot karşılaştırma ve sürüm onay matrisi.
- Canlı Kurs
- 5 modül
-
Çok adımlı LLM, RAG ve agent sistemlerinde derinlemesine gözlemlenebilirlik: OpenTelemetry GenAI standartları, Langfuse ve Arize Phoenix kurulumu, span bazında token/gecikme/maliyet analizi, PII maskeleme ve üretim trace panelleri.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamaları için düşük gecikmeli girdi ve çıktı koruma katmanları (guardrails): prompt injection ve jailbreak engelleme, KVKK uyumlu PII maskeleme, konu sınırlama, halüsinasyon kontrolü ve güvenli tool yetkileri.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamalarında çok katmanlı önbellekleme ile maliyet ve gecikmeyi düşürme: sağlayıcı/vLLM prompt caching, Redis ile exact cache, vektör tabanlı semantic caching, kiracı izolasyonu ve cache invalidation.
- Canlı Kurs
- 5 modül
-
Çok adımlı LLM, RAG ve agent uygulamalarında uçtan uca gecikme (E2E latency) yönetimi: SSE streaming UX, paralel retrieval/guardrail/tool yürütme, çıktı daraltma, P95/P99 kuyruk gecikmesi ve hedged request desenleri.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM ve agent sistemlerine özgü olay yönetimi: halüsinasyon dalgası, prompt injection/veri sızıntısı, sonsuz agent döngüsü ve sağlayıcı kesintilerine müdahale runbook'ları, kill-switch mekanizması ve AI post-mortem.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
