Eğitimin Amacı ve Kapsamı
Bir RAG veya agent sistemi yanlış yanıt verdiğinde yalnızca son çıktıya bakmak, hatanın yanlış doküman getirilmesinden mi (retrieval failure), LLM'in doğru dokümanı yanlış yorumlamasından mı (generation failure), yoksa agent'ın yanlış aracı eksik parametreyle çağırmasından mı (tool/planning failure) kaynaklandığını gizler. Bu eğitim, çok bileşenli sistemleri katman katman değerlendirme yöntemlerini öğretir.
Katılımcılar Ragas, DeepEval ve Langfuse/Phoenix kullanarak bir RAG + tool-calling agent uygulamasının retrieval, reranking, grounding, tool trajectory ve görev tamamlama başarısını ayrı ayrı ölçer ve darboğazı nokta atışı tespit eder.
Kimler Katılmalı?
- Kurumsal RAG ve çok adımlı AI agent sistemleri geliştiren yapay zeka ve yazılım mühendisleri
- Arama/retrieval kalitesi ve agent güvenilirliği üzerinde çalışan veri bilimciler
- Karmaşık GenAI iş akışlarını doğrulayan LLMOps ve kalite mühendisleri
- Ön koşul: Python ile RAG ve tool calling / agent geliştirme deneyimi
Kazanımlar
- RAG hatalarını retrieval aşaması ile generation aşaması arasında net olarak ayırmak
- Chunking, embedding ve reranker değişikliklerini Recall@k, Precision@k ve NDCG ile ölçmek
- Bağlama sadakat (faithfulness/groundedness) ve kaynak atıf doğruluğunu (citation accuracy) test etmek
- Agent'ların araç seçimi, JSON argüman doğruluğu ve adım verimliliğini (trajectory eval) puanlamak
- Çok turlu agent senaryolarını kullanıcı simülatörü ve mock/sandbox araçlarla uçtan uca sınamak
Konular
RAG Değerlendirme Üçgeni ve Hata İzolasyonu
- Sorgu (query), getirilen bağlam (context) ve üretilen yanıt (answer) arasındaki üçlü ilişki
- Retrieval mı başarısız oldu, yoksa LLM getirilen doğru bilgiyi mi yok saydı?
Retrieval ve Reranking Metrikleri
- Hit Rate, Recall@k, Precision@k, MRR ve NDCG ile arama ve reranker kalitesini ölçme
- Query rewriting/expansion ve hibrit arama (BM25 + dense) deneylerini sayısal kıyaslama
Generation, Grounding ve Atıf (Citation) Değerlendirmesi
- İddia bazlı (claim-level) faithfulness/halüsinasyon tespiti ve context utilization
- Yanıt içindeki
[1],[2]kaynak referanslarının gerçekten ilgili iddiayı desteklediğini doğrulama
Tek Adımlı ve Çok Adımlı Agent Değerlendirmesi
- Tool selection accuracy ve parametre/argüman eşleşme testleri
- Yörünge (trajectory) değerlendirmesi: optimal rota, gereksiz tool çağrıları ve döngü tespiti
Sandbox Ortamı, Mock Araçlar ve Kullanıcı Simülasyonu
- Gerçek veritabanını bozmadan deterministik mock API ve veritabanı durumu (state) doğrulaması
- Çok turlu (multi-turn) agent testleri için persona tabanlı kullanıcı simülatörü kurgusu
Bu Kategorideki Diğer Eğitimler
-
Dağıtım öncesi offline eval skorları ile canlı üretim başarısını birleştirme: offline-online korelasyon analizi, shadow deployment, LLM yanıtlarında A/B testi ve interleaving, iş metrikleriyle bağlantı ve güvenli sürüm geçişi.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamalarında kullanıcı etkileşimlerini sürekli iyileştirmeye dönüştürme: açık ve örtük geri bildirim yakalama, trace-bağlantılı puanlama, uzman düzeltme kuyrukları ve veriden eval/fine-tuning çarkı (data flywheel).
- Canlı Kurs
- 5 modül
-
Prototip aşamasındaki LLM uygulamalarını üretime taşımanın temelleri: klasik MLOps ile LLMOps farkları, prompt/model versiyonlama, temel tracing, eval seti oluşturma, guardrail katmanı ve üretime geçiş kontrol listesi.
- Canlı Kurs
- 5 modül
-
Bir LLM uygulamasını uçtan uca üretim disiplinine kavuşturma: LiteLLM gateway, Langfuse/Phoenix tracing, otomatik eval ve regression testleri, CI/CD kalite kapıları, guardrail katmanları ve canlı geri bildirim döngüsü.
- Canlı Kurs
- 5 modül
-
LLM uygulamalarında tam tekrarlanabilirlik (reproducibility): Langfuse/MLflow Prompt Registry ve Git ile prompt sürümleme, model/LoRA ve tool şeması versiyonlama, RAG/eval veri seti snapshot'ları ve güvenli rollback.
- Canlı Kurs
- 5 modül
-
LiteLLM ve kurumsal AI gateway'ler ile tüm bulut ve kurum içi LLM'leri tek OpenAI uyumlu katmanda toplama: otomatik fallback, yük dengeleme, karmaşıklığa göre model yönlendirme, sanal anahtarlar ve bütçe/rate limit kontrolü.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
