Model Online/Fiziksel
Süre
Modüller 6 modül

Eğitimin Amacı ve Kapsamı

Bir RAG sisteminde "yanıt kalitesi düştü" demek sorunu çözmeye yetmez; sorunun doğru parçanın ilk k sonuçta gelmemesinden mi (Recall@k), doğru parçanın alt sıralarda kalmasından mı (MRR/NDCG), yoksa modelin gelen kanıtı yanlış sentezlemesinden mi (Faithfulness/Answer Relevance) kaynaklandığını ayrı metriklerle ölçmek gerekir. Bu eğitim; klasik bilgi getirme (Information Retrieval) metrikleri ile modern LLM tabanlı üretim ve atıf metriklerinin matematiğini, sınırlarını ve uygulanmasını derinlemesine ele alır.

Katılımcılar referanslı ve referanssız (reference-free) metrikleri Python ile hesaplar, metrikler arası korelasyonu analiz eder ve kurumlarının SLA/kalite hedefleri için üretime geçiş eşik değerlerini (thresholds) belirler.

Kimler Katılmalı?

  • Arama ve RAG kalitesini nicel metriklerle optimize eden veri bilimciler ve yapay zeka mühendisleri
  • Model, embedding ve reranker karşılaştırma deneyleri yürüten ML ve arama mühendisleri
  • Yapay zeka ürünlerinde kalite KPI'larını ve kabul kriterlerini tanımlayan teknik liderler
  • Ön koşul: Temel Python, olasılık/istatistik aşinalığı ve RAG kavramları bilgisi

Kazanımlar

  • Recall@k, Precision@k, Hit Rate, MRR, MAP ve NDCG@k metriklerini doğru senaryoda seçip hesaplar
  • RAG Triad (Context Relevance, Groundedness/Faithfulness, Answer Relevance) metriklerini uygular
  • Referans yanıt gerektiren (ground-truth) ve gerektirmeyen (reference-free) metriklerin farkını yönetir
  • Atıf doğruluğunu Citation Precision, Citation Recall ve F1 skorlarıyla cümle bazında ölçer
  • Bootstrap güven aralıkları ve eşleştirilmiş anlamlılık testleriyle iki sistem arasındaki farkı doğrular

Konular

Sırasız Getirme Metrikleri: Recall@k, Precision@k ve Hit Rate
  • Belge düzeyinde, parça (chunk) düzeyinde ve karakter aralığı (span) düzeyinde eşleşme tanımları
  • Çok kanıtlı (multi-hop) sorularda tam kapsama (all-recall) ve kısmi kapsama hesabı
Sıra Duyarlı (Rank-Aware) IR Metrikleri: MRR, MAP ve NDCG@k
  • Tek doğru kaynaklı aramalarda MRR, çoklu doğru kaynaklarda MAP ve dereceli alakada (0–3) NDCG@k
  • Reranker etkisini ölçmek için `NDCG@5` vs `Recall@50` birlikte okuma pratiği
RAG Triad ve Bağlam Kalitesi Metrikleri
  • Context Precision, Context Recall ve gürültü oranı (signal-to-noise) ölçümleri
  • İddia ayrıştırma (claim decomposition) tabanlı Faithfulness ve Answer Relevance hesabı
Referanslı Doğruluk ve Atıf (Citation) Metrikleri
  • Factual Correctness (referans yanıtla örtüşme), semantik benzerlik ve eksiksizlik (completeness)
  • Citation Precision (gereksiz/yanlış atıf cezası) ve Citation Recall (desteklenmeyen iddia tespiti)
İstatistiksel Anlamlılık, Metrik Kalibrasyonu ve Canlı Proxy Metrikleri
  • LLM judge gürültüsü, bootstrap güven aralığı ve McNemar / paired permutation testleri
  • Canlı trafikte referanssız metrikler ile kullanıcı sinyallerinin (kopyalama, yeniden sorma, thumbs-up/down) korelasyonu
Laboratuvar: Metrik Panosu ve Teşhis Matrisi
  • Retrieval ve generation metriklerinin birlikte yorumlandığı teşhis tablosu
  • Kurum RAG servisi için kalite eşikleri (SLO) ve karar kartı oluşturulması

Bu Kategorideki Diğer Eğitimler

  • Üretim Ortamı RAG Mimarisi (Production RAG Architecture)

    RAG prototiplerini milyonlarca belge ve yüksek eşzamanlı kullanıcıya ölçekleyen üretim mimarisi: olay güdümlü artımlı indeksleme, kesintisiz re-indexing, önbellekleme, güvenlik ve LLMOps gözlemlenebilirliği.

    RAG ve Kurumsal Bilgi Sistemleri Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • Kurumsal Bilgi Asistanı Geliştirme (Enterprise Knowledge Assistant)

    SharePoint, Confluence, Drive, Jira ve iç dokümanları birleştiren; çok turlu konuşma, belirsizlik giderme, yetki kontrolü, kaynak kartları ve geri bildirim döngüsü içeren kurumsal bilgi asistanı geliştirme programı.

    RAG ve Kurumsal Bilgi Sistemleri Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • Text-to-SQL ve Konuşmalı Analitik (Conversational Analytics)

    Doğal dildeki iş sorularını ilişkisel veritabanları ve veri ambarları (PostgreSQL, BigQuery, Snowflake, MSSQL) üzerinde doğru SQL sorgularına, tablolara ve grafiklere dönüştüren Text-to-SQL mühendisliği programı.

    RAG ve Kurumsal Bilgi Sistemleri Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • Semantik Katman ve Metrik Tanımları ile Güvenilir Text-to-SQL

    Text-to-SQL sistemlerinin her soruda farklı formül uydurmasını önlemek için dbt Semantic Layer, Cube, LookML ve YAML metrik sözlükleriyle yönetişimli analitik ve Text-to-Semantic-Query mimarisi kurma programı.

    RAG ve Kurumsal Bilgi Sistemleri Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • Text-to-SQL Sistemlerinde Sorgu Doğrulama, Güvenlik ve Yetki Kontrolü

    LLM tarafından üretilen SQL sorgularını çalıştırmadan önce AST (SQLGlot) ile doğrulayan, zararlı komutları ve ağır sorguları engelleyen, Row-Level Security (RLS) ve sütun maskeleme uygulayan güvenlik programı.

    RAG ve Kurumsal Bilgi Sistemleri Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • Text-to-SQL Doğruluk Değerlendirmesi ve Benchmark Tasarımı

    Text-to-SQL sistemlerini Execution Accuracy, sonuç kümesi eşleşmesi, AST yapısal karşılaştırma, sorgu verimliliği (VES) ve belirsiz/tuzak sorularla kurumsal şemalar üzerinde ölçen değerlendirme programı.

    RAG ve Kurumsal Bilgi Sistemleri Kurumsal
    Canlı Kurs
    6 modül
    İncele

Bizimle iletişime geçin