Model Online/Fiziksel
Süre
Modüller 6 modül

Eğitimin Amacı ve Kapsamı

Çoğu RAG projesi, birkaç örnek soruya bakılarak yapılan öznel "göz kararı" (vibe check) kontroller yüzünden üretim öncesi tıkanır; chunk boyutu, embedding modeli veya prompt değiştiğinde sistemin gerçekten iyileşip iyileşmediği bilinemez. Bu eğitim; uçtan uca bir RAG değerlendirme (eval) yaşam döngüsü kurmayı, temsil gücü yüksek altın veri seti (golden dataset) hazırlamayı, RAGAS, DeepEval ve Promptfoo gibi araçlarla otomatik test koşmayı ve hataları sistematik olarak kök nedenine ayırmayı kapsar.

Katılımcılar kendi kurumsal dokümanlarından gerçek ve sentetik test senaryoları üretir, CI/CD içinde çalışan bir eval boru hattı kurar ve üretim trafiğinden geri besleme döngüsü (data flywheel) tasarlar.

Kimler Katılmalı?

  • RAG ve kurumsal bilgi asistanlarını üretime taşıyan yapay zeka ve yazılım mühendisleri
  • Model, retrieval ve prompt deneylerini bilimsel olarak yönetmek isteyen veri bilimciler
  • Yapay zeka ürünlerinde kalite kapıları ve regresyon testlerinden sorumlu QA, MLOps ve teknik liderler
  • Ön koşul: Temel RAG mimarisi ve Python ile geliştirme deneyimi

Kazanımlar

  • Gerçek kullanıcı sorguları, uzman doğrulaması ve sentetik üretimle dengeli bir golden dataset oluşturur
  • Tek adımlı, çok adımlı, çelişkili ve yanıtsız (unanswerable) soru kategorilerini test setine dahil eder
  • RAGAS, DeepEval veya Promptfoo ile retrieval ve generation katmanlarını ayrı ayrı değerlendirir
  • LLM-as-a-judge değerlendiricilerini insan etiketleriyle hizalayıp (alignment) yanlılıkları azaltır
  • Her kod/prompt değişikliğinde çalışan CI/CD regresyon kapısı ve canlı hata analizi döngüsü kurar

Konular

Neden "Vibe Check" Yetmez? RAG Değerlendirme Yaşam Döngüsü
  • RAG sistemlerinde hata kaynaklarının ayrıştırılması: veri hazırlama, retrieval ve generation
  • Çevrimdışı (offline) deneyler, CI/CD regresyon testleri ve çevrimiçi (online) izleme döngüsü
Altın Veri Seti (Golden Dataset) Tasarımı ve Sentetik Veri Üretimi
  • Belge parçalarından kontrollü sentetik soru–referans kanıt–beklenen yanıt üçlüleri üretme
  • Zorluk seviyeleri: doğrudan olgu, tablo okuma, çoklu belge sentezi ve yanıtsız/kapsam dışı sorular
LLM-as-a-Judge Tasarımı ve İnsan Hizalaması
  • İkili (pass/fail) ve rubrik tabanlı judge prompt'ları; pozisyon ve uzunluk yanlılığını önleme
  • Konu uzmanlarının (SME) küçük bir örneklem üzerindeki kararlarıyla judge kalibrasyonu
Eval Araçları: RAGAS, DeepEval, Promptfoo ve Langfuse/Phoenix
  • Pytest entegrasyonlu DeepEval, RAGAS ve yapılandırma odaklı Promptfoo kullanımı
  • Deney sonuçlarının versiyonlu olarak izlenmesi ve hiperparametre karşılaştırması
Hata Taksonomisi, Kök Neden Analizi ve Veri Çarkı (Data Flywheel)
  • Başarısız testlerin kümelendirilmesi: chunk bölünmesi, yanlış filtre, zayıf rerank veya halüsinasyon
  • Canlı üretimdeki olumsuz geri bildirim ve düşük güvenli yanıtların test setine dönüştürülmesi
Uygulama: Kurumsal RAG için Uçtan Uca Eval Pipeline'ı
  • Kurum dokümanları için 50+ soruluk katmanlı eval veri seti ve otomatik test koşumu
  • İki farklı RAG konfigürasyonunun kanıta dayalı karşılaştırma raporu

Bu Kategorideki Diğer Eğitimler

  • RAG Sistemlerinde Getirme ve Üretim Metrikleri (Retrieval & Generation Metrics)

    RAG performansını sayısal olarak ölçen IR metriklerini (Recall@k, Precision@k, MRR, NDCG@k) ve üretim metriklerini (Faithfulness, Answer Relevance, Context Precision, Citation F1) formül, kod ve eşik değerleriyle işleyen program.

    RAG ve Kurumsal Bilgi Sistemleri Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • Üretim Ortamı RAG Mimarisi (Production RAG Architecture)

    RAG prototiplerini milyonlarca belge ve yüksek eşzamanlı kullanıcıya ölçekleyen üretim mimarisi: olay güdümlü artımlı indeksleme, kesintisiz re-indexing, önbellekleme, güvenlik ve LLMOps gözlemlenebilirliği.

    RAG ve Kurumsal Bilgi Sistemleri Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • Kurumsal Bilgi Asistanı Geliştirme (Enterprise Knowledge Assistant)

    SharePoint, Confluence, Drive, Jira ve iç dokümanları birleştiren; çok turlu konuşma, belirsizlik giderme, yetki kontrolü, kaynak kartları ve geri bildirim döngüsü içeren kurumsal bilgi asistanı geliştirme programı.

    RAG ve Kurumsal Bilgi Sistemleri Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • Text-to-SQL ve Konuşmalı Analitik (Conversational Analytics)

    Doğal dildeki iş sorularını ilişkisel veritabanları ve veri ambarları (PostgreSQL, BigQuery, Snowflake, MSSQL) üzerinde doğru SQL sorgularına, tablolara ve grafiklere dönüştüren Text-to-SQL mühendisliği programı.

    RAG ve Kurumsal Bilgi Sistemleri Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • Semantik Katman ve Metrik Tanımları ile Güvenilir Text-to-SQL

    Text-to-SQL sistemlerinin her soruda farklı formül uydurmasını önlemek için dbt Semantic Layer, Cube, LookML ve YAML metrik sözlükleriyle yönetişimli analitik ve Text-to-Semantic-Query mimarisi kurma programı.

    RAG ve Kurumsal Bilgi Sistemleri Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • Text-to-SQL Sistemlerinde Sorgu Doğrulama, Güvenlik ve Yetki Kontrolü

    LLM tarafından üretilen SQL sorgularını çalıştırmadan önce AST (SQLGlot) ile doğrulayan, zararlı komutları ve ağır sorguları engelleyen, Row-Level Security (RLS) ve sütun maskeleme uygulayan güvenlik programı.

    RAG ve Kurumsal Bilgi Sistemleri Kurumsal
    Canlı Kurs
    6 modül
    İncele

Bizimle iletişime geçin