Eğitimin Amacı ve Kapsamı
En gelişmiş değerlendirme metrikleri bile zayıf, tekdüze veya gerçek hayatı yansıtmayan bir test veri seti üzerinde çalıştırıldığında yanıltıcı bir güven hissi verir. Bu eğitim; kurumsal LLM, RAG ve agent uygulamaları için yüksek sinyal değerine sahip 'Golden Dataset' ve test vakası (test case) tasarlama metodolojisini uçtan uca ele alır.
Katılımcılar persona × görev × zorluk matrisini kurar, kurum dokümanlarından kontrollü sentetik soru-cevap çiftleri üretip kalitesiz olanları filtreler, çok turlu ve yanıltıcı (adversarial) senaryolar ekler ve alan uzmanlarıyla birlikte sürdürülebilir bir etiketleme (annotation) kılavuzu oluşturur.
Kimler Katılmalı?
- LLM değerlendirme ve kalite altyapısını kuran yapay zeka mühendisleri ve veri bilimciler
- GenAI ürünlerinde test senaryolarını tasarlayan QA mühendisleri ve teknik ürün yöneticileri
- Etiketleme ve doğrulama süreçlerini yöneten alan uzmanları ve analistler
- Ön koşul: Python temelleri ve temel LLM/RAG kavramları
Kazanımlar
- Uygulamanın tüm kullanım alanlarını temsil eden dengeli bir test kapsamı (coverage) matrisi kurmak
- Kurum dokümanlarından gerçekçi sentetik sorular, çok adımlı sorgular ve referans yanıtlar üretmek
- Eksik bilgi, çelişkili bağlam, yazım hatası ve prompt injection içeren sınır vakalar (edge cases) tasarlamak
- Alan uzmanları için net etiketleme rubrikleri hazırlayıp etiketleyiciler arası uyumu ölçmek
- Üretimden gelen gerçek hatalarla golden dataset'i temiz, tekrarsız ve güncel tutmak
Konular
İyi Bir Golden Dataset'in Özellikleri ve Kapsam Matrisi
- Kaç örnek gerekir? Smoke set, core golden set ve geniş regression seti ayrımı
- Kullanıcı personası × niyet (intent) × karmaşıklık × dil/format boyutlarıyla senaryo matrisi
Dokümanlardan Kontrollü Sentetik Test Verisi Üretimi
- Bilgi bankası chunk'larından tek parçalı (single-hop) ve çok parçalı (multi-hop) soru üretimi
- Fazla düzgün 'kitabi' soruları gerçek kullanıcı diline (kısa, devrik, kısaltmalı) dönüştürme ve filtreleme
Sınır Durumlar (Edge Cases) ve Negatif/Adversarial Testler
- Cevabı dokümanda olmayan sorular ('Bilmiyorum' demesi gereken durumlar) ve çelişkili tarih/rakamlar
- Kapsam dışı talepler, PII tuzakları, dolaylı prompt injection ve hatalı tool argümanları
Uzman Etiketleme (Human Annotation) ve Kalite Kontrolü
- Hukuk, finans veya teknik uzmanların zamanını verimli kullanan etiketleme arayüzü ve kılavuzu
- Tam referans metin yazmak yerine 'bulunması gereken zorunlu olgular' (atomic facts) tanımlama
Veri Seti Hijyeni, Tekilleştirme ve Evrim
- Embedding benzerliği ile birbirinin kopyası olan test sorularını (near-duplicates) temizleme
- Bilgi bankası güncellendiğinde geçerliliğini yitiren (stale) golden yanıtları tespit ve revize etme
Bu Kategorideki Diğer Eğitimler
-
Deterministik kural tabanlı (rule-based) değerlendiriciler ile model-graded (LLM-as-a-judge) hakemlerin hibrit tasarımı: regex/AST/JSON şema doğrulama, pairwise ve rubric tabanlı judge prompt mühendisliği ve kalibrasyon.
- Canlı Kurs
- 5 modül
-
RAG ve çok adımlı agent sistemlerinde bileşen bazlı ve uçtan uca kalite ölçümü: retrieval (precision@k, recall@k, MRR), generation (faithfulness, relevance) ve agent (tool seçimi, argüman doğruluğu, trajectory verimliliği) metrikleri.
- Canlı Kurs
- 5 modül
-
Dağıtım öncesi offline eval skorları ile canlı üretim başarısını birleştirme: offline-online korelasyon analizi, shadow deployment, LLM yanıtlarında A/B testi ve interleaving, iş metrikleriyle bağlantı ve güvenli sürüm geçişi.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamalarında kullanıcı etkileşimlerini sürekli iyileştirmeye dönüştürme: açık ve örtük geri bildirim yakalama, trace-bağlantılı puanlama, uzman düzeltme kuyrukları ve veriden eval/fine-tuning çarkı (data flywheel).
- Canlı Kurs
- 5 modül
-
Prototip aşamasındaki LLM uygulamalarını üretime taşımanın temelleri: klasik MLOps ile LLMOps farkları, prompt/model versiyonlama, temel tracing, eval seti oluşturma, guardrail katmanı ve üretime geçiş kontrol listesi.
- Canlı Kurs
- 5 modül
-
Bir LLM uygulamasını uçtan uca üretim disiplinine kavuşturma: LiteLLM gateway, Langfuse/Phoenix tracing, otomatik eval ve regression testleri, CI/CD kalite kapıları, guardrail katmanları ve canlı geri bildirim döngüsü.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
