Eğitimin Amacı ve Kapsamı
Her şeyi LLM-as-a-judge ile ölçmek yavaş, pahalı ve stokastiktir; her şeyi regex veya exact match ile ölçmek ise doğal dilin esnekliğini yakalayamaz. Bu uzmanlık eğitimi, deterministik kod/kural tabanlı değerlendiriciler (rule-based evals) ile model tabanlı değerlendiricilerin (model-graded evals) nerede ve nasıl birlikte kullanılacağını derinlemesine işler.
Katılımcılar yapısal ve biçimsel kurallar için Python/AST/JSON Schema doğrulayıcıları yazar; anlamsal doğruluk, ton ve akıl yürütme kalitesi için ise kalibre edilmiş pointwise/pairwise LLM judge'ları geliştirerek iki yaklaşımı tek bir hibrit puanlama motorunda birleştirir.
Kimler Katılmalı?
- Değerlendirme doğruluğunu artırmak ve judge maliyetini düşürmek isteyen AI mühendisleri ve veri bilimciler
- LLM test otomasyonu geliştiren yazılım ve QA mühendisleri
- Özel görevler (kod üretimi, SQL, yapılandırılmış raporlama) için eval yazan teknik ekipler
- Ön koşul: Python programlama ve temel LLM API/evaluation bilgisi
Kazanımlar
- Biçim, şema, kod/SQL sözdizimi ve sayısal kurallar için hızlı deterministik evaluator'lar yazmak
- Atomik olgu (fact) ayrıştırma ve NLI/embedding modelleriyle hafif semantik kontroller kurmak
- Açıklama-önce (critique-first) çalışan, düşük varyanslı model-graded judge prompt'ları tasarlamak
- Pointwise (kriter bazlı) ve pairwise (A/B yan yana) hakem modellerin güçlü yönlerini yerinde kullanmak
- Kural tabanlı ön filtre + kalibre edilmiş LLM judge zinciriyle hem hızlı hem yüksek doğruluklu eval koşmak
Konular
Kural Tabanlı (Rule-Based) Değerlendirici Cephaneliği
- Pydantic/JSON Schema, XML/Markdown yapı kontrolü, regex, tarih/sayı toleransı ve atıf doğrulama
- Üretilen kod ve SQL için AST ayrıştırma, dry-run/explain plan ve sandbox yürütme testleri
Yarı-Deterministik ve Küçük Model Değerlendiricileri
- Normalize edilmiş Levenshtein/fuzzy eşleşme, ROUGE-L ve embedding cosine similarity sınırları
- Cross-encoder ve NLI (entailment/contradiction) modelleriyle hızlı çelişki tespiti
Model-Graded (LLM-as-a-Judge) Prompt Mimarisi
- Çok kriterli tek prompt yerine her kriter için tek sorumluluklu (single-aspect) judge tasarımı
- Önce kanıt ve gerekçe çıkaran (reasoning/critique), ardından JSON içinde
pass: true/falseveren şablonlar
Pointwise vs Pairwise Karşılaştırma ve Yanlılık Giderme
- Mutlak eşik kontrolü için pointwise, ince üslup/kalite farkları için A/B sıra değiştirmeli (swap-augmented) pairwise judge
- Uzun yanıtı ödüllendirme (verbosity) ve kendi model ailesini kayırma yanlılığını nötralize etme
Hibrit Evaluator Zinciri ve İnsan Uyumu Kalibrasyonu
- Aşama 1: Kural kontrolü -> Aşama 2: NLI/küçük judge -> Aşama 3: Frontier judge akışı
- Confusion matrix (Precision/Recall/F1) ile judge kararlarını uzman etiketlerine göre optimize etme
Bu Kategorideki Diğer Eğitimler
-
RAG ve çok adımlı agent sistemlerinde bileşen bazlı ve uçtan uca kalite ölçümü: retrieval (precision@k, recall@k, MRR), generation (faithfulness, relevance) ve agent (tool seçimi, argüman doğruluğu, trajectory verimliliği) metrikleri.
- Canlı Kurs
- 5 modül
-
Dağıtım öncesi offline eval skorları ile canlı üretim başarısını birleştirme: offline-online korelasyon analizi, shadow deployment, LLM yanıtlarında A/B testi ve interleaving, iş metrikleriyle bağlantı ve güvenli sürüm geçişi.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamalarında kullanıcı etkileşimlerini sürekli iyileştirmeye dönüştürme: açık ve örtük geri bildirim yakalama, trace-bağlantılı puanlama, uzman düzeltme kuyrukları ve veriden eval/fine-tuning çarkı (data flywheel).
- Canlı Kurs
- 5 modül
-
Prototip aşamasındaki LLM uygulamalarını üretime taşımanın temelleri: klasik MLOps ile LLMOps farkları, prompt/model versiyonlama, temel tracing, eval seti oluşturma, guardrail katmanı ve üretime geçiş kontrol listesi.
- Canlı Kurs
- 5 modül
-
Bir LLM uygulamasını uçtan uca üretim disiplinine kavuşturma: LiteLLM gateway, Langfuse/Phoenix tracing, otomatik eval ve regression testleri, CI/CD kalite kapıları, guardrail katmanları ve canlı geri bildirim döngüsü.
- Canlı Kurs
- 5 modül
-
LLM uygulamalarında tam tekrarlanabilirlik (reproducibility): Langfuse/MLflow Prompt Registry ve Git ile prompt sürümleme, model/LoRA ve tool şeması versiyonlama, RAG/eval veri seti snapshot'ları ve güvenli rollback.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
