Eğitimin Amacı ve Kapsamı
'Birkaç örnek denedik, yanıtlar güzel görünüyor' yaklaşımıyla kurumsal yapay zeka sistemi yönetilemez; ancak BLEU/ROUGE gibi eski metin metrikleri de modern LLM görevlerini ölçmekte yetersiz kalır. Bu program; görev türüne göre doğru değerlendirme metriklerini seçmeyi, güvenilir LLM-as-a-judge (hakem model) rubrikleri tasarlamayı ve hakem modellerin insan uzmanlarla uyumunu doğrulamayı öğretir.
Katılımcılar Promptfoo, DeepEval ve Ragas kullanarak kendi kullanım senaryoları için referanslı ve referanssız metrikler geliştirir; uzunluk/konum yanlılığını (bias) ölçer ve üretime geçiş kararlarında kullanılacak somut bir eval karnesi oluşturur.
Kimler Katılmalı?
- LLM, RAG ve agent uygulamalarının kalitesinden sorumlu yapay zeka mühendisleri ve veri bilimciler
- Model ve prompt değişikliklerini nesnel metriklerle doğrulamak isteyen yazılım geliştiriciler
- Kalite kriterlerini tanımlayan teknik ürün yöneticileri ve QA/test mühendisleri
- Ön koşul: Python ve temel LLM API kullanımı
Kazanımlar
- Özetleme, sınıflandırma, bilgi çıkarımı ve soru-cevap görevleri için uygun metrikleri seçmek
- Uzmanlarla uyumlu, ikili (pass/fail) veya düşük ölçekli LLM-as-a-judge rubrikleri yazmak
- Hakem modellerde konum (position), uzunluk (verbosity) ve kendini kayırma yanlılıklarını azaltmak
- İnsan etiketleriyle hakem model arasındaki uyumu (Cohen's kappa / korelasyon) ölçmek
- Promptfoo veya DeepEval ile tekrar çalıştırılabilir bir kurumsal değerlendirme paketi kurmak
Konular
LLM Değerlendirme Taksonomisi
- Referanslı (ground-truth) ve referanssız değerlendirme yaklaşımları
- Kod tabanlı deterministik kontroller, embedding benzerliği ve LLM-as-a-judge
Hata Analizi ve Göreve Özel Metrik Tasarımı
- Open coding ve axial coding ile gerçek uygulama hatalarını kategorize etme
- Genel 'helpfulness' yerine uygulamaya özgü somut hata kriterleri çıkarma
LLM-as-a-Judge Mühendisliği ve Yanlılık Kontrolü
- Pointwise ve pairwise karşılaştırma, G-Eval ve gerekçeli (chain-of-thought) puanlama
- Position bias, verbosity bias ve self-enhancement bias tespiti ve azaltımı
İnsan Kalibrasyonu (Human-in-the-Loop Alignment)
- Alan uzmanlarıyla örnek etiketleme ve değerlendiriciler arası uyum (inter-annotator agreement)
- Judge prompt'unu insan kararlarıyla yüksek TPR/TNR yakalayana kadar kalibre etme
Değerlendirme Framework'leri ile Uygulama
- Promptfoo, DeepEval ve Ragas mimarilerinin karşılaştırması
- Çoklu model/prompt deney matrisi koşma ve karar karnesi üretme
Bu Kategorideki Diğer Eğitimler
-
Büyük ölçekli, hızlı ve tekrarlanabilir LLM evaluation pipeline mühendisliği: asenkron paralel test koşucuları, judge maliyet/önbellek optimizasyonu, veri seti besleme, istatistiksel anlamlılık ve deney karşılaştırma panelleri.
- Canlı Kurs
- 5 modül
-
Canlı LLM trafiğinde sürekli kalite kontrolü: üretim trace'lerinden akıllı örnekleme, kullanıcı gecikmesini etkilemeyen asenkron online evaluator'lar, referanssız halüsinasyon/relevans ölçümü, sorgu kayması (drift) tespiti ve uyarı mekanizmaları.
- Canlı Kurs
- 5 modül
-
Prompt, model veya RAG ayarları değiştiğinde eski çalışan senaryoların bozulmasını önleme: deterministik kontrat testleri, semantik eşdeğerlik, tool-call doğrulaması, snapshot karşılaştırma ve sürüm onay matrisi.
- Canlı Kurs
- 5 modül
-
Çok adımlı LLM, RAG ve agent sistemlerinde derinlemesine gözlemlenebilirlik: OpenTelemetry GenAI standartları, Langfuse ve Arize Phoenix kurulumu, span bazında token/gecikme/maliyet analizi, PII maskeleme ve üretim trace panelleri.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamaları için düşük gecikmeli girdi ve çıktı koruma katmanları (guardrails): prompt injection ve jailbreak engelleme, KVKK uyumlu PII maskeleme, konu sınırlama, halüsinasyon kontrolü ve güvenli tool yetkileri.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamalarında çok katmanlı önbellekleme ile maliyet ve gecikmeyi düşürme: sağlayıcı/vLLM prompt caching, Redis ile exact cache, vektör tabanlı semantic caching, kiracı izolasyonu ve cache invalidation.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
