Eğitimin Amacı ve Kapsamı
Pek çok ekip geliştirdiği yapay zeka asistanını yalnızca birkaç favori soruyu elle yazıp yanıta bakarak ('vibe check') test eder; bu yaklaşım ilk sürümde hızlı görünse de her değişiklikte güven kaybına yol açar. Bu temel seviye program, ağır istatistik veya karmaşık altyapıya girmeden hemen uygulanabilecek pratik LLM değerlendirme (evals) alışkanlığını kazandırır.
Katılımcılar kendi iş senaryolarından 25–30 soruluk bir başlangıç test seti hazırlar, basit deterministik kurallar ile anlaşılır bir pass/fail LLM-as-a-judge kriteri yazar ve Promptfoo üzerinde iki farklı prompt/model seçeneğini karşılaştırarak ilk eval raporunu üretir.
Kimler Katılmalı?
- LLM uygulamaları geliştirmeye yeni başlayan yazılım geliştiriciler
- Kalite kriterlerini tanımlayan ürün yöneticileri, iş analistleri ve QA uzmanları
- Ekiplerinde ortak bir değerlendirme dili kurmak isteyen teknik liderler
- Ön koşul: temel LLM/prompt kullanımı; ileri programlama bilgisi gerekmez
Kazanımlar
- Göz kararı testin (vibe check) neden yetersiz kaldığını ve eval döngüsünün adımlarını açıklamak
- Gerçek kullanıcı sorularından ve hata örneklerinden başlangıç eval veri seti derlemek
- JSON, anahtar kelime ve uzunluk gibi kod tabanlı hızlı kontroller tanımlamak
- Net bir evet/hayır (pass/fail) kriteriyle basit LLM-as-a-judge değerlendiricisi yazmak
- Promptfoo ile iki prompt veya modeli yan yana kıyaslayıp somut karar tablosu çıkarmak
Konular
Neden Evals? Vibe Check'ten Mühendisliğe Geçiş
- Prompt veya model değiştiğinde neden 'eskiden çalışıyordu' sorunu yaşanır?
- İyi bir eval sürecinin üç ayağı: test verisi, değerlendirici (assertions) ve hızlı geri bildirim
İlk Değerlendirme Veri Setini Hazırlamak
- Tipik sorular, zorlayıcı sınır durumlar (edge cases) ve kapsam dışı sorular
- CSV/YAML/JSONL formatında girdi, beklenen bilgi ve bağlam sütunlarını düzenleme
Kural Tabanlı (Deterministic) Hızlı Kontroller
- İçerir/içermez, regex, geçerli JSON ve yanıt uzunluğu kontrolleri
- Maliyetsiz ve milisaniyede çalışan kontrollerle bariz hataları yakalama
LLM-as-a-Judge'a Giriş
- Açık uçlu yanıtları başka bir LLM'e değerlendirtme mantığı
- 1–10 puan yerine net 'GEÇTİ / KALDI' (Pass/Fail) kriteri yazma
Promptfoo ile İlk Karşılaştırma Lab'ı
- Komut satırından ve görsel arayüzden iki prompt/model varyantını koşma
- Başarı yüzdesi, hata örnekleri ve maliyet tablosunu okuyarak sürüm kararı verme
Bu Kategorideki Diğer Eğitimler
-
LLM değerlendirmelerinin temelini oluşturan yüksek kaliteli golden dataset tasarımı: senaryo matrisi, dokümanlardan sentetik test verisi üretimi ve filtreleme, adversarial/edge case kurgusu, uzman etiketleme ve veri seti bakımı.
- Canlı Kurs
- 5 modül
-
Deterministik kural tabanlı (rule-based) değerlendiriciler ile model-graded (LLM-as-a-judge) hakemlerin hibrit tasarımı: regex/AST/JSON şema doğrulama, pairwise ve rubric tabanlı judge prompt mühendisliği ve kalibrasyon.
- Canlı Kurs
- 5 modül
-
RAG ve çok adımlı agent sistemlerinde bileşen bazlı ve uçtan uca kalite ölçümü: retrieval (precision@k, recall@k, MRR), generation (faithfulness, relevance) ve agent (tool seçimi, argüman doğruluğu, trajectory verimliliği) metrikleri.
- Canlı Kurs
- 5 modül
-
Dağıtım öncesi offline eval skorları ile canlı üretim başarısını birleştirme: offline-online korelasyon analizi, shadow deployment, LLM yanıtlarında A/B testi ve interleaving, iş metrikleriyle bağlantı ve güvenli sürüm geçişi.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamalarında kullanıcı etkileşimlerini sürekli iyileştirmeye dönüştürme: açık ve örtük geri bildirim yakalama, trace-bağlantılı puanlama, uzman düzeltme kuyrukları ve veriden eval/fine-tuning çarkı (data flywheel).
- Canlı Kurs
- 5 modül
-
Prototip aşamasındaki LLM uygulamalarını üretime taşımanın temelleri: klasik MLOps ile LLMOps farkları, prompt/model versiyonlama, temel tracing, eval seti oluşturma, guardrail katmanı ve üretime geçiş kontrol listesi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
