Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Ölçülebilir bir baseline olmadan yapılan fine-tuning çalışmalarında ekipler haftalarca model eğitip sonunda iyi yazılmış bir few-shot prompt'un gerisinde kaldığını fark etmez. Bu eğitim, herhangi bir model eğitimine başlamadan önce kurulması gereken bilimsel ölçüm ve kabul sistemini öğretir.

Eğitimde temsili golden evaluation seti tasarımı, deterministik metrikler (exact match, F1, JSON şema doğruluğu, kod/SQL çalıştırma), kalibre edilmiş LLM-as-a-judge rubrikleri, gecikme/maliyet kısıtları ve istatistiksel anlamlılık testleri uygulanır. Katılımcılar kendi problemleri için çalışan bir baseline benchmark pipeline'ı ve başarı kriterleri dokümanı üretir.

Kimler Katılmalı?

  • Model eğitimi ve prompt/RAG optimizasyonu yapan veri bilimciler ve yapay zeka mühendisleri
  • Yapay zeka çıktılarının kalitesini doğrulayan değerlendirme ve QA mühendisleri
  • Proje kabul kriterlerini tanımlayan teknik ürün yöneticileri ve takım liderleri
  • Ön koşul: Python ve temel istatistik/model değerlendirme bilgisi

Kazanımlar

  • Üretim dağılımını ve zorlu uç örnekleri temsil eden sızıntısız bir golden test seti kurmak
  • En güçlü ticari model ve hedef küçük model üzerinde zero-shot / few-shot baseline skorları çıkarmak
  • İş hedefini deterministik kod kontrolleri ve kalibre edilmiş LLM-as-a-judge metriklerine çevirmek
  • Yargıç modelin (judge) insan uzmanlarla uyumunu (Cohen's kappa / korelasyon) ölçüp düzeltmek
  • Fine-tuning'in üretime geçmesi için gereken minimum kalite, gecikme ve maliyet kabul eşiklerini tanımlamak

Konular

Neden Önce Baseline ve Eval?
  • Eval-driven development: önce ölçüm, sonra uyarlama
  • Tavan (frontier model + few-shot) ve taban (küçük zero-shot model) referans noktaları
Golden Test Seti Tasarımı ve Katmanlama
  • Normal akış, nadir senaryolar (long-tail) ve reddedilmesi gereken (adversarial/out-of-scope) örnekler
  • Eğitim-test sızıntısını (contamination) önleyen katı ayrım ve versiyonlama
Görev Bazlı Metrik Mühendisliği
  • Bileşik metrikler: sınıflandırma F1, yapılandırılmış çıktı şema uyumu ve fonksiyonel doğruluk
  • Üretken görevlerde tek kriterli puanlama yerine ikili (pass/fail) ve analitik rubrikler
  • Kalite dışındaki zorunlu metrikler: TTFT, p95 gecikme ve istek başı maliyet
LLM-as-a-Judge Kalibrasyonu ve İstatistiksel Güven
  • Pozisyon, uzunluk ve kendi çıktısını kayırma (self-preference) yanlılıklarını giderme
  • Uzman etiketleriyle yargıç uyumu ölçümü ve bootstrap güven aralıkları
Atölye: Baseline Benchmark Pipeline Kurulumu
  • Kurum görevi için otomatik baseline koşucu ve karşılaştırma tablosu yazma
  • Go-live kabul kriterleri (acceptance gate) sözleşmesinin oluşturulması

Bu Kategorideki Diğer Eğitimler

Bizimle iletişime geçin