Eğitimin Amacı ve Kapsamı
Ölçülebilir bir baseline olmadan yapılan fine-tuning çalışmalarında ekipler haftalarca model eğitip sonunda iyi yazılmış bir few-shot prompt'un gerisinde kaldığını fark etmez. Bu eğitim, herhangi bir model eğitimine başlamadan önce kurulması gereken bilimsel ölçüm ve kabul sistemini öğretir.
Eğitimde temsili golden evaluation seti tasarımı, deterministik metrikler (exact match, F1, JSON şema doğruluğu, kod/SQL çalıştırma), kalibre edilmiş LLM-as-a-judge rubrikleri, gecikme/maliyet kısıtları ve istatistiksel anlamlılık testleri uygulanır. Katılımcılar kendi problemleri için çalışan bir baseline benchmark pipeline'ı ve başarı kriterleri dokümanı üretir.
Kimler Katılmalı?
- Model eğitimi ve prompt/RAG optimizasyonu yapan veri bilimciler ve yapay zeka mühendisleri
- Yapay zeka çıktılarının kalitesini doğrulayan değerlendirme ve QA mühendisleri
- Proje kabul kriterlerini tanımlayan teknik ürün yöneticileri ve takım liderleri
- Ön koşul: Python ve temel istatistik/model değerlendirme bilgisi
Kazanımlar
- Üretim dağılımını ve zorlu uç örnekleri temsil eden sızıntısız bir golden test seti kurmak
- En güçlü ticari model ve hedef küçük model üzerinde zero-shot / few-shot baseline skorları çıkarmak
- İş hedefini deterministik kod kontrolleri ve kalibre edilmiş LLM-as-a-judge metriklerine çevirmek
- Yargıç modelin (judge) insan uzmanlarla uyumunu (Cohen's kappa / korelasyon) ölçüp düzeltmek
- Fine-tuning'in üretime geçmesi için gereken minimum kalite, gecikme ve maliyet kabul eşiklerini tanımlamak
Konular
Neden Önce Baseline ve Eval?
- Eval-driven development: önce ölçüm, sonra uyarlama
- Tavan (frontier model + few-shot) ve taban (küçük zero-shot model) referans noktaları
Golden Test Seti Tasarımı ve Katmanlama
- Normal akış, nadir senaryolar (long-tail) ve reddedilmesi gereken (adversarial/out-of-scope) örnekler
- Eğitim-test sızıntısını (contamination) önleyen katı ayrım ve versiyonlama
Görev Bazlı Metrik Mühendisliği
- Bileşik metrikler: sınıflandırma F1, yapılandırılmış çıktı şema uyumu ve fonksiyonel doğruluk
- Üretken görevlerde tek kriterli puanlama yerine ikili (pass/fail) ve analitik rubrikler
- Kalite dışındaki zorunlu metrikler: TTFT, p95 gecikme ve istek başı maliyet
LLM-as-a-Judge Kalibrasyonu ve İstatistiksel Güven
- Pozisyon, uzunluk ve kendi çıktısını kayırma (self-preference) yanlılıklarını giderme
- Uzman etiketleriyle yargıç uyumu ölçümü ve bootstrap güven aralıkları
Atölye: Baseline Benchmark Pipeline Kurulumu
- Kurum görevi için otomatik baseline koşucu ve karşılaştırma tablosu yazma
- Go-live kabul kriterleri (acceptance gate) sözleşmesinin oluşturulması
Bu Kategorideki Diğer Eğitimler
-
Büyük dil modellerinde ince ayarın çalışma mantığını, veri hazırlama ve chat template yapısını, Hugging Face TRL ve Unsloth ile ilk adapter eğitimini ve overfitting kontrolünü öğreten giriş eğitimi.
- Canlı Kurs
- 5 modül
-
Continual pre-training (CPT), uzun context uzatma (RoPE scaling), çok adımlı tool calling ince ayarı, catastrophic forgetting önleme ve MergeKit ile model birleştirme (SLERP, TIES, DARE) tekniklerini kapsayan ileri eğitim.
- Canlı Kurs
- 5 modül
-
Cross-entropy loss maskeleme, sequence packing, FlashAttention-2, NEFTune, öğrenme oranı zamanlayıcıları ve Hugging Face TRL SFTTrainer / Axolotl ile yüksek verimli Supervised Fine-Tuning mühendisliği eğitimi.
- Canlı Kurs
- 5 modül
-
LoRA, DoRA, rsLoRA, VeRA, LoftQ, IA3 ve Prefix Tuning gibi PEFT yöntemlerinin matematiksel yapılarını, VRAM bellek analizini ve vLLM/SGLang ile tek temel model üzerinde yüzlerce adapter sunmayı öğreten eğitim.
- Canlı Kurs
- 5 modül
-
Low-Rank Adaptation (LoRA) matrislerini ve 4-bit NormalFloat (NF4) QLoRA tekniğini; rank/alpha seçimi, hedef katmanlar, double quantization, paged optimizer ve adapter birleştirme adımlarıyla öğreten eğitim.
- Canlı Kurs
- 5 modül
-
Modellerin karmaşık sistem prompt'larına, katı JSON/şema kısıtlarına, kurumsal üsluba ve sınır kurallarına uymasını sağlayan çok görevli instruction tuning veri ve eğitim mühendisliği eğitimi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
