Eğitimin Amacı ve Kapsamı
Bir fine-tuning koşusunda validation loss'un düşmesi modelin gerçek iş görevinde daha iyi olduğu veya genel muhakeme ve güvenlik yeteneklerini koruduğu anlamına gelmez. Bu eğitim, özelleştirilmiş modellerin taban modele ve önceki checkpoint'lere göre çok boyutlu olarak nasıl değerlendirileceğini öğretir.
Eğitimde lm-evaluation-harness ve LightEval ile genel yetenek regresyon testleri, alan görevine özel deterministik ve LLM-as-a-judge metrikleri, çift kör (pairwise) Elo/win-rate karşılaştırmaları, halüsinasyon ve güvenlik kırılma testleri uygulanır. Katılımcılar her eğitim sonrası otomatik çalışan bir Fine-Tuning Eval ve Model Karşılaştırma Raporu hattı kurar.
Kimler Katılmalı?
- Fine-tuning deneylerini değerlendirip üretime çıkacak modeli seçen veri bilimciler ve yapay zeka mühendisleri
- Model yönetişimi ve kalite güvencesinden sorumlu ML ve QA mühendisleri
- Farklı model checkpoint'lerini kıyaslayan MLOps ekipleri
- Ön koşul: Python ve temel LLM / fine-tuning bilgisi
Kazanımlar
- Validation perplexity ile gerçek üretim performansı arasındaki kopukluğu görev bazlı eval'larla kapatmak
lm-evaluation-harnessüzerinde kuruma özel görevler (custom tasks) tanımlayıp çalıştırmak- İnce ayar sonrası genel muhakeme, kodlama ve dil yeteneklerindeki unutmayı (forgetting) ölçmek
- Taban model, SFT ve DPO checkpoint'lerini yan yana (pairwise win-rate) ve kör testlerle kıyaslamak
- Otomatik model kartı (Model Card) ve sürüm karşılaştırma raporu üreten değerlendirme boru hattı kurmak
Konular
Fine-Tuning Değerlendirmesinin Anatomisi
- Loss ve perplexity neden yanıltıcıdır: teacher-forced olasılık vs serbest üretim (autoregressive generation)
- Üç ayaklı değerlendirme: hedef görev başarısı, genel yetenek korunumu ve güvenlik/davranış uyumu
Standart Benchmark'lar ve Regresyon Testi (lm-eval-harness)
- Log-likelihood (çoktan seçmeli) ve üretken (exact match / pass@k) benchmark mekanikleri
lm-evaluation-harnessiçine kurum verisiyle YAML tabanlı özel görev ekleme- vLLM arka ucu ile hızlı checkpoint taraması
Pairwise Karşılaştırma ve Checkpoint Seçimi
- Epoch/adım bazlı checkpoint'ler arasında en iyi durma noktasını (early stopping) seçme
- Pozisyon değiştirmeli (swap-augmented) ikili LLM-as-a-judge ve Bradley-Terry / Elo sıralaması
- Hata analizi: ince ayarın düzelttiği örnekler ile bozduğu örneklerin (flips) matrisi
Sadakat, Ezberleme ve Güvenlik Denetimi
- Eğitim verisini kelimesi kelimesine ezberleme (canary/verbatim memorization) kontrolleri
- İnce ayar sonrası reddetme (refusal) aşınması ve prompt injection direnci testi
Atölye: Model Karşılaştırma Raporu ve Yayın Kapısı
- Taban model ve iki farklı fine-tuned checkpoint'in çok boyutlu kıyaslanması
- Yayın onayı için standart Model Karşılaştırma Raporu üretimi
Bu Kategorideki Diğer Eğitimler
-
Llama, Qwen, Mistral, Gemma ve DeepSeek gibi açık ağırlıklı modelleri kurumsal ortama uyarlama; mimari farklar, özel kontrol token'ları, nicemleme (AWQ/GGUF/FP8) ve self-hosted dağıtıma hazırlama eğitimi.
- Canlı Kurs
- 5 modül
-
Sondan eklemeli Türkçe yapısının BPE tokenizer verimliliğine etkisini, kelime dağarcığı genişletme ve continual pre-training yöntemlerini, Türkçe benchmark ve kültürel/hukuki bağlam uyarlamasını ele alan eğitim.
- Canlı Kurs
- 5 modül
-
Çoklu GPU ve çoklu sunucu kümelerinde büyük dil modellerini eğitmek için Data/Tensor/Pipeline/Context paralelliği, DeepSpeed ZeRO-1/2/3, PyTorch FSDP2 ve iletişim darboğazı optimizasyonu eğitimi.
- Canlı Kurs
- 5 modül
-
DeepSeek-R1 tarzı akıl yürütme modellerini doğrulanabilir ödüllerle (RLVR) ve kritik modelsiz Group Relative Policy Optimization (GRPO) algoritmasıyla eğitmeyi öğreten ileri seviye uygulama eğitimi.
- Canlı Kurs
- 5 modül
-
LLM eğitim veri setlerinde MinHash ve embedding tabanlı tekilleştirme (deduplication), test/benchmark sızıntısı (contamination) temizliği, kalite puanlama ve PII maskeleme boru hatları kurma eğitimi.
- Canlı Kurs
- 5 modül
-
Bir iş probleminde context engineering, RAG ve fine-tuning seçeneklerini bilgi güncelliği, davranış/stil uyumu, gecikme ve maliyet kriterleriyle değerlendirip hibrit yol haritası çıkaran uygulamalı eğitim.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
