Eğitimin Amacı ve Kapsamı
Karmaşık matematik, kodlama, SQL üretimi, kural tabanlı planlama ve mantıksal çıkarım görevlerinde en büyük sıçrama, modellerin doğrulanabilir ödüllerle (Reinforcement Learning with Verifiable Rewards – RLVR) kendi düşünce zincirlerini geliştirmesinden gelmektedir. GRPO (Group Relative Policy Optimization), PPO'daki pahalı critic/value modelini ortadan kaldırarak grup içi göreli ödül normalizasyonuyla bu eğitimi erişilebilir kılar.
Bu ileri seviye eğitimde GRPO matematiği, deterministik kural/kod doğrulayıcılarla (verifiers) ödül fonksiyonu tasarımı, reward hacking önleme, cold-start SFT aşaması ve TRL GRPOTrainer, Unsloth veya veRL + vLLM ile hızlı örneklemeli RL eğitimi uygulanır. Katılımcılar kurumsal bir muhakeme/kodlama görevinde GRPO ile model eğitir.
Kimler Katılmalı?
- Karmaşık muhakeme, kod/SQL üretimi ve kural denetimi modelleri geliştiren kıdemli yapay zeka mühendisleri
- Post-training ve RL aşamalarında çalışan makine öğrenmesi araştırmacıları ve veri bilimciler
- Küçük açık modellere uzmanlık alanında güçlü akıl yürütme yeteneği kazandırmak isteyen ekipler
- Ön koşul: PyTorch, SFT/DPO deneyimi ve temel olasılık/optimizasyon bilgisi
Kazanımlar
- PPO ile GRPO arasındaki mimari ve bellek farklarını (grup içi avantaj hesabı) açıklamak
- Kod çalıştırma, birim testi, matematiksel eşitlik ve şema kurallarına dayalı doğrulanabilir ödül fonksiyonları (RLVR) yazmak
- Format ödülü ile doğruluk ödülünü birleştirirken modelin ödül sistemini istismar etmesini (reward hacking) engellemek
- vLLM hızlandırmalı rollout üretimi ve TRL
GRPOTrainer/ Unsloth ile tek veya çoklu GPU'da GRPO koşmak - Eğitim boyunca düşünce uzunluğu (response length), ödül eğrisi ve KL sapmasını izleyerek kararlı yakınsama sağlamak
Konular
RLHF'ten RLVR'ye ve PPO'dan GRPO'ya Geçiş
- İnsan tercihli yumuşak ödül modelleri (RM) yerine deterministik doğrulanabilir ödüller (RLVR)
- PPO'daki Value/Critic modelinin bellek yükü ve GRPO'nun aynı prompt için $G$ örneklem üzerinden avantaj hesabı
- Kırpılmış vekil amaç fonksiyonu (clipped surrogate objective) ve token düzeyinde KL cezası
Doğrulanabilir Ödül (Verifier) ve Ortam Tasarımı
- Matematik, SQL sorgusu, kod birim testi, JSON şema ve iş kuralları için deterministik verifier yazımı
- Yapısal format ödülü (
<think>...</think>) ve kısmi ilerleme ödülleri (reward shaping) - Sıfır varyanslı gruplar (tümü doğru veya tümü yanlış prompt'lar) ve zorluk müfredatı (curriculum filtering)
Cold-Start SFT ve Çok Aşamalı Reasoning Boru Hattı
- Doğrudan taban modelden RL (R1-Zero tarzı) ile önce az sayıda kaliteli düşünce iziyle Cold-Start SFT farkı
- İnce ayar sonrası okunabilirlik, dil karışması (language mixing) ve gereksiz gevezelik kontrolü
TRL GRPOTrainer, Unsloth ve vLLM ile Ölçeklenebilir Eğitim
- Darboğaz analizi: neden RL eğitim süresinin %70+'i örneklem üretimine (rollout generation) gider?
- vLLM co-located / sunucu modunda hızlı grup örnekleme ve LoRA/QLoRA ile GRPO
- Dr. GRPO / DAPO iyileştirmeleri: uzunluk yanlılığı ve entropi çökmesini önleme
Atölye: Kurumsal Bir Görev İçin GRPO ile Reasoning Modeli Eğitimi
- Doğrulanabilir bir SQL, kod veya kurumsal kural denetimi görevi için ödül fonksiyonu ve GRPO koşumu
- Eğitim öncesi ve sonrası pass@1 / maj@k doğruluk artışının ölçümü
Bu Kategorideki Diğer Eğitimler
-
LLM eğitim veri setlerinde MinHash ve embedding tabanlı tekilleştirme (deduplication), test/benchmark sızıntısı (contamination) temizliği, kalite puanlama ve PII maskeleme boru hatları kurma eğitimi.
- Canlı Kurs
- 5 modül
-
Bir iş probleminde context engineering, RAG ve fine-tuning seçeneklerini bilgi güncelliği, davranış/stil uyumu, gecikme ve maliyet kriterleriyle değerlendirip hibrit yol haritası çıkaran uygulamalı eğitim.
- Canlı Kurs
- 5 modül
-
Model uyarlama öncesinde açık ağırlıklı ve ticari temel modelleri boyut, lisans, dil/tokenizer ve donanım açısından seçme; kurumsal verinin hacim, kalite ve gizlilik uygunluğunu denetleme eğitimi.
- Canlı Kurs
- 5 modül
-
LLM özelleştirme projelerinde veri hazırlama, eğitim ve 7/24 serving toplam sahip olma maliyetini (TCO), kalite kazanımı/regresyon dengesini ve operasyonel/regülatif riskleri modelleyen eğitim.
- Canlı Kurs
- 5 modül
-
Model özelleştirmeye başlamadan önce golden test seti oluşturma, zero/few-shot baseline kurma, görev bazlı deterministik ve LLM-as-a-judge metrikleri tanımlama ve kabul eşikleri belirleme eğitimi.
- Canlı Kurs
- 5 modül
-
Büyük dil modellerinde ince ayarın çalışma mantığını, veri hazırlama ve chat template yapısını, Hugging Face TRL ve Unsloth ile ilk adapter eğitimini ve overfitting kontrolünü öğreten giriş eğitimi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
