Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Supervised Fine-Tuning (SFT) modele ne söyleyeceğini öğretir ancak neyi söylememesi gerektiğini yeterince cezalandırmaz; bu yüzden yalnız SFT ile eğitilen modellerde halüsinasyon, gereksiz uzatma veya ince format hataları devam edebilir. Preference optimization, tercih edilen (chosen) ve reddedilen (rejected) yanıt çiftleri üzerinden modeli istenen davranışa hizalar.

Eğitimde klasik RLHF/PPO'nun zorlukları, ödül modeline ihtiyaç duymayan Direct Preference Optimization (DPO), IPO, ikili geri bildirimle çalışan KTO ve SFT ile hizalamayı tek aşamada birleştiren ORPO/SimPO yöntemleri Hugging Face TRL ile uygulanır. Katılımcılar kendi SFT modellerinin ürettiği hatalardan tercih veri seti üretip DPO/ORPO ile modeli hizalar.

Kimler Katılmalı?

  • SFT sonrası model kalitesini, üslubunu ve güvenliğini ileri taşımak isteyen yapay zeka mühendisleri
  • Kullanıcı geri bildirimlerini (beğeni/red, düzenleme) model eğitimine dönüştüren veri bilimciler
  • Model hizalama (alignment) süreçlerinde çalışan ML araştırmacıları ve mühendisleri
  • Ön koşul: PyTorch, Hugging Face TRL ve Supervised Fine-Tuning (SFT) deneyimi

Kazanımlar

  • DPO, IPO, KTO, ORPO ve SimPO algoritmalarının matematiksel farklarını ve veri gereksinimlerini karşılaştırmak
  • Mevcut SFT modelinin kendi çıktılarından (on-policy) chosen/rejected tercih çiftleri üretmek
  • Referans model KL cezası (beta) ve düşük learning rate ile model çökmesini (mode collapse) önlemek
  • Uzunluk yanlılığı (verbosity bias) ve olasılık düşüşü (likelihood displacement) sorunlarını teşhis edip çözmek
  • Üretim ortamındaki başparmak yukarı/aşağı (thumbs up/down) loglarını KTO veya DPO eğitimine dönüştürmek

Konular

Neden SFT Yetmez? RLHF'ten DPO'ya Evrim
  • SFT'nin negatif örnekleri cezalandıramama sınırı
  • Bradley-Terry tercih modeli ve ayrı bir reward model + PPO kurmanın maliyeti
  • DPO'nun ödül fonksiyonunu doğrudan politika (policy) ve referans model oranıyla çözmesi
Algoritma Ailesi: DPO, IPO, KTO, ORPO ve SimPO
  • Deterministik tercihlerde aşırı uyumu önleyen IPO (Identity Preference Optimization)
  • Eşleştirilmiş çift gerektirmeyen, tekil iyi/kötü etiketle çalışan KTO (Kahneman-Tversky Optimization)
  • Referans modeli ortadan kaldıran ORPO ve uzunluk normalizasyonlu SimPO
Yüksek Sinyalli Tercih Veri Seti (Preference Dataset) İnşası
  • On-policy vs off-policy veri: neden SFT modelinin kendi hatalarını rejected yapmak kritiktir?
  • Kullanıcı düzenlemeleri (edits), kod/şema doğrulayıcıları ve LLM yargıçlarla çift üretimi
  • Çok kolay reddedilen örneklerin yarattığı gradyan zayıflaması
Eğitim Dinamikleri, Hiperparametreler ve Tuzaklar
  • beta parametresi, SFT'den 10–100 kat küçük learning rate seçimi ve PEFT/LoRA ile DPO
  • Reward margin, log-probability izleme ve chosen olasılığının düşmesi (likelihood displacement)
  • Uzun yanıt kayırmasını (length bias) kontrol altına alma
Atölye: SFT Modelini DPO ve ORPO ile Hizalama
  • TRL DPOTrainer ve ORPOTrainer ile tercih eğitimi uygulama
  • Win-rate (kazanma oranı) ve halüsinasyon düşüşünü SFT baseline ile karşılaştırma

Bu Kategorideki Diğer Eğitimler

  • Sentetik Veri Üretimi: LLM Eğitimi İçin Veri Sentezi ve Distillation

    Etiketli verinin az olduğu kurumsal alanlarda teacher LLM'ler, Evol-Instruct, persona matrisleri, Distilabel ve doğrulayıcı filtrelerle yüksek kaliteli SFT ve tercih verisi üretmeyi öğreten uygulamalı eğitim.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Eğitim Verisi Tasarımı: LLM Fine-Tuning İçin Veri Mimarisi

    Az ama yüksek etkili örneklerle (LIMA ilkesi) SFT ve çok turlu konuşma veri seti tasarlama; görev karışım oranları, uzman etiketleme kılavuzları ve veri versiyonlamayı kapsayan uygulamalı eğitim.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Özelleştirilmiş LLM'lerde Model Değerlendirme ve Fine-Tuning Evals

    İnce ayar yapılmış modellerde görev başarısını, catastrophic forgetting regresyonlarını, halüsinasyon ve güvenlik kaymalarını lm-evaluation-harness, özel görev testleri ve ikili kıyaslamalarla ölçme eğitimi.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Açık Kaynak ve Açık Ağırlıklı Modellerin Özelleştirilmesi

    Llama, Qwen, Mistral, Gemma ve DeepSeek gibi açık ağırlıklı modelleri kurumsal ortama uyarlama; mimari farklar, özel kontrol token'ları, nicemleme (AWQ/GGUF/FP8) ve self-hosted dağıtıma hazırlama eğitimi.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Türkçe için Dil Modelleri: Tokenizasyon, Değerlendirme ve Uyarlama

    Sondan eklemeli Türkçe yapısının BPE tokenizer verimliliğine etkisini, kelime dağarcığı genişletme ve continual pre-training yöntemlerini, Türkçe benchmark ve kültürel/hukuki bağlam uyarlamasını ele alan eğitim.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Dağıtık Model Eğitimi: PyTorch FSDP ve DeepSpeed ile Ölçekleme

    Çoklu GPU ve çoklu sunucu kümelerinde büyük dil modellerini eğitmek için Data/Tensor/Pipeline/Context paralelliği, DeepSpeed ZeRO-1/2/3, PyTorch FSDP2 ve iletişim darboğazı optimizasyonu eğitimi.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin