Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Standart kısa soru-cevap SFT çalışmaları; modele yepyeni bir uzmanlık alanı (hukuk, tıp, finans, telekom) kazandırmakta, uzun doküman muhakemesinde veya karmaşık tool-calling yörüngelerinde yetersiz kalır ve çoğu zaman modelin genel zekasını aşındırır. Bu ileri seviye eğitim, basit SFT'nin ötesindeki endüstriyel post-training tekniklerini ele alır.

Etiketsiz kurumsal külliyatla continual pre-training (CPT), RoPE frekans ölçekleme ile context uzatma, agentic trajectory fine-tuning, replay buffer ve seçici katman dondurma ile unutmayı önleme ve MergeKit (Linear, SLERP, TIES, DARE) ile ağırlık birleştirme laboratuvarlarda uygulanır. Çıktı olarak genel yeteneklerini kaybetmeden alan uzmanlığı kazanmış bir model hattı tasarlanır.

Kimler Katılmalı?

  • Kuruma özel temel veya uzman dil modelleri geliştiren kıdemli yapay zeka mühendisleri ve araştırmacılar
  • Standart LoRA/SFT denemelerinde kalite tavanına takılan veri bilimi ekipleri
  • Açık ağırlıklı modelleri ileri düzeyde özelleştiren ML platform ekipleri
  • Ön koşul: PyTorch, Hugging Face TRL/Axolotl ve temel SFT/LoRA deneyimi

Kazanımlar

  • Etiketsiz alan metinleriyle continual pre-training (CPT) ve ardından SFT içeren iki aşamalı boru hattı kurmak
  • RoPE scaling (YaRN, LongRoPE) ile modelleri daha uzun context uzunluklarına uyarlamak
  • Çok turlu tool calling, hata düzeltme ve yapılandırılmış muhakeme izleri üzerinde model eğitmek
  • Veri karıştırma (replay mixing), ağırlık düzenlileştirme ve model merging ile catastrophic forgetting'i bastırmak
  • MergeKit kullanarak farklı uzman modellerin ağırlıklarını yeniden eğitim yapmadan birleştirmek

Konular

Continual Pre-Training (CPT) ve Domain Uyarlama
  • Ne zaman yalnız SFT yetmez ve etiketsiz ham metinle CPT gerekir?
  • Embedding ve lm_head katmanlarını açık tutarak alan terminolojisini öğretme
  • Öğrenme oranı ısınması (warmup), cosine decay ve genel veri karışım oranları
Uzun Context Uzatma ve Mimari Müdahaleler
  • Positional encoding sınırları ve RoPE base frequency (ABF, YaRN) ayarları
  • Uzun belgelerde dikkat dağılmasını önleyen kısa-uzun karma eğitim müfredatı (curriculum learning)
Agentic, Çok Turlu ve Tool-Calling İnce Ayarı
  • Çok adımlı Thought–Tool Call–Observation yörüngelerinin eğitim verisi olarak modellenmesi
  • Yalnızca modelin ürettiği adımlarda loss hesaplama (multi-turn assistant masking)
  • Paralel fonksiyon çağrısı ve şema hatasından kurtarma örnekleriyle eğitim
Catastrophic Forgetting Önleme Stratejileri
  • Genel yetenek ve güvenlik verisi geri oynatma (replay buffer) oranları
  • Spectrum / SNR analizi ile yalnızca görevle ilgili katmanları eğitme
  • Eğitim sonrası quantization (AWQ, GPTQ, FP8) sırasında kalite kaybını önleme
Model Merging: SLERP, TIES, DARE ve Frankenmerging
  • Görev vektörleri (task arithmetic) ve ağırlık uzayında birleştirme matematiği
  • MergeKit ile kod, Türkçe ve alan uzmanı modelleri tek checkpoint'te birleştirme
  • Birleştirilmiş modelin hem alan hem genel benchmark'larda doğrulanması

Bu Kategorideki Diğer Eğitimler

  • Supervised Fine-Tuning (SFT): Mühendislik ve Optimizasyon

    Cross-entropy loss maskeleme, sequence packing, FlashAttention-2, NEFTune, öğrenme oranı zamanlayıcıları ve Hugging Face TRL SFTTrainer / Axolotl ile yüksek verimli Supervised Fine-Tuning mühendisliği eğitimi.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Parameter-Efficient Fine-Tuning (PEFT): Mimariler ve Çoklu Adapter Sunumu

    LoRA, DoRA, rsLoRA, VeRA, LoftQ, IA3 ve Prefix Tuning gibi PEFT yöntemlerinin matematiksel yapılarını, VRAM bellek analizini ve vLLM/SGLang ile tek temel model üzerinde yüzlerce adapter sunmayı öğreten eğitim.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • LoRA ve QLoRA ile Uygulamalı Model Özelleştirme

    Low-Rank Adaptation (LoRA) matrislerini ve 4-bit NormalFloat (NF4) QLoRA tekniğini; rank/alpha seçimi, hedef katmanlar, double quantization, paged optimizer ve adapter birleştirme adımlarıyla öğreten eğitim.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Instruction Tuning: Talimat Takibi, Format ve Kurumsal Davranış Uyarlama

    Modellerin karmaşık sistem prompt'larına, katı JSON/şema kısıtlarına, kurumsal üsluba ve sınır kurallarına uymasını sağlayan çok görevli instruction tuning veri ve eğitim mühendisliği eğitimi.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Preference Optimization: DPO, ORPO, KTO ve Model Hizalama

    SFT sonrasında modelin tonunu, doğruluğunu ve güvenliğini iyileştiren DPO, IPO, KTO, ORPO ve SimPO algoritmalarını; chosen/rejected tercih verisi oluşturma ve beta ayarlarıyla öğreten ileri seviye eğitim.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Sentetik Veri Üretimi: LLM Eğitimi İçin Veri Sentezi ve Distillation

    Etiketli verinin az olduğu kurumsal alanlarda teacher LLM'ler, Evol-Instruct, persona matrisleri, Distilabel ve doğrulayıcı filtrelerle yüksek kaliteli SFT ve tercih verisi üretmeyi öğreten uygulamalı eğitim.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin