Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

LoRA ve QLoRA, bugün 7B ile 70B arasındaki açık ağırlıklı dil modellerini tek bir kurumsal GPU üzerinde yüksek doğrulukla ince ayardan geçirmenin endüstri standardıdır. Ancak yanlış rank/alpha oranı, yalnızca attention katmanlarını hedeflemek veya 4-bit nicemlenmiş taban modelle adapter'ı yanlış birleştirmek ciddi kalite kaybına yol açar.

Bu uygulamalı eğitimde düşük rank'lı matris ayrıştırması ($\Delta W = B A$), 4-bit NormalFloat (nf4), double quantization, paged AdamW optimizer'lar, Unsloth hızlandırma çekirdekleri ve 16-bit taban model üzerine güvenli merge işlemleri adım adım kodlanır. Katılımcılar 8B–32B ölçeğinde bir modeli QLoRA ile eğitip doğrular.

Kimler Katılmalı?

  • Tek veya sınırlı GPU üzerinde büyük dil modelleri eğitmek isteyen yapay zeka mühendisleri
  • LoRA/QLoRA hiperparametrelerini ezbere değil bilerek ayarlamak isteyen veri bilimciler
  • Eğitilen adapter'ları üretim çıkarım motorlarına hazırlayan ML mühendisleri
  • Ön koşul: Python, PyTorch temelleri ve Hugging Face kullanımı

Kazanımlar

  • Görev karmaşıklığına göre LoRA r (rank), lora_alpha, lora_dropout ve hedef modülleri seçmek
  • NF4 nicemleme, double quantization ve BF16 hesaplama veri tipiyle QLoRA yapılandırması kurmak
  • Paged optimizer ve gradient checkpointing ile bellek taşmalarını (OOM) önlemek
  • QLoRA adapter'ını 4-bit yerine 16-bit taban ağırlıklarla kayıpsız birleştirmek (dequantize & merge)
  • Eğitim hızı, VRAM tüketimi ve doğruluk açısından 16-bit LoRA ile 4-bit QLoRA'yı kıyaslamak

Konular

LoRA Mimarisi ve Hiperparametre Seçimi
  • Düşük rank hipotezi, $A$ (Gaussian) ve $B$ (sıfır) matrislerinin başlatılması ve $\alpha / r$ ölçekleme
  • Neden yalnız q_proj, v_proj yetmez: tüm lineer katmanları (Attention + MLP) hedeflemek
  • Rank (r=8, 16, 32, 64, 128) seçiminin kapasite ve overfitting üzerindeki etkisi
QLoRA: 4-Bit NormalFloat ve Paged Optimizers
  • Bilgi kuramsal olarak optimal 4-bit NormalFloat (nf4) veri tipi ve blok bazlı nicemleme
  • Nicemleme sabitlerini nicemleyen Double Quantization ile parametre başı bellek tasarrufu
  • Uzun örneklerde GPU–CPU bellek takası yapan Paged AdamW (8-bit ve 32-bit) optimizer'lar
Hız ve Bellek Optimizasyonu (bitsandbytes & Unsloth)
  • bnb_4bit_compute_dtype=torch.bfloat16 ayarı ve eğitim sırasında anlık dequantization
  • Unsloth Triton çekirdekleri ve akıllı gradient checkpointing ile %50+ VRAM tasarrufu
Adapter Birleştirme (Merging) ve Nicemleme Tuzakları
  • Sık yapılan hata: 4-bit model üzerinde doğrudan merge_and_unload() çağırmanın doğruluk kaybı
  • Doğru akış: temiz FP16/BF16 taban modele adapter birleştirme ve sonrasında AWQ/GGUF dönüşümü
Atölye: Tek GPU'da QLoRA Eğitimi ve Kıyaslama
  • Farklı rank ve hedef katman kombinasyonlarıyla deney koşumu
  • 16-bit LoRA ile 4-bit QLoRA sonuçlarının doğruluk ve VRAM tablosuyla karşılaştırılması

Bu Kategorideki Diğer Eğitimler

  • Instruction Tuning: Talimat Takibi, Format ve Kurumsal Davranış Uyarlama

    Modellerin karmaşık sistem prompt'larına, katı JSON/şema kısıtlarına, kurumsal üsluba ve sınır kurallarına uymasını sağlayan çok görevli instruction tuning veri ve eğitim mühendisliği eğitimi.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Preference Optimization: DPO, ORPO, KTO ve Model Hizalama

    SFT sonrasında modelin tonunu, doğruluğunu ve güvenliğini iyileştiren DPO, IPO, KTO, ORPO ve SimPO algoritmalarını; chosen/rejected tercih verisi oluşturma ve beta ayarlarıyla öğreten ileri seviye eğitim.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Sentetik Veri Üretimi: LLM Eğitimi İçin Veri Sentezi ve Distillation

    Etiketli verinin az olduğu kurumsal alanlarda teacher LLM'ler, Evol-Instruct, persona matrisleri, Distilabel ve doğrulayıcı filtrelerle yüksek kaliteli SFT ve tercih verisi üretmeyi öğreten uygulamalı eğitim.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Eğitim Verisi Tasarımı: LLM Fine-Tuning İçin Veri Mimarisi

    Az ama yüksek etkili örneklerle (LIMA ilkesi) SFT ve çok turlu konuşma veri seti tasarlama; görev karışım oranları, uzman etiketleme kılavuzları ve veri versiyonlamayı kapsayan uygulamalı eğitim.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Özelleştirilmiş LLM'lerde Model Değerlendirme ve Fine-Tuning Evals

    İnce ayar yapılmış modellerde görev başarısını, catastrophic forgetting regresyonlarını, halüsinasyon ve güvenlik kaymalarını lm-evaluation-harness, özel görev testleri ve ikili kıyaslamalarla ölçme eğitimi.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Açık Kaynak ve Açık Ağırlıklı Modellerin Özelleştirilmesi

    Llama, Qwen, Mistral, Gemma ve DeepSeek gibi açık ağırlıklı modelleri kurumsal ortama uyarlama; mimari farklar, özel kontrol token'ları, nicemleme (AWQ/GGUF/FP8) ve self-hosted dağıtıma hazırlama eğitimi.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin