Eğitimin Amacı ve Kapsamı
Kurum verisiyle fine-tuning yapılan bir modelin sonradan quantize edilmesi, kazanılan doğruluğun bir kısmını kaybettirebilir. Bu program quantization'ı eğitim sürecinin bir parçası olarak ele alır: QLoRA ile NF4 formatında 4-bit base model üzerinde LoRA eğitimi, PyTorch torchao ile quantization-aware training ve eğitim sonrası adapter'ların birleştirilip AWQ/GPTQ/FP8 formatına dönüştürülmesi.
Katılımcılar Hugging Face PEFT, TRL ve Unsloth ile örnek bir kurum görevi için model uyarlar, ardından modeli quantize edip vLLM'de multi-LoRA veya birleştirilmiş model olarak sunar. Her adımda eval ile kalite kaybı izlenir ve eğitim–sunma pipeline'ı belgelenir.
Kimler Katılmalı?
- Fine-tuning yapan ML mühendisleri ve veri bilimciler
- Sınırlı GPU bütçesiyle model uyarlayan yapay zeka ekipleri
- Eğitilen modelleri üretime taşıyan MLOps mühendisleri
- Ön koşul: PyTorch, Transformers ve temel fine-tuning deneyimi
Kazanımlar
- QLoRA ile tek GPU'da büyük modelleri fine-tune etmek
- Quantization-aware training'in ne zaman gerekli olduğunu belirlemek
- LoRA adapter'larını birleştirip modeli yeniden quantize etmek
- Uyarlanmış modeli vLLM'de verimli biçimde sunmak
- Eğitimden sunuma kalite kaybını eval ile takip etmek
Konular
Eğitimde Düşük Precision
- Mixed precision (BF16/FP8) eğitim ve bellek bütçesi
- NF4, double quantization ve paged optimizer'lar
QLoRA ile Fine-Tuning
- PEFT, TRL ve Unsloth ile QLoRA eğitimi
- LoRA rank, hedef modüller ve hiperparametreler
Quantization-Aware Training
- Fake quantization ve torchao ile QAT
- PTQ ile QAT'nin doğruluk karşılaştırması
Birleştirme ve Yeniden Quantization
- Adapter merge ve AWQ/GPTQ/FP8 dönüşümü
- GGUF'a dışa aktarma seçenekleri
Sunma ve Kalite Takibi
- vLLM'de multi-LoRA ve birleştirilmiş model sunumu
- Eğitim–sunma pipeline'ı boyunca eval karşılaştırması
Bu Kategorideki Diğer Eğitimler
-
LLM iş yükleri için GPU kapasite planı: model boyutu, context uzunluğu, eşzamanlı kullanıcı ve SLO hedeflerinden VRAM, GPU sayısı ve sunucu ihtiyacını hesaplama; H100/H200/B200, L40S ve bulut seçeneklerinin maliyet karşılaştırması.
- Canlı Kurs
- 5 modül
-
Veri yerelliği ve regülasyon gereksinimleri için uçtan uca kurum içi LLM platformu tasarımı: GPU boyutlandırma, Kubernetes kümesi, vLLM/Triton serving, model gateway, güvenlik ve air-gapped üretim mimarisi. Platform ve altyapı ekipleri için.
- Canlı Kurs
- 5 modül
-
İnternete kapalı ağlarda LLM servislerinin kurulumu ve güncellenmesi: offline container/PyPI/Hugging Face mirror kurulumu, safetensors ve SBOM doğrulama, GPU sürücü paketleme ve kesintisiz yama yönetimi. Güvenlik odaklı platform ekipleri için.
- Canlı Kurs
- 5 modül
-
llama.cpp, GGUF formatı ve LM Studio ile masaüstü ve iş istasyonlarında lokal LLM çalıştırma: k-quant seçimi, CPU+GPU katman paylaştırma, Metal/CUDA/Vulkan hızlandırma ve yerel OpenAI uyumlu API sunumu. Geliştirici ve analistler için.
- Canlı Kurs
- 5 modül
-
Kaynak kodunu kurum dışına çıkarmadan AI kod asistanı kurulumu: Qwen2.5-Coder ve DeepSeek-Coder gibi modeller, FIM (Fill-in-the-Middle) otomatik tamamlama, Continue.dev/Tabby IDE eklentileri, vLLM sunumu ve kod tabanı RAG entegrasyonu.
- Canlı Kurs
- 5 modül
-
Kurumsal kullanım için açık ağırlıklı LLM seçimi: Llama, Qwen, Mistral, Gemma ve DeepSeek aileleri; ticari lisans analizi, dense/MoE mimari farkları, Türkçe ve tool calling yetkinliği ile kurum verisi üzerinde seçim matrisi oluşturma.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
