Eğitimin Amacı ve Kapsamı
Quantization, aynı modeli daha az GPU belleğiyle ve daha yüksek throughput ile çalıştırmanın en etkili yoludur; ancak yanlış yöntem seçimi doğruluk, Türkçe performansı veya tool calling becerisinde fark edilmeyen kayıplara yol açabilir. Program, sayı formatlarını (FP32, FP16, BF16, FP8, INT8, INT4), weight-only ve weight+activation quantization farkını ve GPTQ, AWQ, SmoothQuant, GGUF k-quant'ları gibi yöntemleri karşılaştırmalı olarak ele alır.
Lab'larda katılımcılar aynı modeli farklı formatlara dönüştürür, vLLM ve llama.cpp üzerinde çalıştırır, kurum verisinden hazırlanan küçük bir eval seti ile kaliteyi ölçer ve bir maliyet/performans karşılaştırma tablosu çıkarır.
Kimler Katılmalı?
- Sınırlı GPU ile LLM sunan yapay zeka ve platform mühendisleri
- Model seçimi ve optimizasyonundan sorumlu ML mühendisleri
- Kurum içi LLM maliyetini düşürmek isteyen teknik liderler
- Ön koşul: Python, PyTorch/Transformers temelleri
Kazanımlar
- Precision formatlarının bellek ve doğruluk etkisini açıklamak
- GPTQ, AWQ, FP8 ve GGUF ile model quantize etmek
- Quantized modelleri vLLM ve llama.cpp üzerinde sunmak
- Perplexity ve görev bazlı eval ile kalite kaybını ölçmek
- Donanım ve kullanım senaryosuna göre format seçmek
Konular
Sayı Formatları ve Bellek Hesabı
- FP32, FP16, BF16, FP8, INT8 ve INT4 karşılaştırması
- Ağırlık, activation ve KV cache belleği
Post-Training Quantization Yöntemleri
- GPTQ, AWQ ve SmoothQuant
- Calibration dataset seçimi ve per-channel/group-wise quantization
Araçlar ve Formatlar
- bitsandbytes, LLM Compressor ve GGUF dönüşümü
- Hazır quantized checkpoint'leri değerlendirme
Quantized Modelleri Sunmak
- vLLM'de AWQ/GPTQ/FP8, llama.cpp'de GGUF
- Donanım desteği: Hopper/Blackwell FP8, tüketici GPU'ları
Kalite ve Performans Ölçümü
- Perplexity, görev bazlı eval ve Türkçe testler
- VRAM, tokens/s ve maliyet karşılaştırma tablosu
Bu Kategorideki Diğer Eğitimler
-
Dinamik quantization ile calibration verisi gerektirmeden modelleri hızlandırma: PyTorch ve ONNX Runtime dynamic quantization, FP8 dynamic activation scaling, statik yöntemlerle karşılaştırma ve CPU/GPU üzerinde ölçüm.
- Canlı Kurs
- 5 modül
-
Quantization'ı eğitimden sunuma uçtan uca ele alır: QLoRA ile 4-bit fine-tuning, quantization-aware training (QAT), adapter birleştirme, yeniden quantize etme ve vLLM'de sunma. Tek GPU'da kurum verisiyle model uyarlamak isteyen ekipler için.
- Canlı Kurs
- 5 modül
-
LLM iş yükleri için GPU kapasite planı: model boyutu, context uzunluğu, eşzamanlı kullanıcı ve SLO hedeflerinden VRAM, GPU sayısı ve sunucu ihtiyacını hesaplama; H100/H200/B200, L40S ve bulut seçeneklerinin maliyet karşılaştırması.
- Canlı Kurs
- 5 modül
-
Veri yerelliği ve regülasyon gereksinimleri için uçtan uca kurum içi LLM platformu tasarımı: GPU boyutlandırma, Kubernetes kümesi, vLLM/Triton serving, model gateway, güvenlik ve air-gapped üretim mimarisi. Platform ve altyapı ekipleri için.
- Canlı Kurs
- 5 modül
-
İnternete kapalı ağlarda LLM servislerinin kurulumu ve güncellenmesi: offline container/PyPI/Hugging Face mirror kurulumu, safetensors ve SBOM doğrulama, GPU sürücü paketleme ve kesintisiz yama yönetimi. Güvenlik odaklı platform ekipleri için.
- Canlı Kurs
- 5 modül
-
llama.cpp, GGUF formatı ve LM Studio ile masaüstü ve iş istasyonlarında lokal LLM çalıştırma: k-quant seçimi, CPU+GPU katman paylaştırma, Metal/CUDA/Vulkan hızlandırma ve yerel OpenAI uyumlu API sunumu. Geliştirici ve analistler için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
