Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Dinamik quantization'da ağırlıklar önceden düşük precision'a çevrilir, activation ölçekleri ise inference sırasında hesaplanır; bu sayede calibration dataset'i hazırlamadan hızlı kazanç elde edilir. Program, dinamik ve statik quantization arasındaki matematiksel farkı, per-tensor/per-token ölçekleme stratejilerini ve hangi katmanların (Linear, LSTM, attention projeksiyonları) bu yöntemden en çok fayda sağladığını inceler.

Uygulamalarda PyTorch torch.ao.quantization ve ONNX Runtime ile BERT tipi encoder modelleri CPU'da hızlandırılır, vLLM'de FP8 dynamic quantization ile bir LLM sunulur. Sonuçlar latency, doğruluk ve bellek açısından statik yöntemlerle karşılaştırılır.

Kimler Katılmalı?

  • Model optimizasyonu yapan ML ve derin öğrenme mühendisleri
  • CPU veya sınırlı GPU üzerinde inference çalıştıran platform ekipleri
  • Embedding, sınıflandırma ve LLM modellerini üretime alan MLOps mühendisleri
  • Ön koşul: PyTorch deneyimi ve temel quantization kavramları

Kazanımlar

  • Dinamik, statik ve weight-only quantization farklarını açıklamak
  • PyTorch ve ONNX Runtime ile dinamik quantization uygulamak
  • LLM'lerde FP8 dynamic quantization'ı yapılandırmak
  • Katman bazında hassasiyet analizi yapıp kritik katmanları korumak
  • Latency, doğruluk ve bellek ölçümleriyle yöntem seçmek

Konular

Dinamik ve Statik Quantization
  • Scale ve zero-point hesaplama, runtime ölçekleme
  • Per-tensor, per-channel ve per-token yaklaşımlar
PyTorch ile Dinamik Quantization
  • torch.ao.quantization ve desteklenen katmanlar
  • Encoder modellerinde CPU hızlandırma
ONNX Runtime ve Taşınabilir Modeller
  • ONNX dışa aktarma ve dinamik INT8 quantization
  • Farklı donanımlarda latency ölçümü
LLM'lerde FP8 Dynamic Quantization
  • vLLM ve LLM Compressor ile FP8 dinamik ölçekleme
  • KV cache quantization ile birlikte kullanım
Hassasiyet Analizi ve Karar
  • Katman bazında hata analizi ve mixed precision
  • Statik yöntemlerle karşılaştırmalı rapor

Bu Kategorideki Diğer Eğitimler

  • Quantization ile Model Eğitim ve Sunma

    Quantization'ı eğitimden sunuma uçtan uca ele alır: QLoRA ile 4-bit fine-tuning, quantization-aware training (QAT), adapter birleştirme, yeniden quantize etme ve vLLM'de sunma. Tek GPU'da kurum verisiyle model uyarlamak isteyen ekipler için.

    Lokal ve Kurum İçi LLM Platformları Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • GPU Kapasite Planlaması ve Donanım Boyutlandırma

    LLM iş yükleri için GPU kapasite planı: model boyutu, context uzunluğu, eşzamanlı kullanıcı ve SLO hedeflerinden VRAM, GPU sayısı ve sunucu ihtiyacını hesaplama; H100/H200/B200, L40S ve bulut seçeneklerinin maliyet karşılaştırması.

    Lokal ve Kurum İçi LLM Platformları Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Kurum İçi LLM Platformu: Donanım Boyutlandırmadan Air-Gapped Üretime

    Veri yerelliği ve regülasyon gereksinimleri için uçtan uca kurum içi LLM platformu tasarımı: GPU boyutlandırma, Kubernetes kümesi, vLLM/Triton serving, model gateway, güvenlik ve air-gapped üretim mimarisi. Platform ve altyapı ekipleri için.

    Lokal ve Kurum İçi LLM Platformları Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • İnternete Kapalı (Air-Gapped) Ortamda LLM Kurulum ve Güncelleme

    İnternete kapalı ağlarda LLM servislerinin kurulumu ve güncellenmesi: offline container/PyPI/Hugging Face mirror kurulumu, safetensors ve SBOM doğrulama, GPU sürücü paketleme ve kesintisiz yama yönetimi. Güvenlik odaklı platform ekipleri için.

    Lokal ve Kurum İçi LLM Platformları Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Masaüstünde Lokal Modeller (llama.cpp, GGUF, LM Studio)

    llama.cpp, GGUF formatı ve LM Studio ile masaüstü ve iş istasyonlarında lokal LLM çalıştırma: k-quant seçimi, CPU+GPU katman paylaştırma, Metal/CUDA/Vulkan hızlandırma ve yerel OpenAI uyumlu API sunumu. Geliştirici ve analistler için.

    Lokal ve Kurum İçi LLM Platformları Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Lokal Modellerle Kurum İçi Kod Asistanı Kurulumu

    Kaynak kodunu kurum dışına çıkarmadan AI kod asistanı kurulumu: Qwen2.5-Coder ve DeepSeek-Coder gibi modeller, FIM (Fill-in-the-Middle) otomatik tamamlama, Continue.dev/Tabby IDE eklentileri, vLLM sunumu ve kod tabanı RAG entegrasyonu.

    Lokal ve Kurum İçi LLM Platformları Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin