Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Model boyutu, context uzunluğu veya eğitim veri hacmi tek bir GPU'nun sınırlarını aştığında, model durumlarını (parametre, gradyan, optimizer) ve hesaplamayı birden fazla GPU ve sunucuya (node) bölmek gerekir. Ancak yanlış paralellik stratejisi GPU'ların hesaplama yapmak yerine ağ iletişimini (NCCL all-gather/reduce-scatter) beklemesine neden olur.

Bu ileri seviye eğitimde GPU bellek matematiği, DDP'nin sınırları, DeepSpeed ZeRO (Stage 1, 2, 3 ve ZeRO-Offload), PyTorch FSDP / FSDP2, uzun sekanslar için Ulysses/Ring Attention (Context Parallelism), Hugging Face Accelerate orkestrasyonu ve PyTorch Profiler ile MFU (Model FLOPs Utilization) optimizasyonu uygulamalı işlenir.

Kimler Katılmalı?

  • Çoklu GPU veya çoklu node üzerinde LLM eğiten makine öğrenmesi ve yapay zeka mühendisleri
  • GPU kümelerini, Slurm/Kubernetes eğitim işlerini yöneten ML platform ve altyapı mühendisleri
  • Büyük ölçekli SFT, CPT veya RL eğitimlerinin hızını ve bellek kullanımını optimize eden araştırmacılar
  • Ön koşul: İleri PyTorch, Linux ve tek GPU üzerinde model eğitimi deneyimi

Kazanımlar

  • Herhangi bir parametre boyutu ve context uzunluğu için GPU başına tam bellek gereksinimini hesaplamak
  • DeepSpeed ZeRO-1/2/3 ile PyTorch FSDP2 şardlama (sharding) stratejilerini doğru senaryoda yapılandırmak
  • Hesaplama ile NCCL ağ iletişimini örtüştürerek (communication overlap) GPU boşta kalma süresini azaltmak
  • 3D/4D paralellik (Data, Tensor, Pipeline ve Context/Sequence Parallelism) kombinasyonlarını tasarlamak
  • PyTorch Profiler ve NCCL tanılama araçlarıyla darboğazları, straggler'ları ve çökmeleri gidermek

Konular

Dağıtık Eğitim Matematiği ve Kolektif İletişim (NCCL)
  • Karma hassasiyetli (BF16 + FP32 master weights) AdamW eğitiminde $16\Psi$ bellek formülü ve aktivasyon belleği
  • NCCL primitifleri: all-reduce, all-gather, reduce-scatter ve NVLink vs InfiniBand/RoCE bant genişliği
DeepSpeed ZeRO (Stage 1, 2, 3) ve ZeRO-Offload
  • ZeRO-1 (optimizer sharding), ZeRO-2 (+ gradyan sharding) ve ZeRO-3 (+ parametre sharding) ödünleşimleri
  • ZeRO-Offload ve ZeRO-Infinity ile CPU RAM ve NVMe kullanımı
  • DeepSpeed JSON/Accelerate yapılandırması ve iletişim kovası (bucket size) ince ayarı
PyTorch FSDP ve FSDP2 (DTensor)
  • Transformer blok bazlı sarma (auto_wrap_policy), FULL_SHARD, SHARD_GRAD_OP ve HYBRID_SHARD
  • DTensor tabanlı FSDP2, torch.compile uyumu ve QLoRA + FSDP birlikte kullanımı
  • Asenkron dağıtık checkpoint kaydetme ve yükleme (torch.distributed.checkpoint)
3D Paralellik ve Uzun Context İçin Sequence/Context Parallelism
  • Node içi yüksek hızlı NVLink'te Tensor Parallelism, node'lar arası Pipeline ve Data Parallelism
  • Uzun context eğitimlerinde aktivasyon belleğini bölen DeepSpeed Ulysses ve Ring Attention
Profilleme, MFU Optimizasyonu ve Hata Ayıklama
  • PyTorch Profiler ve TensorBoard/Perfetto izlerinde iletişim-hesaplama örtüşmesini (overlap) inceleme
  • Tokens/sec/GPU ve MFU hesabı, NCCL timeout/hang analizi ve otomatik esnek kurtarma (elastic training)

Bu Kategorideki Diğer Eğitimler

  • Reasoning Modelleri için RL ile İnce Ayar (GRPO ve RLVR)

    DeepSeek-R1 tarzı akıl yürütme modellerini doğrulanabilir ödüllerle (RLVR) ve kritik modelsiz Group Relative Policy Optimization (GRPO) algoritmasıyla eğitmeyi öğreten ileri seviye uygulama eğitimi.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Dataset Quality ve Contamination: Veri Temizleme ve Sızıntı Denetimi

    LLM eğitim veri setlerinde MinHash ve embedding tabanlı tekilleştirme (deduplication), test/benchmark sızıntısı (contamination) temizliği, kalite puanlama ve PII maskeleme boru hatları kurma eğitimi.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Prompting, RAG veya Fine-Tuning: LLM Uyarlama Karar Çerçevesi

    Bir iş probleminde context engineering, RAG ve fine-tuning seçeneklerini bilgi güncelliği, davranış/stil uyumu, gecikme ve maliyet kriterleriyle değerlendirip hibrit yol haritası çıkaran uygulamalı eğitim.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Model ve Veri Uygunluğu: LLM Seçimi ve Veri Hazırlık Analizi

    Model uyarlama öncesinde açık ağırlıklı ve ticari temel modelleri boyut, lisans, dil/tokenizer ve donanım açısından seçme; kurumsal verinin hacim, kalite ve gizlilik uygunluğunu denetleme eğitimi.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • LLM Uyarlamada Kalite, Maliyet ve Risk Analizi

    LLM özelleştirme projelerinde veri hazırlama, eğitim ve 7/24 serving toplam sahip olma maliyetini (TCO), kalite kazanımı/regresyon dengesini ve operasyonel/regülatif riskleri modelleyen eğitim.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Baseline ve Başarı Metrikleri: LLM Uyarlama Öncesi Ölçüm Sistemi

    Model özelleştirmeye başlamadan önce golden test seti oluşturma, zero/few-shot baseline kurma, görev bazlı deterministik ve LLM-as-a-judge metrikleri tanımlama ve kabul eşikleri belirleme eğitimi.

    LLM Özelleştirme ve Model Uyarlama Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin