Eğitimin Amacı ve Kapsamı
Standart eğitim döngüleri büyük veri setleri, derin modeller ve sınırlı etiketlerle karşılaştığında bellek darboğazına, kararsız gradyanlara ve düşük GPU kullanımına takılır. Bu ileri seviye program; otomatik karma duyarlıklı eğitim (AMP BF16/FP16), torch.compile, граdyan biriktirme ve kırpma, PyTorch DDP/FSDP ile dağıtık eğitim, cosine/warmup çizelgeleri ile self-supervised ve contrastive öğrenme (InfoNCE, Triplet/ArcFace) yöntemlerini kapsar.
Etiket maliyetini düşüren kurum içi ön eğitim (pretraining), büyük öğretmenden küçük öğrenci modele knowledge distillation ve PyTorch Profiler ile darboğaz analizi uygulamalı işlenir. Katılımcılar kurum vakası üzerinde hızlandırılmış ve ölçeklenebilir bir derin öğrenme şablonu üretir.
Kimler Katılmalı?
- Üretimde derin öğrenme modelleri geliştiren kıdemli veri bilimciler ve ML mühendisleri
- Büyük ölçekli eğitim ve GPU altyapısını optimize eden AI platform mühendisleri
- Görüntü, ses, metin veya multimodal temsil öğrenimi çalışan AR-GE ekipleri
- Ön koşul: PyTorch ile model eğitimi ve sinir ağı mimarileri deneyimi
Kazanımlar
- AMP (BF16/FP16), gradient accumulation ve activation checkpointing ile GPU belleğini verimli kullanmak
- PyTorch DDP ve FSDP ile çoklu GPU eğitimini darboğazsız ölçeklemek
- Etiketsiz kurum verisinden contrastive ve self-supervised pretraining ile güçlü temsiller öğrenmek
- Knowledge distillation ile ağır modelleri doğruluk koruyarak küçük modellere aktarmak
- PyTorch Profiler ile veri yükleme, CPU-GPU transferi ve kernel darboğazlarını gidermek
Konular
Eğitim Dinamikleri ve Nümerik Kararlılık
- Warmup, cosine annealing, 1cycle ve Lion/AdamW ayarları
- Gradient clipping, kayıp sıçramaları (loss spikes) ve spectral/RMSNorm
Mixed Precision, Bellek ve Hız Optimizasyonu
- FP16/BF16 AMP, GradScaler ve activation checkpointing
- torch.compile, sabitlenmiş bellek (pinned memory) ve PyTorch Profiler
Çoklu GPU ve Dağıtık Eğitim
- DataParallel neden kullanılmaz; DistributedDataParallel (DDP) mimarisi
- ZeRO aşamaları ve Fully Sharded Data Parallel (FSDP)
Self-Supervised ve Metric Learning
- Contrastive loss, InfoNCE, Triplet ve ArcFace ile gömme uzayı
- Maskeli ön eğitim ve az etiketli veride fine-tuning stratejileri
Knowledge Distillation ve Çok Görevli Öğrenme
- Logit ve ara katman (feature) damıtma ile öğrenci model eğitimi
- Multi-task başlıklar, kayıp dengeleme ve yeniden kullanılabilir eğitim şablonu
Bu Kategorideki Diğer Eğitimler
-
ResNet ve ConvNeXt'ten Vision Transformer (ViT), Swin, hibrit omurgalar, State Space Models (Mamba), Mixture-of-Experts (MoE) ve multimodal mimarilere; probleme ve donanıma uygun ağ tasarımı ve seçimi.
- Canlı Kurs
- 5 modül
-
Self-attention mekanizması, Multi-Head/Grouped-Query Attention, RoPE konumsal kodlama, encoder/decoder/encoder-decoder aileleri, KV cache ve FlashAttention; PyTorch ile sıfırdan ve Hugging Face ile uygulamalı.
- Canlı Kurs
- 5 modül
-
Keras 3 ve TensorFlow 2 ekosistemi: Functional/Subclassing API, tf.data pipeline'ları, özel eğitim döngüleri (GradientTape), tf.distribute ve SavedModel/TF Serving/TFLite ile kurumsal model dağıtımı.
- Canlı Kurs
- 5 modül
-
Quantization (PTQ, QAT, INT8/INT4), yapısal pruning, knowledge distillation ve ONNX Runtime, TensorRT, OpenVINO, LiteRT (TFLite) ile bulut GPU maliyetini düşüren ve uç cihazlarda çalışan hızlı modeller.
- Canlı Kurs
- 5 modül
-
Üretken derin öğrenmenin temelleri ve mimarileri: VAE, GAN, Normalizing Flows, Denoising Diffusion (DDPM/Latent Diffusion), Flow Matching ve otoregresif modeller; sentetik veri ve çok modlu üretim.
- Canlı Kurs
- 5 modül
-
MDP, Q-Learning, DQN, Policy Gradient (PPO, SAC), contextual bandits ve Offline RL; Gymnasium ve Stable-Baselines3 ile dinamik fiyatlama, kaynak tahsisi ve kontrol problemleri için ardışık karar modelleri.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
