Eğitimin Amacı ve Kapsamı
Dil modellerinden ses, görüntü ve zaman serisine kadar modern yapay zekanın çekirdeğinde Transformer mimarisi yer alır. Bu eğitim, mimariyi bir kara kutu olarak kullanmak yerine PyTorch ile katman katman inşa ederek öğretir: ölçekli nokta çarpım dikkati (scaled dot-product attention), nedensel ve çapraz maskeleme, Multi-Head (MHA), Multi-Query (MQA) ve Grouped-Query Attention (GQA), RoPE ve ALiBi konumsal kodlamaları ile Pre-LN ve SwiGLU FFN blokları detaylıca incelenir.
Encoder-only (BERT/DeBERTa), decoder-only (GPT/Llama/Qwen) ve encoder-decoder (T5/BART) tasarımlarının hangi görevlere uygun olduğu, KV cache bellek hesabı ve FlashAttention ile hızlandırma uygulamalı gösterilir. Katılımcılar kendi mini-Transformer bloklarını kodlar ve Hugging Face ağırlıklarıyla üretim odaklı inceleme yapar.
Kimler Katılmalı?
- LLM, NLP ve multimodal modellerle çalışan veri bilimciler ve ML mühendisleri
- Model ince ayarı, mimari uyarlama ve çıkarım optimizasyonu yapan mühendisler
- Transformer iç yapısını derinlemesine kavramak isteyen teknik ekipler
- Ön koşul: PyTorch ve temel derin öğrenme bilgisi
Kazanımlar
- Self-attention, cross-attention, GQA ve RoPE katmanlarını PyTorch ile sıfırdan kodlamak
- Göreve göre encoder-only, decoder-only veya encoder-decoder mimari seçmek
- Tokenizer (BPE, WordPiece, SentencePiece) davranışının model performansına ve maliyete etkisini analiz etmek
- KV cache bellek tüketimini hesaplayıp GQA ve sliding window ile nasıl düşürüldüğünü göstermek
- FlashAttention ve scaled_dot_product_attention ile uzun bağlam eğitim/çıkarımını hızlandırmak
Konular
Attention Mekanizması ve Matris Matematiği
- Query, Key, Value projeksiyonları ve scaled dot-product attention
- Padding maskesi, causal mask ve cross-attention
Modern Transformer Bloğu: GQA, RoPE ve SwiGLU
- MHA, MQA ve Grouped-Query Attention (GQA) karşılaştırması
- Sinüzoidalden Rotary Position Embedding (RoPE), ALiBi ve uzun bağlam ölçeklemeye
Tokenizasyon ve Mimari Aileler
- BPE, WordPiece, Unigram/SentencePiece ve Türkçe token verimliliği
- Encoder (DeBERTa), Decoder (Llama/Qwen) ve Encoder-Decoder (T5) görev eşleşmesi
PyTorch ile Sıfırdan Transformer İnşası
- Pre-RMSNorm, SwiGLU FFN ve residual bağlantıların kodlanması
- Küçük bir dizi görevi üzerinde eğitim ve attention haritası incelemesi
KV Cache, FlashAttention ve Uzun Bağlam
- Otoregresif üretimde KV cache bellek hesabı ve darboğazları
- IO-duyarlı FlashAttention ve PyTorch SDPA ile hızlandırma
Bu Kategorideki Diğer Eğitimler
-
Keras 3 ve TensorFlow 2 ekosistemi: Functional/Subclassing API, tf.data pipeline'ları, özel eğitim döngüleri (GradientTape), tf.distribute ve SavedModel/TF Serving/TFLite ile kurumsal model dağıtımı.
- Canlı Kurs
- 5 modül
-
Quantization (PTQ, QAT, INT8/INT4), yapısal pruning, knowledge distillation ve ONNX Runtime, TensorRT, OpenVINO, LiteRT (TFLite) ile bulut GPU maliyetini düşüren ve uç cihazlarda çalışan hızlı modeller.
- Canlı Kurs
- 5 modül
-
Üretken derin öğrenmenin temelleri ve mimarileri: VAE, GAN, Normalizing Flows, Denoising Diffusion (DDPM/Latent Diffusion), Flow Matching ve otoregresif modeller; sentetik veri ve çok modlu üretim.
- Canlı Kurs
- 5 modül
-
MDP, Q-Learning, DQN, Policy Gradient (PPO, SAC), contextual bandits ve Offline RL; Gymnasium ve Stable-Baselines3 ile dinamik fiyatlama, kaynak tahsisi ve kontrol problemleri için ardışık karar modelleri.
- Canlı Kurs
- 5 modül
-
İşlem dizileri, oturum akışları ve işlem ağları üzerinde derin sahtekarlık modelleri: Transformer/RNN dizi modelleri, autoencoder anomali skorları, GNN ile sahtekarlık halkaları ve GBDT+DL hibrit mimarileri.
- Canlı Kurs
- 5 modül
-
Üretim hattı görüntüleri, akustik/titreşim sinyalleri ve sistem loglarında derin hata tespiti: PatchCore/PaDiM, Anomalib, YOLO/segmentasyon, 1D-CNN/autoencoder ve sadece sağlam örneklerle (one-class) eğitim.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
