Eğitimin Amacı ve Kapsamı
Genel amaçlı açık model liderlik tabloları (leaderboard), bir modelin kurumunuzun Türkçe belgelerinde, iç API şemalarında veya mevcut GPU bütçesinde nasıl çalışacağını göstermez. Bu eğitim; Llama, Qwen, Mistral, Gemma ve DeepSeek gibi model ailelerini mimari (dense vs MoE), parametre boyutu, context window davranışı ve ticari lisans kısıtları açısından sistematik biçimde karşılaştırma yöntemi sunar.
Katılımcılar kendi kullanım senaryoları için aday modelleri belirler; doğruluk, Türkçe kalitesi, structured output/tool calling başarısı ve donanım maliyeti eksenlerinde kıyaslama çalıştırarak savunulabilir bir model seçim raporu hazırlar.
Kimler Katılmalı?
- Kurum içi projelerde model kararı veren yapay zeka mühendisleri ve veri bilimciler
- Yazılım ve çözüm mimarları
- Açık ağırlıklı modellere geçişi değerlendiren teknik ürün yöneticileri
- Ön koşul: temel LLM kavramları ve Python ile API kullanımı
Kazanımlar
- Açık ağırlıklı model ailelerini mimari, boyut ve uzmanlık alanına göre sınıflandırmak
- Apache 2.0, MIT ve özel model lisanslarının ticari ve regülatif etkilerini değerlendirmek
- Dense ve Mixture-of-Experts (MoE) modellerin VRAM/hız dengesini analiz etmek
- Kurumun gerçek görevleriyle Türkçe, RAG ve tool calling doğruluk testi yürütmek
- Maliyet, kalite ve gecikme kriterlerini birleştiren bir model karar matrisi üretmek
Konular
Açık Ağırlıklı Model Ekosistemi
- Llama, Qwen, Mistral, Gemma ve DeepSeek ailelerinin güçlü ve zayıf yönleri
- Base, instruct, reasoning (thinking), coder ve multimodal varyantlar
Mimari ve Donanım Etkisi
- Dense ve MoE modellerde toplam vs aktif parametre ve VRAM ihtiyacı
- GQA/MLA attention yapıları ve uzun context performansının gerçek sınırları
Lisanslama ve Kurumsal Uyum
- Apache 2.0/MIT ile Llama, Gemma ve Mistral özel lisanslarının karşılaştırması
- Kullanıcı sayısı sınırları, türev model hakları ve kurumsal hukuk kontrol listesi
Görev Bazlı Kıyaslama (Benchmarking)
- Genel leaderboard'ların yanıltıcı yönleri ve veri sızıntısı (contamination)
- Türkçe dil kalitesi, JSON şeması uyumu ve function calling testleri
Model Seçim Matrisi ve Karar Taslağı
- Küçük uzman model + büyük genel model kombinasyonları
- Kalite, latency ve GPU maliyetini birleştiren seçim raporu
Bu Kategorideki Diğer Eğitimler
-
NVIDIA Triton Inference Server ve KServe ile GPU üzerinde çoklu model sunumu: TensorRT-LLM/ONNX/Python backend'leri, dynamic batching, model ensemble, KServe InferenceService, Knative autoscaling ve Model Analyzer ile optimizasyon.
- Canlı Kurs
- 5 modül
-
LLM serving'de bellek ve eşzamanlılık darboğazlarını çözme: KV cache bellek matematiği, PagedAttention, SGLang RadixAttention, prefix caching, FP8 KV cache quantization, continuous batching ve chunked prefill ayarları.
- Canlı Kurs
- 5 modül
-
LLM servislerinde TTFT, ITL ve toplam throughput optimizasyonu: compute-bound ve memory-bandwidth-bound darboğaz analizi, FlashAttention/FlashInfer, CUDA Graphs, speculative decoding, paralellik ayarları ve SLO odaklı yük testi.
- Canlı Kurs
- 5 modül
-
Kubernetes üzerinde GPU ve LLM iş yüklerinin işletimi: NVIDIA GPU Operator, MIG ve time-slicing ile GPU paylaşımı, Kueue/Volcano ile kuyruk yönetimi, hızlı model ağırlığı önbellekleme, GPU autoscaling ve DCGM izleme.
- Canlı Kurs
- 5 modül
-
Küçük dil modellerinin (SLM) uç cihazlar, saha donanımları ve NPU/gömülü GPU'larda çalıştırılması: Llama 3.2/Qwen/Gemma/Phi (1B–4B), ONNX Runtime GenAI, ExecuTorch, TensorRT-Edge, Jetson ve çevrimdışı saha senaryoları.
- Canlı Kurs
- 5 modül
-
LLM sistemlerinde birim maliyet (cost per request / 1M token) analizi ve optimizasyonu: kendi GPU'nu işletme vs ticari API başabaş hesabı, prompt/output token daraltma, batch API, model kademelendirme ve AI FinOps metrikleri.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
