Eğitimin Amacı ve Kapsamı
Kurum içi LLM yatırımlarında en pahalı hata, ihtiyacı yanlış tahmin edilmiş GPU alımıdır. Program; model ağırlıkları, KV cache ve activation belleğinin hesaplanmasını, kullanıcı sayısı ve istek profilinden eşzamanlılık ile token/s ihtiyacının türetilmesini ve TTFT/latency SLO'larının donanım seçimine etkisini adım adım işler.
Katılımcılar NVIDIA H100, H200, B200, L40S ve AMD MI300X gibi seçenekleri bellek bant genişliği, NVLink ve güç tüketimi açısından karşılaştırır; gerçek ölçümlere dayanan bir inference benchmark ile kendi senaryoları için kapasite planı ve on-prem/bulut maliyet karşılaştırması hazırlar.
Kimler Katılmalı?
- GPU altyapısı satın alma kararına katkı veren platform ve altyapı mimarları
- Kurum içi LLM platformu kuran yapay zeka mühendisleri
- BT bütçesi ve kapasiteden sorumlu teknik yöneticiler
- Ön koşul: temel LLM inference kavramları
Kazanımlar
- Model ve iş yükü için VRAM ve GPU sayısını hesaplamak
- Kullanıcı profilinden eşzamanlılık ve throughput hedefi türetmek
- GPU modellerini bant genişliği, bellek ve maliyet açısından karşılaştırmak
- Benchmark verisiyle kapasite planını doğrulamak
- On-prem ve bulut GPU seçenekleri için toplam maliyet analizi yapmak
Konular
Bellek Hesabı
- Ağırlık, KV cache ve activation belleği formülleri
- Context uzunluğu, batch boyutu ve quantization etkisi
İş Yükü Modelleme
- Kullanıcı sayısı, istek oranı ve input/output token profili
- TTFT, inter-token latency ve throughput SLO'ları
GPU ve Sunucu Seçenekleri
- H100, H200, B200, L40S ve MI300X karşılaştırması
- NVLink, PCIe, ağ, güç ve soğutma gereksinimleri
Benchmark ile Doğrulama
- Gerçekçi yük senaryolarıyla inference benchmark
- Sonuçlardan GPU sayısına geçiş
Maliyet ve Büyüme Planı
- On-prem, colocation ve bulut GPU toplam maliyeti
- Büyüme senaryoları ve kapasite planı dokümanı
Bu Kategorideki Diğer Eğitimler
-
Veri yerelliği ve regülasyon gereksinimleri için uçtan uca kurum içi LLM platformu tasarımı: GPU boyutlandırma, Kubernetes kümesi, vLLM/Triton serving, model gateway, güvenlik ve air-gapped üretim mimarisi. Platform ve altyapı ekipleri için.
- Canlı Kurs
- 5 modül
-
İnternete kapalı ağlarda LLM servislerinin kurulumu ve güncellenmesi: offline container/PyPI/Hugging Face mirror kurulumu, safetensors ve SBOM doğrulama, GPU sürücü paketleme ve kesintisiz yama yönetimi. Güvenlik odaklı platform ekipleri için.
- Canlı Kurs
- 5 modül
-
llama.cpp, GGUF formatı ve LM Studio ile masaüstü ve iş istasyonlarında lokal LLM çalıştırma: k-quant seçimi, CPU+GPU katman paylaştırma, Metal/CUDA/Vulkan hızlandırma ve yerel OpenAI uyumlu API sunumu. Geliştirici ve analistler için.
- Canlı Kurs
- 5 modül
-
Kaynak kodunu kurum dışına çıkarmadan AI kod asistanı kurulumu: Qwen2.5-Coder ve DeepSeek-Coder gibi modeller, FIM (Fill-in-the-Middle) otomatik tamamlama, Continue.dev/Tabby IDE eklentileri, vLLM sunumu ve kod tabanı RAG entegrasyonu.
- Canlı Kurs
- 5 modül
-
Kurumsal kullanım için açık ağırlıklı LLM seçimi: Llama, Qwen, Mistral, Gemma ve DeepSeek aileleri; ticari lisans analizi, dense/MoE mimari farkları, Türkçe ve tool calling yetkinliği ile kurum verisi üzerinde seçim matrisi oluşturma.
- Canlı Kurs
- 5 modül
-
NVIDIA Triton Inference Server ve KServe ile GPU üzerinde çoklu model sunumu: TensorRT-LLM/ONNX/Python backend'leri, dynamic batching, model ensemble, KServe InferenceService, Knative autoscaling ve Model Analyzer ile optimizasyon.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
