Eğitimin Amacı ve Kapsamı
Yapay zeka projeleri prototipten üretime geçtiğinde bulut GPU faturaları ve dış LLM API harcamaları hızla bütçeyi aşar: geliştiricilerin açık unuttuğu GPU notebook'lar, %15 dolulukla çalışan büyük çıkarım sunucuları ve basit görevler için dahi en pahalı frontier LLM'in çağrılması birim ekonomiyi bozar. Bu eğitim, AI FinOps ve kapasite mühendisliğini birleştirerek performanstan ödün vermeden yapay zeka maliyetlerini kontrol altına almayı öğretir.
GPU kullanım telemetrisi (SM occupancy vs VRAM), OpenCost/Kubecost ve merkezi AI Gateway ile takım/proje bazlı maliyet dağıtımı (showback/chargeback), MIG/time-slicing ve Kueue ile adil GPU kuyruklama, kesintiye dayanıklı Spot/Preemptible eğitim ve pahalı/ucuz model yönlendirme (routing/caching) stratejileri uygulamalı olarak işlenir. Katılımcılar kendi kurumları için bir AI birim maliyet modeli ve GPU kapasite optimizasyon planı hazırlar.
Kimler Katılmalı?
- GPU kümelerini ve bulut yapay zeka bütçesini yöneten AI platform, MLOps ve altyapı mühendisleri
- Bulut maliyetlerini optimize eden FinOps uzmanları ve bulut mimarları
- Yapay zeka ürünlerinin birim ekonomisinden (maliyet/tahmin, maliyet/müşteri) sorumlu mühendislik liderleri
- Ön koşul: Bulut bilişim, Kubernetes ve yapay zeka iş yükleri (eğitim/çıkarım) hakkında temel bilgi
Kazanımlar
- Tahmin başına maliyet ($/1000 inference) ve görev başına token maliyetini ölçen bir AI FinOps metrik çerçevesi kurmak
- NVIDIA DCGM ve OpenCost/Kubecost ile GPU tahsisi (allocation) ve gerçek GPU kullanımı (utilization) arasındaki farkı yakalamak
- MIG, GPU time-slicing, scale-to-zero ve Kueue öncelikli kuyruklama ile mevcut GPU kümesinden 2-3 kat fazla iş çıkarmak
- Checkpointing ve otomatik kurtarma mimarisiyle uzun eğitim işlerini %60-70 daha ucuz Spot/Preemptible GPU'larda çalıştırmak
- Anlamsal önbellekleme, prompt sıkıştırma ve kademeli model yönlendirme (SLM vs LLM) ile üretken yapay zeka faturalarını düşürmek
Konular
AI Birim Ekonomisi (Unit Economics) ve Maliyet Görünürlüğü
- Eğitim, 7/24 çıkarım, veri depolama/transfer ve dış LLM API maliyet kalemlerinin ayrıştırılması
- OpenCost/Kubecost, bulut etiketleri ve AI Gateway loglarıyla takım, ürün ve müşteri bazlı showback/chargeback
GPU Telemetrisi ve Kapasite Darboğazlarını Teşhis Etme
- GPU ayrılmış (allocated) olması ile gerçekten çalışıyor olması arasındaki fark: DCGM SM Active, Tensor Core ve VRAM metrikleri
- İş yüküne (prefill, decode, küçük CV modeli, büyük eğitim) göre doğru GPU ailesini (L4, A10G, L40S, H100) seçme
Küme Verimliliği: Kesirli GPU, Kuyruklama ve Otomatik Ölçekleme
- MIG ve GPU Time-Slicing ile küçük modelleri ve geliştirici notebook'larını tek fiziksel GPU'da yoğunlaştırma
- Kueue ile takım kotaları, ödünç alma (cohort borrowing), gece toplu eğitim işleri ve boşta kalan kaynakları sıfıra ölçekleme
Spot/Preemptible GPU Stratejileri ve Taahhütlü Kapasite Planlama
- Spot kesinti sinyallerini (termination notice) yakalayıp S3'e hızlı checkpoint yazan kesintiye dayanıklı eğitim mimarisi
- Taban yük (baseline) için Reserved/Savings Plans/On-Prem ile tepe yükler (burst) için On-Demand/Spot karma kapasite modeli
LLM / GenAI Maliyet Optimizasyonu ve Bütçe Guardrail'leri
- Model cascading/routing (kolay soruları küçük açık modele, zorları büyük modele yönlendirme), Batch API (%50 indirim) ve prefix/semantic caching
- Kullanıcı ve uygulama bazında günlük/aylık token bütçe tavanları, anomali alarmları ve maliyet/kalite ödünleşim panosu
Bu Kategorideki Diğer Eğitimler
-
Jupyter notebook'tan üretime geçiş: modüler Python projesi, DVC, MLflow, FastAPI ile paketleme, Docker ve GitHub Actions ile uçtan uca çalışan bir makine öğrenmesi pipeline'ı kurmak isteyen veri bilimciler ve mühendisler için.
- Canlı Kurs
- 5 modül
-
MLOps – Temel Seviye
Makine öğrenimi modellerinin yaşam döngüsü yönetimi, Docker ve Kubernetes ile konteynerizasyon, MLflow/Kubeflow ile CI/CD otomasyonu ve model drift izleme süreçlerini kapsayan MLOps eğitimi.
- Canlı Kurs
- 6 modül
-
Sistematik deney tasarımı, Optuna ve Ray Tune ile hiperparametre optimizasyonu, metrik/artefakt standartları, tekrar üretilebilirlik ve deney araçlarının (MLflow, W&B, Neptune) karşılaştırmalı kurulumu; veri bilimi ekipleri için.
- Canlı Kurs
- 5 modül
-
MLOps – İleri Seviye
Büyük ölçekli makine öğrenmesi sistemleri için model drift izleme, A/B testleri, canary deployment, gelişmiş CI/CD pipeline'ları, Kafka/Spark Streaming ve Kubernetes orkestrasyonu.
- Canlı Kurs
- 6 modül
-
MLflow Tracking Server mimarisi, PostgreSQL/S3 kurulumu, autologging, pyfunc ile özel model paketleme, MLflow Evaluate (klasik ML ve LLM) ve Model Registry entegrasyonu; açık kaynak standartla çalışan ekipler için.
- Canlı Kurs
- 5 modül
-
W&B Experiments, Sweeps, Artifacts (veri ve model soykütüğü), Tables ile görsel hata analizi, Weave ile LLM izleme ve ortak çalışma raporları; derin öğrenme ve üretken yapay zeka ekipleri için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
