Eğitimin Amacı ve Kapsamı
Pilot aşamada göz ardı edilen token tüketimi ve boşta bekleyen GPU kapasitesi, uygulama tüm kuruma açıldığında bütçeyi hızla aşabilir. Bu eğitim; LLM iş yüklerinin birim ekonomisini (istek başına ve 1 milyon token başına gerçek maliyet) hesaplamayı, ticari API'ler ile kurum içi GPU yatırımı arasındaki başabaş noktasını (utilization etkisi dahil) bulmayı ve kaliteyi düşürmeden token/hesaplama maliyetini azaltma tekniklerini öğretir.
Katılımcılar örnek bir kurumsal uygulamanın trace verileri üzerinden maliyet röntgeni çeker; prompt sıkıştırma, kısa yapılandırılmış çıktı, model yönlendirme ve yüksek GPU doluluğu ile birim maliyeti düşüren bir optimizasyon planı hazırlar.
Kimler Katılmalı?
- LLM altyapı ve API bütçesini yöneten yapay zeka, platform ve FinOps mühendisleri
- Yüksek hacimli yapay zeka ürünleri geliştiren yazılım mimarları ve teknik ürün yöneticileri
- Birim maliyet ve ROI hesabı yapan teknoloji liderleri
- Ön koşul: temel LLM API/serving kavramları ve maliyet/kapasite tablolarıyla çalışma
Kazanımlar
- Input, cached input, reasoning ve output token maliyetlerini iş akışı bazında hesaplamak
- Kendi GPU'nu işletme (on-prem/cloud GPU) ile yönetilen API arasındaki gerçek başabaş noktasını çıkarmak
- System prompt, RAG bağlamı ve tool şemalarındaki gereksiz token şişkinliğini azaltmak
- Senkron trafik ile asenkron/batch iş yüklerini ayırarak boş GPU saatlerini değerlendirmek
- Özellik, ekip ve müşteri bazında cost-per-successful-task gösterge paneli tasarlamak
Konular
LLM Birim Ekonomisi ve Maliyet Anatomisi
- Input, output ve reasoning token ağırlıkları: neden output token çok daha pahalıdır?
- Ham token maliyeti yerine 'başarılı görev başına maliyet' (cost per resolved task) metriği
Self-Hosted GPU vs Ticari API Başabaş Analizi
- GPU saatlik maliyeti ve elde edilen tok/s üzerinden 1M token maliyeti hesabı
- Gece/hafta sonu düşük kullanımın (utilization) gerçek birim maliyete etkisi
Token Bütçesi Daraltma Teknikleri
- Uzun system prompt, geçmiş konuşma ve RAG chunk sayısını budama (reranking + top-k)
- JSON/şema tasarımı, kısa anahtar adları ve max_tokens sınırlarıyla output kontrolü
Mimari Maliyet Optimizasyonu
- Kolay istekleri küçük modele, zor istekleri büyük modele yönlendirme (cascading)
- Gerçek zamanlı olmayan işleri Batch API veya gece GPU kuyruklarına kaydırma
AI FinOps, Bütçe Kotaları ve Raporlama
- Kullanıcı, departman ve özellik bazında token/maliyet etiketleme (chargeback)
- Anormal maliyet artışı (runaway agent loop) alarmları ve maliyet karşılaştırma raporu
Bu Kategorideki Diğer Eğitimler
-
Açık ağırlıklı bir LLM'in GPU sunucuda OpenAI uyumlu API olarak nasıl sunulduğunu öğretir: inference motorları, VRAM hesabı, temel serving ayarları ve ilk benchmark. Geliştirici ve platform ekipleri için giriş programı.
- Canlı Kurs
- 5 modül
-
vLLM ile yüksek throughput'lu LLM serving: PagedAttention, continuous batching, tensor parallelism, prefix caching, LoRA adapter sunumu ve Prometheus metrikleri. Üretime hazır bir vLLM deployment'ı ve benchmark raporu çıkarılır.
- Canlı Kurs
- 5 modül
-
Hugging Face Text Generation Inference (TGI) ile LLM sunma: Docker kurulumu, sharding, quantization, Messages API, guidance ile structured output ve Inference Endpoints. Hugging Face ekosistemini kullanan ekipler için uygulamalı program.
- Canlı Kurs
- 5 modül
-
Ollama ile açık ağırlıklı modelleri dizüstü, iş istasyonu veya sunucuda çalıştırma: model kütüphanesi, Modelfile, REST/OpenAI uyumlu API, Open WebUI, embedding ve ekip içi paylaşımlı kurulum. Hızlı prototip ve gizli veri senaryoları için.
- Canlı Kurs
- 5 modül
-
FastAPI ile model API katmanı, vLLM ile LLM inference, KServe ile Kubernetes üzerinde model yönetimi ve Triton ile çok framework'lü serving'i tek mimaride birleştirir. Uçtan uca, ölçeklenebilir bir model serving stack'i kurulur.
- Canlı Kurs
- 6 modül
-
LLM'lerde FP16/BF16, FP8, INT8 ve INT4 precision seçenekleri; GPTQ, AWQ, GGUF ve bitsandbytes ile post-training quantization, kalite kaybının eval ile ölçülmesi ve VRAM/throughput kazancının benchmark ile doğrulanması.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
