Kurumsal Yapay Zeka (AI) ve Teknoloji Eğitim Kataloğu

Lokal ve Kurum İçi LLM Platformları LLM Model Sunma (Model Deployment) Temelleri RuneLab Akademi · 12 saat

Açık ağırlıklı bir LLM'in GPU sunucuda OpenAI uyumlu API olarak nasıl sunulduğunu öğretir: inference motorları, VRAM hesabı, temel serving ayarları ve ilk benchmark. Geliştirici ve platform ekipleri için giriş programı.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları vLLM ile Model Sunma RuneLab Akademi · 12 saat

vLLM ile yüksek throughput'lu LLM serving: PagedAttention, continuous batching, tensor parallelism, prefix caching, LoRA adapter sunumu ve Prometheus metrikleri. Üretime hazır bir vLLM deployment'ı ve benchmark raporu çıkarılır.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları Text Generation Inference (TGI) ile Model Sunma RuneLab Akademi · 12 saat

Hugging Face Text Generation Inference (TGI) ile LLM sunma: Docker kurulumu, sharding, quantization, Messages API, guidance ile structured output ve Inference Endpoints. Hugging Face ekosistemini kullanan ekipler için uygulamalı program.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları Ollama ile Lokal LLM Çalıştırma RuneLab Akademi · 12 saat

Ollama ile açık ağırlıklı modelleri dizüstü, iş istasyonu veya sunucuda çalıştırma: model kütüphanesi, Modelfile, REST/OpenAI uyumlu API, Open WebUI, embedding ve ekip içi paylaşımlı kurulum. Hızlı prototip ve gizli veri senaryoları için.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları FastAPI, vLLM, KServe, Triton Uzmanlığı RuneLab Akademi · 18 saat

FastAPI ile model API katmanı, vLLM ile LLM inference, KServe ile Kubernetes üzerinde model yönetimi ve Triton ile çok framework'lü serving'i tek mimaride birleştirir. Uçtan uca, ölçeklenebilir bir model serving stack'i kurulur.

18 saat

Canlı Kurs

6 modül

Lokal ve Kurum İçi LLM Platformları Model Quantization (INT8, INT4, FP16, BF16) RuneLab Akademi · 12 saat

LLM'lerde FP16/BF16, FP8, INT8 ve INT4 precision seçenekleri; GPTQ, AWQ, GGUF ve bitsandbytes ile post-training quantization, kalite kaybının eval ile ölçülmesi ve VRAM/throughput kazancının benchmark ile doğrulanması.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları Dinamik Quantization RuneLab Akademi · 12 saat

Dinamik quantization ile calibration verisi gerektirmeden modelleri hızlandırma: PyTorch ve ONNX Runtime dynamic quantization, FP8 dynamic activation scaling, statik yöntemlerle karşılaştırma ve CPU/GPU üzerinde ölçüm.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları Quantization ile Model Eğitim ve Sunma RuneLab Akademi · 12 saat

Quantization'ı eğitimden sunuma uçtan uca ele alır: QLoRA ile 4-bit fine-tuning, quantization-aware training (QAT), adapter birleştirme, yeniden quantize etme ve vLLM'de sunma. Tek GPU'da kurum verisiyle model uyarlamak isteyen ekipler için.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları GPU Kapasite Planlaması ve Donanım Boyutlandırma RuneLab Akademi · 12 saat

LLM iş yükleri için GPU kapasite planı: model boyutu, context uzunluğu, eşzamanlı kullanıcı ve SLO hedeflerinden VRAM, GPU sayısı ve sunucu ihtiyacını hesaplama; H100/H200/B200, L40S ve bulut seçeneklerinin maliyet karşılaştırması.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları Kurum İçi LLM Platformu: Donanım Boyutlandırmadan Air-Gapped Üretime RuneLab Akademi · 12 saat

Veri yerelliği ve regülasyon gereksinimleri için uçtan uca kurum içi LLM platformu tasarımı: GPU boyutlandırma, Kubernetes kümesi, vLLM/Triton serving, model gateway, güvenlik ve air-gapped üretim mimarisi. Platform ve altyapı ekipleri için.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları İnternete Kapalı (Air-Gapped) Ortamda LLM Kurulum ve Güncelleme RuneLab Akademi · 12 saat

İnternete kapalı ağlarda LLM servislerinin kurulumu ve güncellenmesi: offline container/PyPI/Hugging Face mirror kurulumu, safetensors ve SBOM doğrulama, GPU sürücü paketleme ve kesintisiz yama yönetimi. Güvenlik odaklı platform ekipleri için.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları Masaüstünde Lokal Modeller (llama.cpp, GGUF, LM Studio) RuneLab Akademi · 12 saat

llama.cpp, GGUF formatı ve LM Studio ile masaüstü ve iş istasyonlarında lokal LLM çalıştırma: k-quant seçimi, CPU+GPU katman paylaştırma, Metal/CUDA/Vulkan hızlandırma ve yerel OpenAI uyumlu API sunumu. Geliştirici ve analistler için.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları Lokal Modellerle Kurum İçi Kod Asistanı Kurulumu RuneLab Akademi · 12 saat

Kaynak kodunu kurum dışına çıkarmadan AI kod asistanı kurulumu: Qwen2.5-Coder ve DeepSeek-Coder gibi modeller, FIM (Fill-in-the-Middle) otomatik tamamlama, Continue.dev/Tabby IDE eklentileri, vLLM sunumu ve kod tabanı RAG entegrasyonu.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları Açık Ağırlıklı Model Seçimi ve Değerlendirme (Open Model Selection) RuneLab Akademi · 12 saat

Kurumsal kullanım için açık ağırlıklı LLM seçimi: Llama, Qwen, Mistral, Gemma ve DeepSeek aileleri; ticari lisans analizi, dense/MoE mimari farkları, Türkçe ve tool calling yetkinliği ile kurum verisi üzerinde seçim matrisi oluşturma.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları NVIDIA Triton ve KServe ile Kurumsal Model Sunma RuneLab Akademi · 12 saat

NVIDIA Triton Inference Server ve KServe ile GPU üzerinde çoklu model sunumu: TensorRT-LLM/ONNX/Python backend'leri, dynamic batching, model ensemble, KServe InferenceService, Knative autoscaling ve Model Analyzer ile optimizasyon.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları LLM Inference'ta KV Cache ve Batching Optimizasyonu RuneLab Akademi · 12 saat

LLM serving'de bellek ve eşzamanlılık darboğazlarını çözme: KV cache bellek matematiği, PagedAttention, SGLang RadixAttention, prefix caching, FP8 KV cache quantization, continuous batching ve chunked prefill ayarları.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları LLM Inference Throughput ve Latency Optimizasyonu RuneLab Akademi · 12 saat

LLM servislerinde TTFT, ITL ve toplam throughput optimizasyonu: compute-bound ve memory-bandwidth-bound darboğaz analizi, FlashAttention/FlashInfer, CUDA Graphs, speculative decoding, paralellik ayarları ve SLO odaklı yük testi.

12 saat

Canlı Kurs

5 modül

Lokal ve Kurum İçi LLM Platformları Kubernetes ile Yapay Zeka İş Yükleri (AI Workloads on Kubernetes) RuneLab Akademi · 18 saat

Kubernetes üzerinde GPU ve LLM iş yüklerinin işletimi: NVIDIA GPU Operator, MIG ve time-slicing ile GPU paylaşımı, Kueue/Volcano ile kuyruk yönetimi, hızlı model ağırlığı önbellekleme, GPU autoscaling ve DCGM izleme.

18 saat

Canlı Kurs

5 modül