Eğitimin Amacı ve Kapsamı
vLLM, açık ağırlıklı modelleri kurum içinde sunmak için en yaygın kullanılan inference motorlarından biridir; ancak varsayılan ayarlarla çalıştırıldığında GPU kapasitesinin önemli bir kısmı boşa gidebilir. Program, PagedAttention ve continuous batching mantığını, gpu-memory-utilization, max-model-len, max-num-seqs gibi kritik parametreleri ve tensor/pipeline parallelism ile büyük modellerin çoklu GPU'ya dağıtılmasını ele alır.
Lab'larda prefix caching, speculative decoding, multi-LoRA serving, structured output ve tool calling yapılandırılır; vLLM'in kendi benchmark araçlarıyla ölçüm yapılır. Sonuç olarak her ekip kendi modeli için ayarlanmış bir vLLM deployment'ı ve performans raporu hazırlar.
Kimler Katılmalı?
- Kurum içi LLM platformu kuran yapay zeka ve platform mühendisleri
- Model serving'den sorumlu MLOps/LLMOps ekipleri
- Ollama'dan üretim ölçeğine geçmek isteyen geliştiriciler
- Ön koşul: Docker, Linux ve temel LLM inference kavramları
Kazanımlar
- vLLM'i Docker veya Kubernetes üzerinde OpenAI uyumlu API ile çalıştırmak
- Bellek ve batching parametrelerini iş yüküne göre ayarlamak
- Büyük modelleri tensor parallelism ile birden fazla GPU'ya dağıtmak
- Tek base model üzerinde birden çok LoRA adapter'ı sunmak
- Prometheus metrikleriyle throughput, latency ve KV cache kullanımını izlemek
Konular
vLLM Mimarisi
- PagedAttention, continuous batching ve scheduler
- V1 engine, desteklenen modeller ve donanımlar
Kurulum ve Temel Yapılandırma
- Docker imajı,
vllm serveve OpenAI uyumlu endpoint'ler - Bellek, context uzunluğu ve eşzamanlılık parametreleri
Çoklu GPU ve Büyük Modeller
- Tensor ve pipeline parallelism
- MoE modelleri ve quantized checkpoint'ler (AWQ, GPTQ, FP8)
İleri Özellikler
- Prefix caching, speculative decoding ve chunked prefill
- Multi-LoRA serving, structured output ve tool calling
İzleme ve Benchmark
- Prometheus/Grafana ile vLLM metrikleri
- vLLM benchmark araçlarıyla yük testi ve raporlama
Bu Kategorideki Diğer Eğitimler
-
Hugging Face Text Generation Inference (TGI) ile LLM sunma: Docker kurulumu, sharding, quantization, Messages API, guidance ile structured output ve Inference Endpoints. Hugging Face ekosistemini kullanan ekipler için uygulamalı program.
- Canlı Kurs
- 5 modül
-
Ollama ile açık ağırlıklı modelleri dizüstü, iş istasyonu veya sunucuda çalıştırma: model kütüphanesi, Modelfile, REST/OpenAI uyumlu API, Open WebUI, embedding ve ekip içi paylaşımlı kurulum. Hızlı prototip ve gizli veri senaryoları için.
- Canlı Kurs
- 5 modül
-
FastAPI ile model API katmanı, vLLM ile LLM inference, KServe ile Kubernetes üzerinde model yönetimi ve Triton ile çok framework'lü serving'i tek mimaride birleştirir. Uçtan uca, ölçeklenebilir bir model serving stack'i kurulur.
- Canlı Kurs
- 6 modül
-
LLM'lerde FP16/BF16, FP8, INT8 ve INT4 precision seçenekleri; GPTQ, AWQ, GGUF ve bitsandbytes ile post-training quantization, kalite kaybının eval ile ölçülmesi ve VRAM/throughput kazancının benchmark ile doğrulanması.
- Canlı Kurs
- 5 modül
-
Dinamik quantization ile calibration verisi gerektirmeden modelleri hızlandırma: PyTorch ve ONNX Runtime dynamic quantization, FP8 dynamic activation scaling, statik yöntemlerle karşılaştırma ve CPU/GPU üzerinde ölçüm.
- Canlı Kurs
- 5 modül
-
Quantization'ı eğitimden sunuma uçtan uca ele alır: QLoRA ile 4-bit fine-tuning, quantization-aware training (QAT), adapter birleştirme, yeniden quantize etme ve vLLM'de sunma. Tek GPU'da kurum verisiyle model uyarlamak isteyen ekipler için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
