Eğitimin Amacı ve Kapsamı
Veri merkezi GPU'su olmadan da geliştirici dizüstü bilgisayarlarında ve iş istasyonlarında güçlü açık ağırlıklı modelleri çalıştırmak mümkündür. Bu eğitim; llama.cpp mimarisini, GGUF dosya yapısını ve k-quant/imatrix quantization seviyelerini, RAM/VRAM paylaşımını ve LM Studio ile grafik arayüz üzerinden model yönetimini uygulamalı olarak öğretir.
Katılımcılar Windows, macOS (Apple Silicon) veya Linux iş istasyonlarında llama-server ve LM Studio ile yerel bir OpenAI uyumlu API ayağa kaldırır, GPU offloading ayarlarıyla token hızını optimize eder ve yerel belgelerle güvenli analiz senaryoları uygular.
Kimler Katılmalı?
- Kendi iş istasyonunda lokal LLM çalıştırmak isteyen yazılım geliştiriciler
- Hassas doküman ve verilerle buluta çıkmadan çalışan veri analistleri ve araştırmacılar
- Geliştirici bilgisayarları için standart lokal AI kurulumu belirleyecek teknik liderler
- Ön koşul: temel bilgisayar ve komut satırı kullanımı
Kazanımlar
- GGUF formatını ve Q4_K_M, Q5_K_M, Q8_0, IQ4_XS gibi quantization seviyelerini seçmek
llama.cppile CPU, CUDA, Apple Metal ve Vulkan hızlandırmasını yapılandırmak- GPU layer offloading ve context boyutu parametreleriyle RAM/VRAM dengesini kurmak
- LM Studio ve
llama-serverüzerinden yerel OpenAI uyumlu endpoint yayınlamak - Grammar/JSON şeması kısıtlamalarıyla masaüstünde yapılandırılmış çıktı almak
Konular
GGUF Formatı ve Quantization Seviyeleri
- GGUF metadata yapısı, tokenizer ve tek dosyada model dağıtımı
- K-quants (Q4_K_M, Q5_K_M, Q6_K, Q8_0) ve imatrix kalite/bellek dengesi
llama.cpp Kurulumu ve Donanım Hızlandırma
- CUDA, Metal, Vulkan ve AVX2/AMX derleme ve çalıştırma seçenekleri
-ngl(GPU layers),-c(context), flash attention ve KV cache quantization
llama-server ile Yerel API ve Yapılandırılmış Çıktı
- OpenAI uyumlu endpoint, paralel slot'lar ve speculative decoding
- GBNF grammar ve JSON schema ile deterministik çıktı üretimi
LM Studio ile Masaüstü İş Akışları
- Model indirme, donanım uyumluluk kontrolü ve preset yönetimi
- Yerel API sunucusu, doküman sohbeti ve MCP/uygulama entegrasyonu
Hız Ölçümü ve İş İstasyonu Rehberi
llama-benchile prompt processing ve token generation ölçümü- Kurum içi geliştirici profillerine göre donanım ve model öneri tablosu
Bu Kategorideki Diğer Eğitimler
-
Kaynak kodunu kurum dışına çıkarmadan AI kod asistanı kurulumu: Qwen2.5-Coder ve DeepSeek-Coder gibi modeller, FIM (Fill-in-the-Middle) otomatik tamamlama, Continue.dev/Tabby IDE eklentileri, vLLM sunumu ve kod tabanı RAG entegrasyonu.
- Canlı Kurs
- 5 modül
-
Kurumsal kullanım için açık ağırlıklı LLM seçimi: Llama, Qwen, Mistral, Gemma ve DeepSeek aileleri; ticari lisans analizi, dense/MoE mimari farkları, Türkçe ve tool calling yetkinliği ile kurum verisi üzerinde seçim matrisi oluşturma.
- Canlı Kurs
- 5 modül
-
NVIDIA Triton Inference Server ve KServe ile GPU üzerinde çoklu model sunumu: TensorRT-LLM/ONNX/Python backend'leri, dynamic batching, model ensemble, KServe InferenceService, Knative autoscaling ve Model Analyzer ile optimizasyon.
- Canlı Kurs
- 5 modül
-
LLM serving'de bellek ve eşzamanlılık darboğazlarını çözme: KV cache bellek matematiği, PagedAttention, SGLang RadixAttention, prefix caching, FP8 KV cache quantization, continuous batching ve chunked prefill ayarları.
- Canlı Kurs
- 5 modül
-
LLM servislerinde TTFT, ITL ve toplam throughput optimizasyonu: compute-bound ve memory-bandwidth-bound darboğaz analizi, FlashAttention/FlashInfer, CUDA Graphs, speculative decoding, paralellik ayarları ve SLO odaklı yük testi.
- Canlı Kurs
- 5 modül
-
Kubernetes üzerinde GPU ve LLM iş yüklerinin işletimi: NVIDIA GPU Operator, MIG ve time-slicing ile GPU paylaşımı, Kueue/Volcano ile kuyruk yönetimi, hızlı model ağırlığı önbellekleme, GPU autoscaling ve DCGM izleme.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
