Eğitimin Amacı ve Kapsamı
Ollama, verinin kurum dışına çıkmaması gereken durumlarda LLM'leri dakikalar içinde yerel olarak denemenin en pratik yoludur. Program; model çekme ve çalıştırma, GGUF quantization seviyeleri, Modelfile ile system prompt ve parametre tanımlama, REST ve OpenAI uyumlu API kullanımı ile Python/JavaScript SDK'larını uygulamalı olarak işler.
Katılımcılar Open WebUI ile ekip içi bir sohbet arayüzü kurar, embedding modelleriyle küçük bir RAG prototipi geliştirir ve Ollama'nın paylaşımlı sunucuda güvenli kullanımını yapılandırır. Ollama'nın nerede yeterli olduğu, nerede vLLM gibi bir üretim motoruna geçilmesi gerektiği de netleştirilir.
Kimler Katılmalı?
- LLM'leri yerelde denemek isteyen yazılım geliştiriciler
- Gizli veriyle çalışan veri bilimciler ve analistler
- Ekip için hızlı prototip ortamı kuracak teknik liderler
- Ön koşul: temel komut satırı bilgisi
Kazanımlar
- Ollama'yı Windows, macOS, Linux veya Docker üzerinde kurmak
- Donanıma uygun model ve quantization seviyesini seçmek
- Modelfile ile kuruma özel model varyantları oluşturmak
- Ollama API'sini uygulamalara ve Open WebUI'a bağlamak
- Ollama'nın üretim için sınırlarını değerlendirmek
Konular
Kurulum ve Model Kütüphanesi
- Platformlara göre kurulum ve GPU desteği
- Model seçimi, etiketler ve GGUF quantization seviyeleri
Modelfile ve Özelleştirme
- System prompt, parametreler ve template tanımlama
- GGUF dosyası ve adapter içe aktarma
API ve SDK ile Entegrasyon
- REST ve OpenAI uyumlu endpoint'ler
- Python/JavaScript SDK, tool calling ve structured output
Open WebUI ve Lokal RAG
- Ekip için sohbet arayüzü kurulumu
- Embedding modelleriyle doküman soru-cevap prototipi
Paylaşımlı Kullanım ve Sınırlar
- Sunucu kurulumu, erişim kontrolü ve eşzamanlılık ayarları
- Ne zaman vLLM/TGI'ye geçilmeli?
Bu Kategorideki Diğer Eğitimler
-
FastAPI ile model API katmanı, vLLM ile LLM inference, KServe ile Kubernetes üzerinde model yönetimi ve Triton ile çok framework'lü serving'i tek mimaride birleştirir. Uçtan uca, ölçeklenebilir bir model serving stack'i kurulur.
- Canlı Kurs
- 6 modül
-
LLM'lerde FP16/BF16, FP8, INT8 ve INT4 precision seçenekleri; GPTQ, AWQ, GGUF ve bitsandbytes ile post-training quantization, kalite kaybının eval ile ölçülmesi ve VRAM/throughput kazancının benchmark ile doğrulanması.
- Canlı Kurs
- 5 modül
-
Dinamik quantization ile calibration verisi gerektirmeden modelleri hızlandırma: PyTorch ve ONNX Runtime dynamic quantization, FP8 dynamic activation scaling, statik yöntemlerle karşılaştırma ve CPU/GPU üzerinde ölçüm.
- Canlı Kurs
- 5 modül
-
Quantization'ı eğitimden sunuma uçtan uca ele alır: QLoRA ile 4-bit fine-tuning, quantization-aware training (QAT), adapter birleştirme, yeniden quantize etme ve vLLM'de sunma. Tek GPU'da kurum verisiyle model uyarlamak isteyen ekipler için.
- Canlı Kurs
- 5 modül
-
LLM iş yükleri için GPU kapasite planı: model boyutu, context uzunluğu, eşzamanlı kullanıcı ve SLO hedeflerinden VRAM, GPU sayısı ve sunucu ihtiyacını hesaplama; H100/H200/B200, L40S ve bulut seçeneklerinin maliyet karşılaştırması.
- Canlı Kurs
- 5 modül
-
Veri yerelliği ve regülasyon gereksinimleri için uçtan uca kurum içi LLM platformu tasarımı: GPU boyutlandırma, Kubernetes kümesi, vLLM/Triton serving, model gateway, güvenlik ve air-gapped üretim mimarisi. Platform ve altyapı ekipleri için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
