Eğitimin Amacı ve Kapsamı
Veri regülasyonları, şirket dışına çıkamayan kurumsal veriler ve yüksek hacimde öngörülebilir maliyet ihtiyacı, kurumları open-weight modelleri kendi altyapılarında çalıştırmaya yöneltir. Bu eğitim; Hugging Face ekosistemini, lisans türlerini (Apache 2.0, MIT, Llama/Gemma özel lisansları), VRAM ve GPU kapasite hesabını, vLLM ve SGLang gibi üretim çıkarım motorlarını ve OpenAI uyumlu iç API katmanı kurulumunu kapsar.
Katılımcılar bir open-weight modeli quantization seçenekleriyle ayağa kaldırır, mevcut uygulama koduna entegre eder ve eşzamanlı istekler altında throughput/latency testi yapar.
Kimler Katılmalı?
- Şirket içi veya özel bulutta LLM servisi kuracak yapay zeka, platform ve MLOps mühendisleri
- Dış API bağımlılığını azaltmak isteyen backend geliştiriciler ve sistem mimarları
- Veri egemenliği ve KVKK/regülasyon uyumu gerektiren sektörlerdeki teknik ekipler
- Ön koşul: Linux/container temelleri ve Python ile API geliştirme deneyimi
Kazanımlar
- Open-weight modelleri lisans, donanım gereksinimi ve Türkçe/görev kalitesine göre değerlendirir
- Model ağırlıkları, KV cache ve eşzamanlı kullanıcı sayısına göre GPU VRAM hesabı yapar
- vLLM veya SGLang ile PagedAttention, continuous batching ve prefix caching yapılandırır
- FP16/BF16, FP8, AWQ ve GPTQ quantization formatlarının hız ve kalite etkisini ölçer
- Uygulamaları OpenAI uyumlu iç endpoint ve fallback yapısıyla open-weight modele bağlar
Konular
Open-Weight Ekosistemi ve Lisans Yönetimi
- Açık kaynak (OSI) ile open-weight ayrımı; Apache 2.0, MIT ve özel model lisansları
- Llama, Qwen, Mistral, Gemma ve DeepSeek ailelerinin kurumsal değerlendirmesi
GPU Boyutlandırma ve VRAM Matematiği
- Ağırlık belleği, aktivasyonlar ve KV cache için pratik hesaplama formülleri
- Context uzunluğu ve eşzamanlı istek sayısının GPU seçimine etkisi
Üretim Çıkarım Motorları: vLLM, SGLang ve Ollama
- Yerel geliştirme (Ollama/llama.cpp) ile üretim sunumu (vLLM, SGLang) farkları
- Continuous batching, PagedAttention ve RadixAttention mekanizmaları
Quantization ve Performans Ayarları
- FP8, INT8, AWQ ve GPTQ formatlarının karşılaştırması
- Tensor parallelism ve uzun context parametrelerinin yapılandırılması
Uygulama Entegrasyonu ve Kurumsal Güvenlik
- OpenAI uyumlu endpoint ile SDK, tool calling ve structured output kullanımı
- Air-gapped model indirme, model ağırlık doğrulama, kimlik doğrulama ve kota
Laboratuvar: Şirket İçi LLM Servisi ve Yük Testi
- Open-weight modelin container olarak ayağa kaldırılması ve API entegrasyonu
- Eşzamanlı isteklerle TTFT, throughput (tok/sn) ve hata profilinin ölçümü
Bu Kategorideki Diğer Eğitimler
-
Üretimdeki LLM uygulamalarında token tüketimini, fatura maliyetini ve p95 gecikmeyi düşüren mühendislik teknikleri: prompt ve semantik caching, Batch API, çıktı kontrolü, model kademelendirme ve birim maliyet analizi.
- Canlı Kurs
- 6 modül
-
LangChain v0.3+ ekosistemiyle (LCEL, ChatModel soyutlaması, prompt şablonları, structured output, tool calling, retriever entegrasyonu ve LangSmith izleme) modüler LLM uygulamaları geliştirmeyi öğreten program.
- Canlı Kurs
- 6 modül
-
Kurumsal Java (Spring AI, LangChain4j) ve .NET (Microsoft.Extensions.AI, Semantic Kernel) ekosistemlerinde Python'a geçmeden tip güvenli LLM, RAG, tool calling ve MCP entegrasyonu geliştirmeyi öğreten program.
- Canlı Kurs
- 6 modül
-
AWS üzerinde Amazon Bedrock Converse API, Knowledge Bases, Bedrock Agents, Guardrails, Prompt Management, IAM/VPC güvenliği ve maliyet optimizasyonu ile kurumsal üretken yapay zeka çözümleri geliştirme programı.
- Canlı Kurs
- 6 modül
-
Microsoft Azure AI Foundry ve Azure OpenAI Service üzerinde GPT/reasoning modelleri, Azure AI Search entegrasyonu, Entra ID kimlik doğrulaması, Private Endpoint, Content Safety ve PTU/kota yönetimi programı.
- Canlı Kurs
- 6 modül
-
Google Cloud Vertex AI üzerinde Gemini modelleri, Gen AI SDK, Context Caching, Grounding, Vertex AI Search, BigQuery entegrasyonu, IAM/VPC-SC güvenliği ve değerlendirme araçlarıyla uygulama geliştirme programı.
- Canlı Kurs
- 6 modül
Bizimle iletişime geçin
