Eğitimin Amacı ve Kapsamı
Finans, savunma, kamu ve sağlık gibi regüle sektörlerde LLM yeteneklerini kullanmak, dış API'lere veri göndermek yerine kurum içinde çok kiracılı (multi-tenant), denetlenebilir bir platform kurmayı gerektirir. Bu program; donanım boyutlandırmadan başlayarak GPU kümesi ağ topolojisi, yerel model kayıt defteri (registry), vLLM/Triton tabanlı serving katmanı, kurumsal kimlik doğrulama ve air-gapped üretime geçiş adımlarını uçtan uca bir referans mimari üzerinde birleştirir.
Katılımcılar vaka çalışmasında kendi kurumlarının güvenlik ve kapasite kısıtlarına göre private AI deployment taslağı, ağ/depolama mimarisi ve işletim kontrol listesi hazırlar.
Kimler Katılmalı?
- Kurum içi yapay zeka platformu kuran platform ve altyapı mimarları
- MLOps, LLMOps ve Kubernetes küme yöneticileri
- Regüle sektörlerde private AI dönüşümünü yöneten teknik liderler
- Ön koşul: Linux, container/Kubernetes ve temel LLM inference bilgisi
Kazanımlar
- Kullanım senaryolarına göre GPU, ağ ve depolama altyapısını boyutlandırmak
- Çok kiracılı kurum içi LLM serving ve model gateway katmanını tasarlamak
- Air-gapped ortamda model ağırlığı, container imajı ve bağımlılık yaşam döngüsünü kurgulamak
- Kurumsal IAM, Kota, audit log ve ağ izolasyonu politikalarını tanımlamak
- Kuruma özel uçtan uca private AI deployment taslağı oluşturmak
Konular
Kurumsal Private AI Referans Mimarisi
- Veri yerelliği, regülasyon ve tehdit modeli analizi
- Hesaplama, depolama, model sunma ve ağ geçidi katmanları
Donanım, Ağ ve Depolama Altyapısı
- GPU sunucu topolojisi, NVLink, RoCE/InfiniBand ve hızlı yerel disk
- Model ağırlıkları için paylaşımlı depolama ve önbellek tasarımı
Serving ve Çok Kiracılı Platform Katmanı
- Kubernetes üzerinde vLLM ve embedding/reranker servisleri
- Internal model gateway, RBAC, ekip kotaları ve audit logging
Air-Gapped Üretim ve Tedarik Zinciri
- DMZ üzerinden imaj ve model ağırlığı aktarım hattı
- İmza doğrulama, güvenlik taraması ve sürüm sabitleme
İşletim, İzleme ve Kapasite Evrimi
- GPU sağlık izleme, SLO takibi ve arıza senaryoları
- Kuruma özel private AI deployment taslağının hazırlanması
Bu Kategorideki Diğer Eğitimler
-
İnternete kapalı ağlarda LLM servislerinin kurulumu ve güncellenmesi: offline container/PyPI/Hugging Face mirror kurulumu, safetensors ve SBOM doğrulama, GPU sürücü paketleme ve kesintisiz yama yönetimi. Güvenlik odaklı platform ekipleri için.
- Canlı Kurs
- 5 modül
-
llama.cpp, GGUF formatı ve LM Studio ile masaüstü ve iş istasyonlarında lokal LLM çalıştırma: k-quant seçimi, CPU+GPU katman paylaştırma, Metal/CUDA/Vulkan hızlandırma ve yerel OpenAI uyumlu API sunumu. Geliştirici ve analistler için.
- Canlı Kurs
- 5 modül
-
Kaynak kodunu kurum dışına çıkarmadan AI kod asistanı kurulumu: Qwen2.5-Coder ve DeepSeek-Coder gibi modeller, FIM (Fill-in-the-Middle) otomatik tamamlama, Continue.dev/Tabby IDE eklentileri, vLLM sunumu ve kod tabanı RAG entegrasyonu.
- Canlı Kurs
- 5 modül
-
Kurumsal kullanım için açık ağırlıklı LLM seçimi: Llama, Qwen, Mistral, Gemma ve DeepSeek aileleri; ticari lisans analizi, dense/MoE mimari farkları, Türkçe ve tool calling yetkinliği ile kurum verisi üzerinde seçim matrisi oluşturma.
- Canlı Kurs
- 5 modül
-
NVIDIA Triton Inference Server ve KServe ile GPU üzerinde çoklu model sunumu: TensorRT-LLM/ONNX/Python backend'leri, dynamic batching, model ensemble, KServe InferenceService, Knative autoscaling ve Model Analyzer ile optimizasyon.
- Canlı Kurs
- 5 modül
-
LLM serving'de bellek ve eşzamanlılık darboğazlarını çözme: KV cache bellek matematiği, PagedAttention, SGLang RadixAttention, prefix caching, FP8 KV cache quantization, continuous batching ve chunked prefill ayarları.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
