Eğitimin Amacı ve Kapsamı
Air-gapped ortamlarda çalışan LLM sistemlerinde en sık yaşanan darboğaz, ilk kurulumdan ziyade runtime bağımlılıklarının, tokenizer dosyalarının, CUDA/driver sürümlerinin ve yeni model ağırlıklarının dış ağa çıkmadan güvenli biçimde içeri alınması ve güncellenmesidir. Bu eğitim, Hugging Face Hub ve container imajlarının çevrimdışı yansılanmasını (mirroring), safetensors ve SHA256/Cosign doğrulama zincirini ve çalışma anında dış çağrı yapmayan (HF_HUB_Offline=1) yapılandırmaları uygulamalı olarak ele alır.
Lab'larda katılımcılar izole bir ağ simülasyonunda Harbor/Nexus mirror'ı kurar, imzalı bir model paketini içeri aktarır ve sıfır kesintiyle model ile inference engine güncellemesi gerçekleştirir.
Kimler Katılmalı?
- İzolasyonlu ağlarda çalışan DevSecOps, sistem ve platform mühendisleri
- Savunma, finans ve kritik altyapı kurumlarının AI altyapı ekipleri
- Air-gapped Kubernetes ve GPU sunucularını işleten sistem yöneticileri
- Ön koşul: Linux sistem yönetimi, Docker/OCI imajları ve temel ağ güvenliği
Kazanımlar
- Container, Python paketleri ve model ağırlıkları için offline artifact deposu kurmak
- Model dosyalarını güvenlik taraması, checksum ve dijital imza ile doğrulamak
- vLLM, TGI ve Transformers servislerini tamamen offline çalışacak şekilde yapılandırmak
- NVIDIA sürücü, CUDA toolkit ve container runtime güncellemelerini çevrimdışı paketlemek
- Geri dönüş (rollback) garantili model ve serving motoru güncelleme prosedürü işletmek
Konular
Air-Gapped Yapay Zeka Tedarik Zinciri
- Staging/karantina bölgesi, tek yönlü aktarım ve onay iş akışı
- Pickle riskleri,
safetensorsstandardı ve model SBOM üretimi
Offline Registry ve Model Deposu Kurulumu
- Harbor, Nexus veya Artifactory ile OCI ve PyPI mirror'lama
- Model ağırlıkları, tokenizer ve chat template arşivleme yapısı
Gizli Ağ Çağrılarını Kapatma ve Kurulum
HF_HUB_OFFLINE,TRANSFORMERS_OFFLINEve tiktoken/tokenizer cache ayarları- İnternetsiz ortamda vLLM ve embedding servislerini ayağa kaldırma
GPU Sürücü ve Altyapı Güncelleme Paketleri
- Offline apt/rpm depoları, NVIDIA driver ve Container Toolkit paketleme
- Uyumluluk matrisi: kernel, driver, CUDA ve vLLM imaj sürümleri
Kesintisiz Güncelleme ve Rollback Tatbikatı
- Blue/green ve canary model geçişi ile offline smoke test
- Arıza durumunda önceki imaj ve model ağırlığına hızlı geri dönüş
Bu Kategorideki Diğer Eğitimler
-
llama.cpp, GGUF formatı ve LM Studio ile masaüstü ve iş istasyonlarında lokal LLM çalıştırma: k-quant seçimi, CPU+GPU katman paylaştırma, Metal/CUDA/Vulkan hızlandırma ve yerel OpenAI uyumlu API sunumu. Geliştirici ve analistler için.
- Canlı Kurs
- 5 modül
-
Kaynak kodunu kurum dışına çıkarmadan AI kod asistanı kurulumu: Qwen2.5-Coder ve DeepSeek-Coder gibi modeller, FIM (Fill-in-the-Middle) otomatik tamamlama, Continue.dev/Tabby IDE eklentileri, vLLM sunumu ve kod tabanı RAG entegrasyonu.
- Canlı Kurs
- 5 modül
-
Kurumsal kullanım için açık ağırlıklı LLM seçimi: Llama, Qwen, Mistral, Gemma ve DeepSeek aileleri; ticari lisans analizi, dense/MoE mimari farkları, Türkçe ve tool calling yetkinliği ile kurum verisi üzerinde seçim matrisi oluşturma.
- Canlı Kurs
- 5 modül
-
NVIDIA Triton Inference Server ve KServe ile GPU üzerinde çoklu model sunumu: TensorRT-LLM/ONNX/Python backend'leri, dynamic batching, model ensemble, KServe InferenceService, Knative autoscaling ve Model Analyzer ile optimizasyon.
- Canlı Kurs
- 5 modül
-
LLM serving'de bellek ve eşzamanlılık darboğazlarını çözme: KV cache bellek matematiği, PagedAttention, SGLang RadixAttention, prefix caching, FP8 KV cache quantization, continuous batching ve chunked prefill ayarları.
- Canlı Kurs
- 5 modül
-
LLM servislerinde TTFT, ITL ve toplam throughput optimizasyonu: compute-bound ve memory-bandwidth-bound darboğaz analizi, FlashAttention/FlashInfer, CUDA Graphs, speculative decoding, paralellik ayarları ve SLO odaklı yük testi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
