Eğitimin Amacı ve Kapsamı
Pek çok kurumsal organizasyon ne tamamen buluta çıkabilir ne de her iş yükü için kendi veri merkezinde devasa GPU yatırımı yapabilir: gizli müşteri verisi içeren işler kurum içinde (on-prem) kalırken, genel iş yükleri veya ani trafik artışları (burst) Azure AI Foundry, Amazon Bedrock veya Google Vertex AI üzerinde çalışır. Bu eğitim, bulut ve kurum içi ortamları tek bir hibrit LLMOps düzleminde birleştirmeyi öğretir.
Katılımcılar veri sınıflandırmasına göre yönlendirme yapan hibrit gateway, sağlayıcıdan bağımsız uygulama şablonu, PrivateLink/ExpressRoute ağ güvenliği ve ortamlar arası tutarlı dağıtım/izleme mimarisi tasarlar.
Kimler Katılmalı?
- Hibrit bulut ve on-prem yapay zeka altyapısı tasarlayan çözüm ve platform mimarları
- Azure, AWS veya GCP ile kurum içi Kubernetes kümelerini birlikte işleten MLOps/DevOps ekipleri
- Veri yerelliği ve bulut stratejisini belirleyen teknik yöneticiler
- Ön koşul: temel bulut servisleri, container/Kubernetes ve LLM API bilgisi
Kazanımlar
- Azure AI Foundry, Amazon Bedrock, Vertex AI ve on-prem vLLM yeteneklerini karşılaştırmak
- Veri gizlilik sınıfına (PII/gizli vs açık) göre on-prem ve bulut arasında otomatik yönlendirme kurmak
- Uygulama kodunu tek bir bulut sağlayıcısına bağımlı kılmayan (vendor-agnostic) soyutlama katmanı geliştirmek
- Özel ağ bağlantıları (PrivateLink, VPC Peering), IAM ve veri saklamama (zero data retention) ayarlarını yapılandırmak
- On-prem GPU kapasitesi dolduğunda uygun iş yüklerini buluta taşıyan (cloud bursting) ve kesintide yedekleyen mimari kurmak
Konular
Kurumsal Hibrit AI Mimari Desenleri
- Hangi iş yükü on-prem'de kalmalı, hangisi yönetilen bulut servislerinde çalışmalı?
- Azure AI Foundry, Amazon Bedrock ve Google Vertex AI kurumsal güvenlik ve kota modelleri
Taşınabilirlik ve Sağlayıcı Soyutlama Katmanı
- OpenAI uyumlu standart şema, LiteLLM/Gateway ve OCI container paketleme
- Prompt, tool calling ve structured output farklarını sağlayıcılar arasında eşitleme
Veri Sınıflandırma ve Politikaya Dayalı Yönlendirme
- KVKK/regülasyon kapsamındaki istekleri kurum içi vLLM kümesine zorunlu yönlendirme
- Anonimleştirilmiş veya açık verili isteklerde bulut modellerini ve cloud bursting'i kullanma
Ağ Güvenliği, Kimlik ve Veri Gizliliği Kontrolleri
- PrivateLink/Private Service Connect, müşteri yönetimli anahtarlar (CMK) ve Zero Data Retention
- Bölge (region) kısıtlamaları, denetim izleri (audit logs) ve çapraz ortam IAM yönetimi
Birleşik Gözlemlenebilirlik ve Felaket Kurtarma
- Bulut ve on-prem çağrılarını tek bir Langfuse/OTel ve FinOps panelinde izleme
- On-prem küme bakımı veya bulut bölge kesintisinde kesintisiz iş sürekliliği planı
Bu Kategorideki Diğer Eğitimler
-
LLM uygulamalarında göz kararı testten (vibe check) ölçülebilir kaliteye geçiş: ilk eval veri setini oluşturma, kural tabanlı kontroller, basit LLM-as-a-judge kullanımı ve Promptfoo ile ilk otomatik değerlendirme raporu.
- Canlı Kurs
- 5 modül
-
LLM değerlendirmelerinin temelini oluşturan yüksek kaliteli golden dataset tasarımı: senaryo matrisi, dokümanlardan sentetik test verisi üretimi ve filtreleme, adversarial/edge case kurgusu, uzman etiketleme ve veri seti bakımı.
- Canlı Kurs
- 5 modül
-
Deterministik kural tabanlı (rule-based) değerlendiriciler ile model-graded (LLM-as-a-judge) hakemlerin hibrit tasarımı: regex/AST/JSON şema doğrulama, pairwise ve rubric tabanlı judge prompt mühendisliği ve kalibrasyon.
- Canlı Kurs
- 5 modül
-
RAG ve çok adımlı agent sistemlerinde bileşen bazlı ve uçtan uca kalite ölçümü: retrieval (precision@k, recall@k, MRR), generation (faithfulness, relevance) ve agent (tool seçimi, argüman doğruluğu, trajectory verimliliği) metrikleri.
- Canlı Kurs
- 5 modül
-
Dağıtım öncesi offline eval skorları ile canlı üretim başarısını birleştirme: offline-online korelasyon analizi, shadow deployment, LLM yanıtlarında A/B testi ve interleaving, iş metrikleriyle bağlantı ve güvenli sürüm geçişi.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamalarında kullanıcı etkileşimlerini sürekli iyileştirmeye dönüştürme: açık ve örtük geri bildirim yakalama, trace-bağlantılı puanlama, uzman düzeltme kuyrukları ve veriden eval/fine-tuning çarkı (data flywheel).
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
