Eğitimin Amacı ve Kapsamı
Geleneksel SRE olay yönetiminde sunucu çöker ve HTTP 500 alırsınız; yapay zeka sistemlerinde ise sunucu HTTP 200 dönerken müşteriye yanlış fiyat vaat edebilir, bozuk bir doküman yüzünden halüsinasyon üretebilir veya bir agent sonsuz döngüye girip dakikalar içinde binlerce dolarlık API çağrısı yapabilir. Bu eğitim, AI/LLM sistemlerine özgü arıza modlarını sınıflandırmayı ve müdahale süreçlerini kurmayı öğretir.
Katılımcılar gerçekçi kriz senaryoları (jailbreak/veri sızıntısı, sağlayıcı kesintisi, zehirlenmiş RAG dokümanı, runaway agent) üzerinde masa başı ve uygulamalı tatbikat yapar; kill-switch, güvenli moda düşme (graceful degradation) ve kalıcı regression testine bağlanan AI post-mortem şablonu hazırlar.
Kimler Katılmalı?
- Üretimde yapay zeka servisleri işleten SRE, LLMOps ve platform mühendisleri
- Nöbet (on-call) ve olay müdahale süreçlerinde yer alan yazılım ve AI mühendisleri
- Operasyonel risk, güvenlik ve iş sürekliliğinden sorumlu teknik yöneticiler
- Ön koşul: temel üretim sistemleri işletimi ve LLM uygulama mimarisi bilgisi
Kazanımlar
- AI olaylarını şiddet derecesine (SEV1–SEV4) ve etki alanına (güvenlik, kalite, maliyet, erişilebilirlik) göre sınıflandırmak
- Özellik bayrağı (feature flag), kill-switch ve salt-okunur/deterministik fallback modları tasarlamak
- Zehirlenmiş RAG dokümanı, bozuk prompt sürümü veya hatalı tool yetkisini dakikalar içinde izole etmek
- Maliyet sıçraması ve sonsuz agent döngülerini otomatik devre kesicilerle (circuit breaker) durdurmak
- Her AI olayını yeni bir guardrail ve regression testine dönüştüren post-mortem süreci işletmek
Konular
Yapay Zeka Sistemlerine Özgü Arıza Modları ve SEV Sınıflandırması
- Sessiz arızalar: HTTP 200 dönen halüsinasyonlar, yanlış tool çağrıları ve ton/politika ihlalleri
- Güvenlik/PII sızıntısı, maliyet patlaması, sağlayıcı kesintisi ve kalite çöküşü için SEV1–SEV4 matrisi
Erken Tespit, Anomali Alarmları ve Devre Kesiciler
- Token/dakika sıçraması, guardrail blok oranı artışı, tekrarlayan tool hatası ve thumbs-down alarmları
- Agent başına maksimum adım/bütçe sınırı ve otomatik circuit breaker kuralları
Acil Müdahale: Kill-Switch ve Graceful Degradation
- Deploy beklemeden prompt/model geri alma, tehlikeli tool'ları kapatma ve RAG dokümanı karantinaya alma
- LLM devre dışı kaldığında klasik arama, statik kurallar veya insan temsilciye devir (handoff)
Senaryo Bazlı Müdahale Runbook'ları ve Tatbikat
- Canlı prompt injection/jailbreak saldırısı ve PII sızıntısı müdahale adımları
- Bölgesel bulut API kesintisi veya kurum içi GPU düğümü arızasında trafik kaydırma
AI Post-Mortem ve Bağışıklık Kazanma Döngüsü
- Trace, prompt sürümü, retrieval bağlamı ve model parametreleriyle olay zaman çizelgesi çıkarma
- Kök nedenden otomatik regression test case'i ve yeni guardrail kuralı üretme
Bu Kategorideki Diğer Eğitimler
-
Yönetilen bulut platformları (Azure AI Foundry, Amazon Bedrock, Google Vertex AI) ile kurum içi GPU kümelerini hibrit mimaride birleştirme: veri gizliliğine göre yönlendirme, taşınabilir kontratlar, ağ güvenliği ve felaket kurtarma.
- Canlı Kurs
- 5 modül
-
LLM uygulamalarında göz kararı testten (vibe check) ölçülebilir kaliteye geçiş: ilk eval veri setini oluşturma, kural tabanlı kontroller, basit LLM-as-a-judge kullanımı ve Promptfoo ile ilk otomatik değerlendirme raporu.
- Canlı Kurs
- 5 modül
-
LLM değerlendirmelerinin temelini oluşturan yüksek kaliteli golden dataset tasarımı: senaryo matrisi, dokümanlardan sentetik test verisi üretimi ve filtreleme, adversarial/edge case kurgusu, uzman etiketleme ve veri seti bakımı.
- Canlı Kurs
- 5 modül
-
Deterministik kural tabanlı (rule-based) değerlendiriciler ile model-graded (LLM-as-a-judge) hakemlerin hibrit tasarımı: regex/AST/JSON şema doğrulama, pairwise ve rubric tabanlı judge prompt mühendisliği ve kalibrasyon.
- Canlı Kurs
- 5 modül
-
RAG ve çok adımlı agent sistemlerinde bileşen bazlı ve uçtan uca kalite ölçümü: retrieval (precision@k, recall@k, MRR), generation (faithfulness, relevance) ve agent (tool seçimi, argüman doğruluğu, trajectory verimliliği) metrikleri.
- Canlı Kurs
- 5 modül
-
Dağıtım öncesi offline eval skorları ile canlı üretim başarısını birleştirme: offline-online korelasyon analizi, shadow deployment, LLM yanıtlarında A/B testi ve interleaving, iş metrikleriyle bağlantı ve güvenli sürüm geçişi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
