Eğitimin Amacı ve Kapsamı
Klasik yazılımda birim testlerin geçmesi dağıtım için yeterliyken, bir LLM uygulamasında iki kelimelik bir prompt değişikliği veya yeni bir chunking parametresi sözdizimi hatası vermeden yanıt kalitesini düşürebilir. Öte yandan her commit'te yüzlerce LLM çağrısı yapmak CI süresini uzatır ve bütçeyi tüketir. Bu eğitim, hız ve maliyeti dengeleyen çok katmanlı yapay zeka CI/CD hatları tasarlamayı öğretir.
Katılımcılar GitHub Actions veya GitLab CI üzerinde; PR aşamasında hızlı kontrat ve alt-küme eval testi koşan, merge öncesi tam regression setini doğrulayan ve üretimde metrik bozulduğunda canary dağıtımı otomatik geri alan bir pipeline inşa eder.
Kimler Katılmalı?
- LLM uygulamalarını üretime taşıyan DevOps, MLOps ve platform mühendisleri
- Sürekli teslimat süreçlerini yapay zeka projelerine uyarlayan yazılım mühendisleri
- Sürüm kalitesi ve dağıtım otomasyonundan sorumlu teknik takım liderleri
- Ön koşul: Git, GitHub Actions veya GitLab CI temelleri ve Python bilgisi
Kazanımlar
- Hızlı birim/kontrat testleri ile maliyetli LLM eval testlerini katmanlı CI hattında ayırmak
- Pull request üzerine otomatik kalite, gecikme ve maliyet farkı (diff) raporu yazdırmak
- Güvenlik (prompt injection/PII) ve doğruluk eşiklerine dayalı bloklayıcı quality gate tanımlamak
- Canary ve shadow dağıtımlar ile yeni prompt/model sürümlerini kademeli devreye almak
- Canlı metriklerde bozulma algılandığında otomatik rollback tetiklemek
Konular
AI Uygulamaları için Katmanlı CI/CD Tasarımı
- Commit, PR, staging ve nightly aşamalarında hangi testler koşulmalı?
- Mock/kayıtlı yanıtlar (VCR/cassette) ile canlı LLM çağrılarının dengelenmesi
Statik Kontroller, Kontrat Testleri ve Güvenlik Taraması
- Prompt şablonu sözdizimi, değişken kontrolü ve tool JSON Schema doğrulama
- CI aşamasında otomatik prompt injection ve güvenlik zafiyeti taraması (Promptfoo/Garak)
PR Kalite Kapıları (Quality Gates) ve Diff Raporlama
- Alt-küme (smoke) golden dataset ile PR'da otomatik eval koşumu
- Başarı oranı, TTFT ve token maliyeti değişimini PR yorumu olarak raporlama
Kademeli Dağıtım: Canary, Blue/Green ve Shadow
- Yeni prompt veya model sürümüne trafiğin %5'ini yönlendirme
- Shadow mode ile kullanıcıya göstermeden yeni modeli canlı trafikte sınama
Dağıtım Sonrası Doğrulama ve Otomatik Rollback
- Dağıtım sonrası ilk dakikalarda hata oranı, latency ve guardrail tetiklenme takibi
- Eşik aşımında GitOps/gateway üzerinden önceki kararlı sürüme otomatik dönüş
Bu Kategorideki Diğer Eğitimler
-
LLM uygulamalarında sistematik kalite ölçümü: Promptfoo, DeepEval ve Ragas ile deterministik ve LLM-as-a-judge metrikler, hakem model yanlılıklarını (bias) giderme, insan değerlendirmesiyle kalibrasyon ve kurumsal eval karnesi.
- Canlı Kurs
- 5 modül
-
Büyük ölçekli, hızlı ve tekrarlanabilir LLM evaluation pipeline mühendisliği: asenkron paralel test koşucuları, judge maliyet/önbellek optimizasyonu, veri seti besleme, istatistiksel anlamlılık ve deney karşılaştırma panelleri.
- Canlı Kurs
- 5 modül
-
Canlı LLM trafiğinde sürekli kalite kontrolü: üretim trace'lerinden akıllı örnekleme, kullanıcı gecikmesini etkilemeyen asenkron online evaluator'lar, referanssız halüsinasyon/relevans ölçümü, sorgu kayması (drift) tespiti ve uyarı mekanizmaları.
- Canlı Kurs
- 5 modül
-
Prompt, model veya RAG ayarları değiştiğinde eski çalışan senaryoların bozulmasını önleme: deterministik kontrat testleri, semantik eşdeğerlik, tool-call doğrulaması, snapshot karşılaştırma ve sürüm onay matrisi.
- Canlı Kurs
- 5 modül
-
Çok adımlı LLM, RAG ve agent sistemlerinde derinlemesine gözlemlenebilirlik: OpenTelemetry GenAI standartları, Langfuse ve Arize Phoenix kurulumu, span bazında token/gecikme/maliyet analizi, PII maskeleme ve üretim trace panelleri.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamaları için düşük gecikmeli girdi ve çıktı koruma katmanları (guardrails): prompt injection ve jailbreak engelleme, KVKK uyumlu PII maskeleme, konu sınırlama, halüsinasyon kontrolü ve güvenli tool yetkileri.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
