Eğitimin Amacı ve Kapsamı
LLM projelerinde en sık yaşanan kabus, yeni bir hatayı düzeltmek için yapılan prompt değişikliğinin daha önce kusursuz çalışan 10 farklı senaryoyu sessizce bozmasıdır (whack-a-mole). Ayrıca model sağlayıcıların model sürümlerini güncellemesi veya kurum içi yeni bir quantized modele geçiş de beklenmedik davranış farkları yaratır. Bu eğitim, LLM sistemleri için sistematik regression test setleri tasarlamayı ve işletmeyi öğretir.
Katılımcılar pytest, Promptfoo ve DeepEval kullanarak deterministik kuralları, semantik benzerlik eşiklerini ve beklenen tool çağrısı kontratlarını birleştiren bir regression test paketi yazar ve model/prompt geçişlerini güvenli hale getirir.
Kimler Katılmalı?
- LLM uygulamalarını geliştiren ve bakımını yapan yazılım ve yapay zeka mühendisleri
- Test otomasyonunu GenAI sistemlerine genişleten QA ve test otomasyon mühendisleri
- Model yükseltme ve sağlayıcı geçişlerini yöneten teknik liderler
- Ön koşul: Python, pytest temelleri ve temel LLM uygulama bilgisi
Kazanımlar
- Kritik iş kurallarını, sınır durumları ve geçmiş üretim hatalarını kapsayan regression seti kurmak
- Kelime kelimesine aynı olmayan ama anlamca doğru yanıtları doğrulayan esnek assertion'lar yazmak
- Agent ve function calling akışlarında doğru aracın doğru argümanlarla çağrıldığını test etmek
- Model yükseltmelerinde (ör. yeni açık model veya yeni API sürümü) yan yana regression analizi yapmak
- Yalnızca kabul edilebilir sapma sınırları içinde kalan sürümlere onay veren kalite kapısı işletmek
Konular
LLM Sistemlerinde Regression Kaynakları
- Prompt düzenlemeleri, model snapshot değişimleri, RAG chunk/top-k ayarları ve tool güncellemeleri
- Kırılgan string eşleşmesi (exact match) yerine katmanlı doğrulama piramidi
Deterministik ve Yapısal Assertion Tasarımı
- JSON Schema, Pydantic doğrulaması, regex, yasaklı ifadeler ve uzunluk sınırları
- Kaynak atıfı (citation), sayısal tutarlılık ve dil/format değişmezleri (invariants)
Semantik Eşdeğerlik ve RAG/Agent Kontrat Testleri
- Embedding cosine similarity, NLI (entailment) ve fact-level rubriklerle anlam kontrolü
- Beklenen retrieval doküman ID'leri ve agent tool çağrı dizisi (trajectory) doğrulaması
Model Göçü (Migration) ve Yan Yana Karşılaştırma
- Mevcut üretim modeli (baseline) ile aday modeli aynı regression setinde koşma
- Win/tie/loss matrisi, bozulan örneklerin (regressions) kök neden incelemesi
Yaşayan Regression Seti Yönetimi
- Her çözülen üretim hatası için 'bir daha asla bozulmasın' testi ekleme disiplini
- Test seti şişkinliğini önleme, etiketleme (smoke vs full) ve sürüm onay raporu
Bu Kategorideki Diğer Eğitimler
-
Çok adımlı LLM, RAG ve agent sistemlerinde derinlemesine gözlemlenebilirlik: OpenTelemetry GenAI standartları, Langfuse ve Arize Phoenix kurulumu, span bazında token/gecikme/maliyet analizi, PII maskeleme ve üretim trace panelleri.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamaları için düşük gecikmeli girdi ve çıktı koruma katmanları (guardrails): prompt injection ve jailbreak engelleme, KVKK uyumlu PII maskeleme, konu sınırlama, halüsinasyon kontrolü ve güvenli tool yetkileri.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamalarında çok katmanlı önbellekleme ile maliyet ve gecikmeyi düşürme: sağlayıcı/vLLM prompt caching, Redis ile exact cache, vektör tabanlı semantic caching, kiracı izolasyonu ve cache invalidation.
- Canlı Kurs
- 5 modül
-
Çok adımlı LLM, RAG ve agent uygulamalarında uçtan uca gecikme (E2E latency) yönetimi: SSE streaming UX, paralel retrieval/guardrail/tool yürütme, çıktı daraltma, P95/P99 kuyruk gecikmesi ve hedged request desenleri.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM ve agent sistemlerine özgü olay yönetimi: halüsinasyon dalgası, prompt injection/veri sızıntısı, sonsuz agent döngüsü ve sağlayıcı kesintilerine müdahale runbook'ları, kill-switch mekanizması ve AI post-mortem.
- Canlı Kurs
- 5 modül
-
Yönetilen bulut platformları (Azure AI Foundry, Amazon Bedrock, Google Vertex AI) ile kurum içi GPU kümelerini hibrit mimaride birleştirme: veri gizliliğine göre yönlendirme, taşınabilir kontratlar, ağ güvenliği ve felaket kurtarma.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
