Eğitimin Amacı ve Kapsamı
Klasik yazılım testinde aynı girdi her zaman aynı çıktıyı verir ve assertEquals yeterlidir; ancak LLM, RAG ve agent tabanlı sistemlerde yanıtlar olasılıksaldır, küçük bir prompt veya model değişikliği beklenmedik halüsinasyonlara yol açabilir. Bu eğitim, QA ve test mühendislerine yapay zeka sistemlerini ölçülebilir kriterlerle test etme yetkinliği kazandırır.
Altın test veri seti (golden dataset) ve sentetik senaryo üretimi, deterministik şema/kural kontrolleri, RAG üçlüsü (sadakat, bağlam isabeti, yanıt ilgililiği), LLM-as-a-Judge puanlayıcılarının kalibrasyonu, agent tool-call yörünge testleri ve Promptfoo/DeepEval/Ragas ile CI/CD kalite kapıları uygulamalı olarak çalışılır.
Kimler Katılmalı?
- QA mühendisleri, test otomasyon uzmanları ve SDET'ler
- Kalite güvence takım liderleri ve test mimarları
- Kurum içi LLM, chatbot, RAG veya AI agent ürünlerini doğrulayan ekipler
- Ön koşul: Yazılım test metodolojileri ve temel test otomasyonu deneyimi
Kazanımlar
- Deterministik olmayan AI özellikleri için kabul kriterleri ve istatistiksel geçiş eşikleri tanımlar
- Gerçek kullanıcı sorgularını, kenar durumları ve kötü niyetli girdileri kapsayan altın veri seti kurar
- RAG sistemlerinde hatanın erişimden mi (retrieval) yoksa üretimden mi (generation) kaynaklandığını ayırır
- LLM-as-a-Judge değerlendiricilerini insan etiketleriyle hizalayarak tutarlı puanlama yapar
- Promptfoo veya DeepEval ile her PR'da çalışan halüsinasyon, güvenlik ve gecikme regresyon testleri kurar
Konular
Deterministik Olmayan Sistemlerde Test Paradigması
- Bire bir metin eşleşmesinin neden çalışmadığı; kural tabanlı, semantik ve rubrik tabanlı doğrulama
- AI test piramidi: birim (prompt/bileşen), entegrasyon (RAG/tool) ve uçtan uca konuşma testleri
Altın Veri Seti (Golden Dataset) ve Sentetik Test Üretimi
- Normal akış, eksik bağlam, yanıltıcı soru, çok dilli ve çok turlu (multi-turn) test vakaları
- Üretim loglarından anonimleştirilmiş regresyon vakalarını test setine ekleme
RAG ve Bilgi Erişim Sistemlerinin Testi
- Retrieval metrikleri (Hit Rate, MRR, Context Recall/Precision) ve parçalama hatalarının tespiti
- Üretim metrikleri: Kaynağa sadakat (faithfulness/groundedness), halüsinasyon ve 'bilmiyorum' davranışı
Agent Davranışı, LLM-as-a-Judge ve Güvenlik (Red Teaming) Testleri
- Agent'ın doğru tool'u doğru parametrelerle çağırıp çağırmadığını (trajectory evaluation) test etme
- OWASP LLM Top 10: Prompt injection, PII sızıntısı, jailbreak ve kapsam dışı yanıt testleri
Promptfoo / DeepEval ile CI/CD Otomasyonu ve Sürüm Onayı
- Prompt, model veya sıcaklık değiştiğinde çalışan karşılaştırmalı regresyon matrisi
- Maliyet, token, gecikme (TTFT/p95) ve doğruluk eşikleriyle yayın onay raporu
Bu Kategorideki Diğer Eğitimler
-
SRE, DevOps ve BT operasyon ekipleri için alarm gürültüsü azaltma, log/metrik/OpenTelemetry iz korelasyonu, son dağıtım (change) analizi, insan onaylı runbook otomasyonu ve post-mortem hazırlama eğitimi.
- Canlı Kurs
- 5 modül
-
Yazılım ekiplerini temel IDE kod tamamlama kullanımından bağlam mühendisliği, çok dosyalı düzenleme ve test doğrulamalı otonom coding agent iş akışlarına taşıyan hızlandırılmış geçiş programı.
- Canlı Kurs
- 4 modül
-
AGENTS.md, CLAUDE.md, .cursor/rules ve .github/copilot-instructions.md dosyalarını modüler, kapsam bazlı (glob-scoped) ve test edilebilir biçimde tasarlayarak tüm coding agent'ların kurum standartlarında kod yazmasını sağlama eğitimi.
- Canlı Kurs
- 5 modül
-
Kod yazmadan önce yapılandırılmış spesifikasyonları (SPEC.md, OpenAPI, JSON Schema, TypeSpec, durum makineleri ve yürütülebilir kabul testleri) birincil mühendislik çıktısı haline getirerek coding agent'larla deterministik yazılım üretme eğitimi.
- Canlı Kurs
- 5 modül
-
Yazılım mühendislerinin en çok zaman harcadığı üç ana iş yükünü—uçtan uca yeni özellik geliştirme, çok dosyalı büyük refactoring ve framework/kütüphane/veritabanı versiyon geçişlerini—coding agent ve codemod araçlarıyla yürütme eğitimi.
- Canlı Kurs
- 5 modül
-
Playwright MCP, tarayıcı kullanan QA agent'ları, kendi kendini onaran (self-healing) E2E testler ve otonom keşif (exploratory) testleriyle kullanıcı yolculuklarını ve API akışlarını doğrulama eğitimi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
