Eğitimin Amacı ve Kapsamı
Bir prompt veya AI iş akışı geliştirirken 2–3 kolay örnek üzerinde deneyip 'güzel çalışıyor' diyerek canlıya almak (vibe-based testing), gerçek kullanıcıların karmaşık ve bozuk girdileriyle karşılaşıldığında sistemin çökmesine yol açar. Ayrıca prompt'ta yapılan küçük bir değişikliğin eski çalışan senaryoları bozup bozmadığı (regression) ölçülemez.
Bu eğitim, kodlama bilmeyen iş ekipleri ve analistler için sistematik Prompt Değerlendirme (Evals) metodolojisini öğretir. Katılımcılar kuruma özel altın test veri seti (golden dataset) hazırlamayı, objektif puanlama rubrikleri yazmayı, LLM-as-a-Judge ile toplu kalite ölçümü yapmayı ve model/prompt versiyonlarını A/B testiyle karşılaştırmayı uygulamalı olarak öğrenir.
Kimler Katılmalı?
- Kurum içi AI asistanları, prompt şablonları ve otomasyon akışlarının kalitesinden sorumlu ürün sahipleri ve iş analistleri
- Operasyon, müşteri deneyimi, kalite güvence ve içerik standartlarını yöneten ekip liderleri
- Geliştirilen AI çözümlerinin canlıya geçiş onayını (UAT / kabul testi) veren iş birimi uzmanları
- Temel prompt yazımı ve Excel/tablo kullanımı bilgisi yeterlidir
Kazanımlar
- Göz kararı ('vibe check') denemeler yerine tekrarlanabilir ve ölçülebilir değerlendirme (eval) süreci kurmak
- Tipik senaryoları, sınır durumlarını (edge cases) ve sorunlu/kötü niyetli girdileri kapsayan 20–50 örneklik Altın Test Seti oluşturmak
- Doğruluk, tamlık, format uyumu, ton ve kaynak sadakati (faithfulness) için net puanlama rubrikleri tanımlamak
- Deterministik kontroller (uzunluk, yasaklı kelime, şema) ile LLM-as-a-Judge değerlendirmesini birlikte kullanmak
- Prompt revizyonlarında veya yeni bir modele geçişte gerileme (regression) olup olmadığını karşılaştırmalı skor tablosuyla kanıtlamak
Konular
Neden Evals? 'Göz Kararı' Testten Sistematik Ölçüme Geçiş
- Vibe-check tuzağı: 3 örnekte çalışan prompt neden 100 gerçek vakada %30 hata üretir?
- Prompt mühendisliğinde regresyon (regression): Bir hatayı düzeltirken çalışan başka bir kuralı bozmak
- Kurumsal kabul kriteri tanımlama: Bir AI iş akışı ne zaman 'kullanıma hazır' kabul edilir?
Altın Test Seti (Golden Dataset) ve Senaryo Tasarımı
- Dengeli test seti mimarisi: Normal vakalar (%50), zor/belirsiz sınır vakaları (%30) ve tuzak/hatalı girdiler (%20)
- Gerçek geçmiş kayıtlardan anonimleştirilmiş test örnekleri seçme ve sentetik uç vaka (edge case) üretme
- Her test örneği için beklenen referans çıktıyı veya olmazsa olmaz gerçekleri (ground truth / must-have facts) yazma
Değerlendirme Kriterleri, Rubrikler ve LLM-as-a-Judge
- Kural tabanlı (deterministik) kontroller: JSON/tablo formatı, kelime sınırı, zorunlu başlıklar ve yasaklı ifadeler
- Alan uzmanı (SME) puanlama rubriği: 1-5 ölçeği yerine net 'Geçti/Kaldı' (Pass/Fail) kriterleri yazma
- LLM-as-a-Judge tasarımı: Hakem modele yanlılık yapmadan ve insan uzmanla uyumlu puanlama yaptırma
A/B Testi, Hata Analizi ve Sürekli İyileştirme Atölyesi
- Prompt V1 ile Prompt V2'yi (veya iki farklı modeli) aynı test tablosu üzerinde kör testle karşılaştırma
- Hata kümelerini (error buckets) analiz ederek prompt'un hangi senaryolarda neden yanıldığını bulma
- Atölye: Kuruma özel bir görev için 20 vakalık test seti, başarı rubriği ve değerlendirme tablosu hazırlama
Bu Kategorideki Diğer Eğitimler
-
Departmanlar genelinde yüksek performanslı prompt şablonlarını standartlaştırma, kategorize etme, versiyonlama ve yaşayan bir kurumsal prompt kütüphanesine dönüştürme eğitimi.
- Canlı Kurs
- 4 modül
-
Kurumsal yapay zeka asistanlarını ve iş akışlarını doğrudan/dolaylı prompt injection, jailbreak, sistem talimatı sızıntısı ve zararlı çıktılara karşı koruma ve red-teaming yapma eğitimi.
- Canlı Kurs
- 4 modül
-
Prompt ve context hazırlarken ticari sırları, fikri mülkiyeti, müşteri sözleşmelerini ve regüle verileri koruma, güvenli soyutlama (abstraction) ve kurumsal veri paylaşım matrisi uygulama eğitimi.
- Canlı Kurs
- 4 modül
-
Prompt Mühendisliği
Boğaziçi Üniversitesi (BÜYEM) iş birliğiyle: büyük dil modelleriyle ileri düzey komut tasarımı, Chain-of-Thought, n8n ile iş akışı otomasyonu, RAG ve çoklu ajan sistemleri.
- Canlı Kurs
- 6 modül
-
Büyük dil modellerinden ilk denemede doğru, tutarlı ve kurumsal standartlara uygun çıktılar almak için yapılandırılmış prompt anatomisini, zero-shot/few-shot tekniklerini ve iteratif iyileştirmeyi öğreten temel eğitim.
- Canlı Kurs
- 4 modül
-
Gerçek kurumsal senaryolar üzerinde bağlam entegrasyonu, yapılandırılmış veri çıkarımı, çok adımlı görev ayrıştırma ve tekrar kullanılabilir iş akışı promptları geliştirmeye odaklanan uygulamalı eğitim.
- Canlı Kurs
- 4 modül
Bizimle iletişime geçin
