Eğitimin Amacı ve Kapsamı
Bir buton rengini A/B test etmekle yeni bir prompt, RAG stratejisi veya temel modeli canlı trafikte test etmek aynı şey değildir: AI çıktıları stokastiktir, kullanıcılar zamanla prompt yazmayı öğrenir, ilk hafta merak etkisi (novelty effect) metrikleri şişirir ve kalite artarken maliyet/gecikme bozulabilir. Bu eğitim, yapay zeka ürünlerinde bilimsel ve pratik deney tasarımını öğretir.
Katılımcılar çevrimdışı eval kapılarından gölge teste (shadow mode), yan yana karşılaştırma (arena/interleaving) deneylerinden canlı A/B testlerine uzanan süreci kurgular; kendi ürünleri için bir deney ve karar planı hazırlar.
Kimler Katılmalı?
- Ürün yöneticileri (PM), büyüme (growth) ve deney platformu ekipleri
- Veri bilimciler, ürün analistleri ve yapay zeka mühendisleri
- Özellik yayın kararlarını yöneten ürün ve mühendislik liderleri
- Ön koşul: temel A/B testi veya ürün analitiği kavramlarına aşinalık
Kazanımlar
- Pahalı ve yavaş canlı A/B testleri öncesinde çevrimdışı eval ve geri oynatma (replay) ile adayları elemek
- Kullanıcıya göstermeden canlı trafik üzerinde gölge test (shadow deployment) yürütmek
- Model, prompt ve UX değişikliklerinde kullanıcı bazlı ve oturum bazlı rastgeleleştirme (randomization) birimini doğru seçmek
- Merak etkisi (novelty effect), ağır kullanıcı çarpıklığı ve gecikme farklarını istatistiksel olarak kontrol etmek
- Kalite, iş metriği, latency ve maliyeti birlikte değerlendiren yayın (ship/rollback) kuralları yazmak
Konular
AI Deney Hunisi: Offline Eval'den Canlı Trafiğe
- Neden her prompt değişikliği için haftalarca A/B testi beklenmez?
- Hızlı eleme: altın veri seti eval'i → geçmiş trafik replay → gölge mod → canlı A/B
Gölge Dağıtım (Shadow Mode) ve Yan Yana (Pairwise) Testler
- Canlı istekleri arka planda yeni modele gönderip LLM-as-a-judge ile kıyaslama
- Arama/öneri ve yanıtlarda interleaving ve çift seçenekli kullanıcı tercihi toplama
Canlı A/B Testi Tasarımı ve İstatistiksel Tuzaklar
- Rastgeleleştirme birimi seçimi (kullanıcı vs konuşma), örneklem büyüklüğü ve varyans azaltma (CUPED)
- Merak etkisini (novelty) ve öğrenme etkisini (primacy) kohort analiziyle ayırma
Çok Boyutlu Karar: Kalite, Latency ve Maliyet Takası
- Birincil başarı metriği ile koruyucu (guardrail) metriklerin birlikte okunması
- Segment bazlı analiz: yeni kullanıcılar vs uzman kullanıcılar, kolay vs zor sorgular
Atölye: AI Ürün Deney ve Yayın Planı
- Kurum ürününde planlanan bir model/özellik değişikliği için hipotez ve deney kurgusu
- Deney tasarımı, örneklem hesabı ve yayın karar matrisi teslimatı
Bu Kategorideki Diğer Eğitimler
-
Ürün ekipleri için model davranışı ve kalite yönetimi: davranış spesifikasyonu (ton, sınırlar, ret kalıpları), sistematik hata analizi (error analysis), uzman rubrikleri ve sürekli kalite iyileştirme döngüsü.
- Canlı Kurs
- 5 modül
-
Yapay zeka ürünlerinde kalite, gecikme (latency) ve maliyet üçgenini yönetme: model yönlendirme (routing/cascading), prompt/semantik önbellekleme, token bütçesi, algılanan hız UX'i ve marj koruma.
- Canlı Kurs
- 5 modül
-
Yapay zekanın sonradan eklenen bir özellik değil, ürünün ana motoru olduğu AI-native ürün yönetimi: bileşik (compound) AI sistemleri, eval odaklı geliştirme döngüsü, veri çarkları ve yeni nesil PM–mühendis çalışma modeli.
- Canlı Kurs
- 5 modül
-
Kullanıcıların çok adımlı görevleri otonom agent'lara devrettiği ürünler için Agent Experience (AX) ve delegasyon tasarımı: görev brifingi, çalışma planı onayı, asenkron ilerleme takibi, engel çözümü ve çıktı kabulü.
- Canlı Kurs
- 5 modül
-
Canlıdaki yapay zeka ürünlerinde model sürümü geçişleri, prompt güncellemeleri ve araç şeması değişikliklerini sıfır sürprizle yönetme: versiyonlama, regresyon kapıları, kanarya yayın ve geri dönüş (rollback) protokolü.
- Canlı Kurs
- 5 modül
-
Ürün liderleri için yapay zeka ürün stratejisi: değer önerisi ve rekabet üstünlüğü (moat), geliştir–satın al–ortak ol kararları, token/inference birim ekonomisi, fiyatlandırma modelleri ve AI strateji dokümanı.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
