Eğitimin Amacı ve Kapsamı
En başarılı kurumsal yapay zeka ürünleri ilk gün en iyi modeli kullananlar değil, gerçek kullanıcıların her gün yaptığı düzeltmelerden ve etkileşimlerden en hızlı öğrenenlerdir. Yalnızca sohbet kutusunun altına 👍/👎 ikonu koymak ise kullanıcıların büyük çoğunluğunun tıklamaması nedeniyle yetersiz kalır. Bu eğitim, kullanıcı deneyimine doğal olarak yerleşen geri bildirim mekanizmaları ve 'Data Flywheel' (veri çarkı) mimarisi kurmayı öğretir.
Katılımcılar açık ve örtük geri bildirimleri trace ID'leriyle eşleştiren, hatalı yanıtları insan inceleme/düzeltme kuyruğuna düşüren ve onaylanan düzeltmeleri otomatik olarak dinamik few-shot, RAG bilgi bankası, golden eval seti ve fine-tuning verisine dönüştüren bir boru hattı inşa eder.
Kimler Katılmalı?
- LLM tabanlı ürün ve iç asistanlar geliştiren yazılım ve yapay zeka mühendisleri
- Kullanıcı geri bildiriminden sürekli öğrenen sistemler tasarlayan teknik ürün yöneticileri
- Veri çarkı (data flywheel) ve değerlendirme altyapısını kuran LLMOps/veri bilimi ekipleri
- Ön koşul: Python, temel LLM uygulama mimarisi ve tracing kavramları
Kazanımlar
- Yüksek katılım sağlayan açık (explicit) ve sürtünmesiz örtük (implicit) geri bildirim sinyalleri tasarlamak
- Kullanıcı geri bildirimlerini Langfuse/Phoenix üzerinde ilgili trace ve span'lere doğrudan bağlamak
- Örtük davranış sinyallerinden (düzenleme mesafesi, kopyalama, vazgeçme, yeniden sorma) memnuniyet skoru türetmek
- Hatalı üretim örneklerini triyajlayıp alan uzmanlarının düzeltebileceği annotation kuyruğu kurmak
- Doğrulanmış insan düzeltmelerini eval setine, dinamik few-shot havuzuna ve SFT/DPO veri setine dönüştürmek
Konular
Açık (Explicit) ve Örtük (Implicit) Geri Bildirim Tasarımı
- Neden thumbs-up/down tek başına yetmez? Kategorili hata etiketleri ve satır içi düzeltme UX'i
- Örtük sinyaller: öneriyi kabul/reddetme, metin düzenleme oranı (edit distance), kaynak tıklama ve oturumu terk etme
Trace-Bağlantılı Telemetri ve Olay Toplama
- İstemciye dönen
trace_id/message_idüzerinden asenkron geri bildirim API'si - Langfuse ve Arize Phoenix Score API'leri ile kullanıcı ve sistem sinyallerini birleştirme
Triyaj, Kümelenme ve İnsan Düzeltme Kuyrukları (HITL)
- Negatif geri bildirim alan konuşmaları kök nedene göre gruplama (eksik doküman, prompt hatası, model sınırı)
- Alan uzmanlarının (SME) yanlış yanıtı düzeltip onayladığı hafif inceleme iş akışı
Hızlı İyileştirme: Dinamik Few-Shot ve Bilgi Bankası Güncelleme
- Onaylanan (soru -> ideal yanıt) çiftlerini vektör aramayla dinamik few-shot örnek olarak prompt'a ekleme
- Tekrarlayan bilgi boşluklarını (knowledge gaps) RAG doküman sahibine görev olarak atama
Uzun Vadeli Veri Çarkı: Eval, SFT ve Tercih Verisi (DPO)
- Düzeltilen hataları kalıcı regression testine ve golden dataset'e otomatik aktarma
- (Kötü model yanıtı vs uzman düzeltmesi) çiftlerinden KVKK uyumlu SFT ve DPO eğitim verisi hazırlama
Bu Kategorideki Diğer Eğitimler
-
Prototip aşamasındaki LLM uygulamalarını üretime taşımanın temelleri: klasik MLOps ile LLMOps farkları, prompt/model versiyonlama, temel tracing, eval seti oluşturma, guardrail katmanı ve üretime geçiş kontrol listesi.
- Canlı Kurs
- 5 modül
-
Bir LLM uygulamasını uçtan uca üretim disiplinine kavuşturma: LiteLLM gateway, Langfuse/Phoenix tracing, otomatik eval ve regression testleri, CI/CD kalite kapıları, guardrail katmanları ve canlı geri bildirim döngüsü.
- Canlı Kurs
- 5 modül
-
LLM uygulamalarında tam tekrarlanabilirlik (reproducibility): Langfuse/MLflow Prompt Registry ve Git ile prompt sürümleme, model/LoRA ve tool şeması versiyonlama, RAG/eval veri seti snapshot'ları ve güvenli rollback.
- Canlı Kurs
- 5 modül
-
LiteLLM ve kurumsal AI gateway'ler ile tüm bulut ve kurum içi LLM'leri tek OpenAI uyumlu katmanda toplama: otomatik fallback, yük dengeleme, karmaşıklığa göre model yönlendirme, sanal anahtarlar ve bütçe/rate limit kontrolü.
- Canlı Kurs
- 5 modül
-
LLM ve RAG uygulamaları için GitHub Actions/GitLab CI tabanlı CI/CD hatları: PR aşamasında hızlı smoke/eval testleri, deterministik ve model-graded kalite kapıları, maliyet/gecikme bütçesi kontrolü, canary dağıtım ve otomatik rollback.
- Canlı Kurs
- 5 modül
-
LLM uygulamalarında sistematik kalite ölçümü: Promptfoo, DeepEval ve Ragas ile deterministik ve LLM-as-a-judge metrikler, hakem model yanlılıklarını (bias) giderme, insan değerlendirmesiyle kalibrasyon ve kurumsal eval karnesi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
