Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Offline test setinde yüksek puan alan yeni bir prompt veya model, canlıya çıktığında kullanıcı memnuniyetini düşürebilir; çünkü statik veri setleri gerçek kullanıcı etkileşiminin tamamını yansıtmaz. Bu eğitim, dağıtım öncesi offline değerlendirme ile canlı ortamdaki online deney ve ölçüm yöntemlerini birbirine bağlayan bütünsel karar çerçevesini öğretir.

Katılımcılar offline metriklerin gerçek kullanıcı davranışıyla (kabul oranı, görev tamamlama, konuşma süresi) korelasyonunu ölçer; shadow mode, özellik bayraklı A/B testi ve multi-armed bandit/canary stratejileriyle yeni model sürümlerini canlıda güvenle doğrular.

Kimler Katılmalı?

  • LLM ürünlerinde model ve özellik deneyleri yürüten veri bilimciler ve AI mühendisleri
  • Ürün başarısını ve A/B testlerini yöneten teknik ürün yöneticileri ve büyüme/analitik ekipleri
  • Güvenli sürüm geçişi altyapısı kuran LLMOps ve platform mühendisleri
  • Ön koşul: temel LLM evaluation kavramları ve temel olasılık/istatistik bilgisi

Kazanımlar

  • Offline eval metrikleri ile canlı ürün/iş KPI'ları arasındaki uyumu (korelasyonu) analiz etmek
  • Shadow (dark) deployment ile aday modeli canlı trafikte kullanıcıya göstermeden değerlendirmek
  • Sohbet, RAG ve öneri/kod asistanlarında istatistiksel olarak geçerli A/B deneyleri kurgulamak
  • Online hakem skorları, örtük kullanıcı sinyalleri ve iş metriklerini tek bir deney karnesinde birleştirmek
  • Offline–online sapmalarını tespit ederek offline golden dataset'i gerçek dünyaya yaklaştırmak

Konular

Offline ve Online Değerlendirme Döngüsünün Bütünlüğü
  • Offline eval (hızlı, güvenli, tekrarlanabilir) ile online eval (gerçek kullanıcı, gerçek dağılım) tamamlayıcılığı
  • Neden offline metrik artarken canlı kullanıcı memnuniyeti düşebilir? (Goodhart Yasası)
Shadow (Dark) Deployment ve Canlı Trafik Replay
  • Canlı istekleri arka planda aday modele klonlayıp prod yanıtıyla pairwise karşılaştırma
  • Yan etkisiz (read-only) shadow test ve araç çağıran agent'larda shadow sınırları
LLM Uygulamalarında A/B Testi Tasarımı
  • İstek bazlı değil kullanıcı/oturum (session) bazlı trafik bölme ve örneklem büyüklüğü hesabı
  • Birincil metrik (görev çözümü, kabul oranı) ve koruyucu metrikler (latency, maliyet, guardrail oranı)
Açık ve Örtük Online Başarı Sinyalleri
  • Thumbs up/down seyrekliği: kopyalama, düzenleme mesafesi (edit distance), yeniden sorma ve insan desteğe devir sinyalleri
  • Online LLM-as-a-judge skorlarını kullanıcı davranış sinyalleriyle birleştirme
Offline–Online Kalibrasyonu ve Karar Çerçevesi
  • Offline kazanan ama online kaybeden deneylerin kök neden analizi
  • Eksik kalan gerçek dünya senaryolarını offline golden set'e ekleyerek korelasyonu güçlendirme

Bu Kategorideki Diğer Eğitimler

  • LLM Ürünlerinde Geri Bildirim Döngüleri (Feedback Loops ve Data Flywheel)

    Üretimdeki LLM uygulamalarında kullanıcı etkileşimlerini sürekli iyileştirmeye dönüştürme: açık ve örtük geri bildirim yakalama, trace-bağlantılı puanlama, uzman düzeltme kuyrukları ve veriden eval/fine-tuning çarkı (data flywheel).

    LLMOps ve Üretim Ortamında Yapay Zeka Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • LLMOps Temelleri

    Prototip aşamasındaki LLM uygulamalarını üretime taşımanın temelleri: klasik MLOps ile LLMOps farkları, prompt/model versiyonlama, temel tracing, eval seti oluşturma, guardrail katmanı ve üretime geçiş kontrol listesi.

    LLMOps ve Üretim Ortamında Yapay Zeka Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Baştan Sona LLMOps: Üretim Mimarisi ve Uygulaması

    Bir LLM uygulamasını uçtan uca üretim disiplinine kavuşturma: LiteLLM gateway, Langfuse/Phoenix tracing, otomatik eval ve regression testleri, CI/CD kalite kapıları, guardrail katmanları ve canlı geri bildirim döngüsü.

    LLMOps ve Üretim Ortamında Yapay Zeka Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Prompt, Model, Tool ve Veri Versiyonlama

    LLM uygulamalarında tam tekrarlanabilirlik (reproducibility): Langfuse/MLflow Prompt Registry ve Git ile prompt sürümleme, model/LoRA ve tool şeması versiyonlama, RAG/eval veri seti snapshot'ları ve güvenli rollback.

    LLMOps ve Üretim Ortamında Yapay Zeka Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Model Ağ Geçidi ve Yönlendirme (Model Gateway ve Routing)

    LiteLLM ve kurumsal AI gateway'ler ile tüm bulut ve kurum içi LLM'leri tek OpenAI uyumlu katmanda toplama: otomatik fallback, yük dengeleme, karmaşıklığa göre model yönlendirme, sanal anahtarlar ve bütçe/rate limit kontrolü.

    LLMOps ve Üretim Ortamında Yapay Zeka Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Yapay Zeka Uygulamaları için CI/CD

    LLM ve RAG uygulamaları için GitHub Actions/GitLab CI tabanlı CI/CD hatları: PR aşamasında hızlı smoke/eval testleri, deterministik ve model-graded kalite kapıları, maliyet/gecikme bütçesi kontrolü, canary dağıtım ve otomatik rollback.

    LLMOps ve Üretim Ortamında Yapay Zeka Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin