Eğitimin Amacı ve Kapsamı
Çok modlu uygulamalarda hata yalnızca metin üretiminden kaynaklanmaz; bulanık bir görüntüde yanlış okunan tek bir rakam, ses akışında yutulan bir olumsuzluk eki veya videoda kaçırılan bir saniye tüm çıktıyı bozabilir. Bu eğitim, görsel, belge, ses ve video boru hatlarını hem bileşen hem uçtan uca düzeyde ölçme yöntemlerini öğretir.
Katılımcılar belge çıkarım doğruluğu (ANLS, TEDS, alan bazlı F1), görsel konumlandırma (IoU), ses kalitesi ve gecikmesi (WER, WERR, MOS, TTFB) ile VLM-as-a-judge değerlendiricilerini kodlar; kurumlarının çok modlu uygulaması için otomatik bir eval paketi ve ölçüm planı oluşturur.
Kimler Katılmalı?
- Çok modlu sistemler geliştiren yapay zeka, bilgisayarlı görü ve ses mühendisleri
- LLMOps, kalite güvence (QA) ve değerlendirme altyapısı ekipleri
- Teknik ürün yöneticileri ve veri bilimciler
- Ön koşul: Python ve temel model/LLM değerlendirme aşinalığı
Kazanımlar
- Algılama (OCR/STT/vision) hataları ile akıl yürütme (LLM) hatalarını birbirinden ayıran metrikler kurmak
- Belge ve tablo çıkarımında alan bazlı F1, TEDS ve koordinat IoU metriklerini otomatik hesaplamak
- Sesli asistanlarda özel isim tanıma (WERR), kesme oranı ve aşama bazlı latency dağılımını ölçmek
- Görsel ve sesli çıktıları değerlendiren VLM/Audio-LLM yargıçlarını insan etiketleriyle kalibre etmek
- Sentetik bozulma (gürültü, sıkıştırma, döndürme) testleriyle model dayanıklılığını doğrulamak
Konular
Çok Modlu Hata Taksonomisi: Algılama vs Akıl Yürütme
- Hata nerede oluştu? Medya kalitesi, encoder/OCR/STT veya LLM yorumlama katmanı
- Bileşen bazlı (component-level) ve uçtan uca (end-to-end) eval mimarisi
Görsel, Ekran ve Belge Değerlendirme Metrikleri
- Yapılandırılmış alan F1, ANLS, tablo yapısı için TEDS ve konum için IoU/pointing doğruluğu
- Görsel halüsinasyon (olmayan nesneyi/yazıyı uydurma) tespit testleri
Ses ve Gerçek Zamanlı Diyalog Değerlendirmesi
- WER'in ötesi: özel terim/rakam hatası (Keyterm/Entity WER) ve semantik doğruluk
- MOS/UTMOS ses doğallığı, turn-taking gecikmesi (p50/p95) ve yanlış kesme oranı
VLM-as-a-Judge ve Sentetik Dayanıklılık Testleri
- Görsel ve çok modlu çıktılar için rubrik tabanlı yargıç prompt'ları ve kalibrasyon
- Görüntü bulanıklığı, JPEG sıkıştırma ve akustik arka plan gürültüsü enjeksiyonu
Otomatik Eval Pipeline'ı ve Ölçüm Planı
- Medya veri setlerinin versiyonlanması ve maliyet/hız/kalite Pareto analizi
- Kurum vakası için CI/CD multimodal eval paketi
Bu Kategorideki Diğer Eğitimler
-
Metin, görsel, ses ve videoyu birlikte anlayan ve üreten çok modlu yapay zeka modellerine kapsamlı giriş: model aileleri, kurumsal kullanım senaryoları, yetenek sınırları, maliyet/gecikme karşılaştırması ve model seçimi.
- Canlı Kurs
- 5 modül
-
Metin, görsel, ses ve belge girdilerini birleştiren kurumsal uygulamaların uçtan uca tasarımı: medya ön işleme, structured output, hibrit model yönlendirme ve maliyet/gecikme optimizasyonu.
- Canlı Kurs
- 5 modül
-
Karmaşık PDF, fatura, sözleşme, tablo ve formlardan VLM'ler ve modern belge ayrıştırma araçlarıyla yüksek doğruluklu veri çıkarma: mizanpaj anlama, şema doğrulama, kanıt eşleme ve insan onaylı iş akışı.
- Canlı Kurs
- 5 modül
-
Tablo, grafik, diyagram ve görseller içeren kurumsal dokümanlar üzerinde Çok Modlu RAG (Multimodal RAG) mimarisi: görsel-metin indeksleme, ColPali/görüntü embedding'leri, hibrit retrieval ve görsel kanıtlı yanıt üretimi.
- Canlı Kurs
- 5 modül
-
LLM tabanlı yazılı ve sesli asistanlar için konuşma tasarımı (conversation design): persona ve ton kuralları, çok turlu diyalog akışı, belirsizlik giderme, onarım stratejileri ve canlı temsilciye devir deneyimi.
- Canlı Kurs
- 5 modül
-
Müşteri hizmetleri ve çağrı merkezleri için bilgi tabanı (RAG), CRM/sipariş araçları ve politika kurallarıyla çalışan akıllı müşteri temsilcisi tasarımı, temsilci asistanı (agent assist) ve canlıya geçiş mimarisi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
