Eğitimin Amacı ve Kapsamı
Standart metin tabanlı RAG sistemleri; PDF'lerdeki grafikleri, mimari diyagramları, ürün görsellerini ve karmaşık tabloları düz metne çevirirken kritik bilgiyi kaybeder. Bu eğitim, görsel ve metinsel içeriği birlikte indeksleyen ve sorgulayan Çok Modlu RAG (Multimodal RAG) mimarilerini derinlemesine ele alır.
Katılımcılar iki temel yaklaşımı uygular: görselleri/tabloları VLM ile zengin özetlere dönüştürerek orijinal görsel referansıyla indeksleme ve ColPali/multimodal embedding modelleriyle doğrudan sayfa görüntüsü üzerinden retrieval yapma. Eğitim sonunda kurum dokümanları üzerinde çalışan bir prototip ve kalite ölçüm planı üretilir.
Kimler Katılmalı?
- Mevcut RAG sistemlerini tablo ve görselleri kapsayacak şekilde geliştiren yapay zeka mühendisleri
- Teknik dokümantasyon, finansal rapor ve katalog arama sistemleri kuran veri/yazılım ekipleri
- Kurumsal bilgi yönetimi mimarları
- Ön koşul: Python ve metin tabanlı RAG/vektör veritabanı deneyimi
Kazanımlar
- Metin, tablo ve görselleri bilgi kaybı olmadan ayrıştırıp parçalara (chunk) ayırmak
- VLM tabanlı görsel/tablo özetleme ile multi-vector indeksleme yapısını kurmak
- ColPali ve çok modlu embedding modelleriyle OCR'sız görsel sayfa araması uygulamak
- Sorgu anında ilgili sayfa ve diyagram görüntülerini VLM context'ine besleyerek yanıt üretmek
- Çok modlu retrieval ve yanıt doğruluğunu ölçen bir değerlendirme seti hazırlamak
Konular
Klasik RAG Neden Görsel Dokümanlarda Yetersiz Kalır?
- Tablo, grafik, akış şeması ve teknik resimlerde bilgi kaybı
- Multimodal RAG mimari seçeneklerinin karşılaştırması
Çok Modlu Ayrıştırma ve Multi-Vector İndeksleme
- Metin, tablo (HTML/Markdown) ve görsel bölgeleri ayırma
- VLM ile görsel/tablo açıklaması üretip ham görselle birlikte saklama
Görsel Embedding'ler ve ColPali Yaklaşımı
- CLIP/SigLIP ve late-interaction tabanlı ColPali/ColQwen modelleri
- Karmaşık PDF sayfalarını OCR adımı olmadan doğrudan indeksleme
Hibrit Retrieval, Reranking ve Yanıt Üretimi
- Metin ve görsel sonuçları birleştirme ve multimodal reranking
- Seçilen görsel/sayfa kesitlerini VLM'e vererek kaynak gösterimli yanıt üretme
Çok Modlu RAG Değerlendirme ve Optimizasyon
- Görsel/tablo sorularından oluşan test veri seti hazırlama
- Retrieval recall, yanıt doğruluğu, depolama ve latency dengesi
Bu Kategorideki Diğer Eğitimler
-
LLM tabanlı yazılı ve sesli asistanlar için konuşma tasarımı (conversation design): persona ve ton kuralları, çok turlu diyalog akışı, belirsizlik giderme, onarım stratejileri ve canlı temsilciye devir deneyimi.
- Canlı Kurs
- 5 modül
-
Müşteri hizmetleri ve çağrı merkezleri için bilgi tabanı (RAG), CRM/sipariş araçları ve politika kurallarıyla çalışan akıllı müşteri temsilcisi tasarımı, temsilci asistanı (agent assist) ve canlıya geçiş mimarisi.
- Canlı Kurs
- 5 modül
-
Kurumsal sesli yapay zeka uygulamaları için Speech-to-Text (STT), LLM ve Text-to-Speech (TTS) boru hatları: Whisper, Deepgram, ElevenLabs ve Cartesia ile düşük gecikmeli ses işleme, akustik zorluklar ve telefon entegrasyonu.
- Canlı Kurs
- 5 modül
-
Ses, görüntü ve ekran paylaşımıyla anlık etkileşime giren gerçek zamanlı yapay zeka asistanları: çift yönlü akış, söz kesme (barge-in), canlı kamera/ekran bağlamı, anlık araç çağırma ve kesintisiz oturum yönetimi.
- Canlı Kurs
- 5 modül
-
Ekran görüntüsü algılama, koordinat tahmini ve klavye/fare eylemleriyle masaüstü ve tarayıcı ortamlarını kullanan computer use sistemleri: Claude Computer Use, OpenAI CUA, sandbox sanal makineler ve güvenli yürütme.
- Canlı Kurs
- 5 modül
-
API sunmayan web portalleri ve kurumsal ekranlarda görev yürüten arayüz agent'ları: Playwright, Stagehand ve Browserbase ile DOM + görsel algılama (Set-of-Marks), oturum yönetimi ve dayanıklı web otomasyonu.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
