Eğitimin Amacı ve Kapsamı
Kurumsal otomasyonda hem çok sütunlu teknik dokümanları hem de karmaşık masaüstü/web uygulama ekranlarını aynı anda anlamak gerekir; ancak genel amaçlı VLM'ler küçük ikonları, yoğun veri tablolarını ve tıklanabilir koordinatları tek başına şaşırabilir. Bu ileri seviye program, belge ve ekran anlamayı (document & screen understanding) ortak bir görsel-yapısal problem olarak ele alır.
Katılımcılar OmniParser, Qwen-VL, Florence-2 ve Docling kullanarak UI bileşen tespiti, ikon/buton anlamlandırma, Set-of-Marks (SoM) koordinat eşleme ve yoğun tablo/diyagram okuma boru hatları kurar; kurum ekranları ve belgeleri üzerinde çalışan bir prototip geliştirir.
Kimler Katılmalı?
- Computer use, RPA ve belge otomasyonu motorları geliştiren yapay zeka mühendisleri
- Bilgisayarlı görü (computer vision) ve multimodal model geliştiricileri
- Ar-Ge ve kurumsal otomasyon platform ekipleri
- Ön koşul: Python, görüntü işleme temelleri ve VLM/LLM API deneyimi
Kazanımlar
- Uygulama ekranlarındaki etkileşimli öğeleri (buton, ikon, metin alanı, tablo hücresi) yüksek hassasiyetle tespit etmek
- OmniParser ve Set-of-Marks ile piksel koordinatlarını semantik etiketlere dönüştürmek
- DOM/erişilebilirlik ağacı olmayan uzak masaüstü (Citrix/RDP) ekranlarını görsel olarak ayrıştırmak
- Ekran içindeki gömülü PDF, grafik ve yoğun tabloları yapılandırılmış şemalara dönüştürmek
- Koordinat isabet oranı (pointing accuracy), bileşen tanıma ve gecikme metriklerini ölçmek
Konular
Görsel-Metinsel Arayüzlerin Anatomisi: Belgeler ve Ekranlar
- Doğal fotoğraflar ile yoğun metin/grafik içeren ekran ve belgelerin farkı
- Çözünürlük, küçük yazı tipleri, ikonlar ve hiyerarşik mizanpaj zorlukları
Ekran Ayrıştırma (Screen Parsing) ve OmniParser
- Etkileşimli bölge tespiti ve küçük ikonların işlevini açıklama
- Set-of-Marks (SoM) ve yapılandırılmış ekran durumu (screen state) üretimi
Koordinat Tahmini (Grounding) ve Uzamsal Modeller
- Qwen-VL, UI-TARS ve özel grounding modelleriyle tıklama noktası bulma
- Çoklu monitör, kaydırma çubuğu (scrollbar) ve açılır menü durumlarını çözme
Yoğun Belge, Tablo ve Teknik Şema Anlama
- Uygulama içinde açılan PDF, fatura ve mühendislik çizimlerini okuma
- Hücre birleşimleri, form alanları ve grafik değerlerini çapraz doğrulama
Uçtan Uca Uygulama ve Doğruluk Kıyaslaması
- Kurumsal ERP/belge ekranları üzerinde birleşik algılama prototipi
- ScreenSpot/DocVQA tarzı kurum içi değerlendirme ve latency ölçüm planı
Bu Kategorideki Diğer Eğitimler
-
Görsel, belge, ses ve video işleyen çok modlu sistemler için değerlendirme mühendisliği: OCR/çıkarım metrikleri, grounding IoU, sesli WER/MOS ve sıra alma ölçümü, VLM-as-a-judge ve regresyon boru hatları.
- Canlı Kurs
- 5 modül
-
Metin, görsel, ses ve videoyu birlikte anlayan ve üreten çok modlu yapay zeka modellerine kapsamlı giriş: model aileleri, kurumsal kullanım senaryoları, yetenek sınırları, maliyet/gecikme karşılaştırması ve model seçimi.
- Canlı Kurs
- 5 modül
-
Metin, görsel, ses ve belge girdilerini birleştiren kurumsal uygulamaların uçtan uca tasarımı: medya ön işleme, structured output, hibrit model yönlendirme ve maliyet/gecikme optimizasyonu.
- Canlı Kurs
- 5 modül
-
Karmaşık PDF, fatura, sözleşme, tablo ve formlardan VLM'ler ve modern belge ayrıştırma araçlarıyla yüksek doğruluklu veri çıkarma: mizanpaj anlama, şema doğrulama, kanıt eşleme ve insan onaylı iş akışı.
- Canlı Kurs
- 5 modül
-
Tablo, grafik, diyagram ve görseller içeren kurumsal dokümanlar üzerinde Çok Modlu RAG (Multimodal RAG) mimarisi: görsel-metin indeksleme, ColPali/görüntü embedding'leri, hibrit retrieval ve görsel kanıtlı yanıt üretimi.
- Canlı Kurs
- 5 modül
-
LLM tabanlı yazılı ve sesli asistanlar için konuşma tasarımı (conversation design): persona ve ton kuralları, çok turlu diyalog akışı, belirsizlik giderme, onarım stratejileri ve canlı temsilciye devir deneyimi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
