Eğitimin Amacı ve Kapsamı
Ürün katalogları, teknik çizimler, saha fotoğrafları ve raporlar hem görsel hem metinsel bilgi taşır; bunları ayrı modellerle işlemek bağlam kaybına yol açar. Bu eğitim, CLIP ve SigLIP gibi contrastive modellerle ortak embedding uzayı kurmaktan başlayarak Qwen2.5-VL, LLaVA, InternVL ve bulut tabanlı multimodal LLM'lerin (GPT-4o, Claude, Gemini) mimarisini ve kullanımını kapsar.
Zero-shot sınıflandırma, görsel-metinsel arama, şemalı JSON çıkarımı, ColPali ile görsel RAG ve QLoRA ile açık ağırlıklı bir VLM'in kurumsal veriye uyarlanması uygulamalı olarak çalışılır. Katılımcılar kendi verileri üzerinde çalışan bir multimodal arama veya görsel asistan prototipi geliştirir.
Kimler Katılmalı?
- Görüntü ve doğal dil işlemeyi birleştiren ürünler geliştiren yapay zeka mühendisleri
- E-ticaret, katalog yönetimi, medya arşivi ve teknik dokümantasyon üzerinde çalışan veri bilimciler
- Kurumsal RAG ve agent sistemlerine görsel anlama yeteneği eklemek isteyen LLM geliştiricileri
- Ön koşul: PyTorch, transformer temelleri ve LLM API/eğitim deneyimi
Kazanımlar
- CLIP ve SigLIP ile metinden görüntüye ve görüntüden görüntüye semantik arama kurmak
- Açık ağırlıklı VLM'leri (Qwen2.5-VL, InternVL) vLLM üzerinde yüksek verimle sunmak
- Görsel içerikli PDF, grafik ve diyagramlar üzerinde ColPali/VLM tabanlı multimodal RAG kurgulamak
- Instruction dataset hazırlayıp QLoRA ile bir VLM'i alana özgü görevlere fine-tuning yapmak
- Görsel halüsinasyonları ve grounding hatalarını tespit edip değerlendirme benchmark'ı oluşturmak
Konular
Contrastive Multimodal Temsiller: CLIP ve SigLIP
- Görüntü ve metin encoder'larının ortak embedding uzayında hizalanması
- Zero-shot sınıflandırma, cross-modal retrieval ve vektör veritabanı entegrasyonu
Üretken Vision-Language Mimarileri
- Vision encoder, multimodal projector (MLP, Q-Former) ve LLM omurgası
- Qwen2.5-VL, InternVL ve LLaVA-OneVision'da dinamik çözünürlük ve grounding
Yapılandırılmış Çıkarım ve Multimodal RAG
- Görsellerden, grafiklerden ve ekran görüntülerinden şemalı JSON üretimi
- ColPali ve görsel embedding'lerle karmaşık PDF ve kataloglar üzerinde RAG
VLM Fine-Tuning ve Uyarlama
- Görsel instruction tuning veri seti hazırlama ve sentetik soru-cevap üretimi
- TRL ve PEFT (QLoRA) ile vision projector ve LLM katmanlarının eğitimi
Değerlendirme, Halüsinasyon ve Sunum (Serving)
- Görsel halüsinasyon, OCR hataları ve uzamsal akıl yürütme testleri
- vLLM ile multimodal batching, görüntü token bütçesi ve önbellekleme
Bu Kategorideki Diğer Eğitimler
-
Üretim hatlarında yüzey kusuru tespiti, anomalib (PatchCore, PaDiM, EfficientAd) ile unsupervised anomali yakalama, endüstriyel kamera/aydınlatma seçimi ve PLC entegrasyonu; kalite ve üretim mühendisliği ekipleri için.
- Canlı Kurs
- 5 modül
-
Yatan hasta düşme önleme, yoğun bakım izleme, el hijyeni ve KKD uyumu, ameliyathane cerrahi alet sayımı ve KVKK uyumlu edge anonimleştirme; hastane dijital dönüşüm ve sağlık teknolojisi ekipleri için.
- Canlı Kurs
- 5 modül
-
DICOM/NIfTI işleme, MONAI ve nnU-Net ile BT/MR/röntgen üzerinde 2D/3D lezyon ve organ segmentasyonu, tümör patolojisi (WSI) analizi ve klinik doğrulama; medikal görüntüleme ve biyomedikal yapay zeka ekipleri için.
- Canlı Kurs
- 5 modül
-
Resepsiyon ve lobi kuyruk/yoğunluk analizi, açık büfe tepsi doluluk takibi ve gıda israfı ölçümü, otopark plaka tanıma, havuz/tesis güvenliği ve KVKK uyumlu anonim analitik; turizm ve otelcilik teknoloji ekipleri için.
- Canlı Kurs
- 5 modül
-
ONNX Runtime, TensorRT, OpenVINO ve TFLite ile model dönüştürme, INT8 quantization, NVIDIA Jetson ve Raspberry Pi üzerinde kamera pipeline'ı, GStreamer ve OTA güncelleme; modelleri sahada düşük gecikmeyle çalıştıran ekipler için.
- Canlı Kurs
- 5 modül
-
Knowledge distillation, yapısal pruning, Quantization-Aware Training (QAT), NAS ve Torch-TensorRT profilleme; büyük bilgisayarlı görü modellerini doğruluk kaybını en aza indirerek küçültüp hızlandırmak isteyen mühendisler için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
