Eğitimin Amacı ve Kapsamı
Genel amaçlı çok modlu API'ler; tıbbi görüntüleme, endüstriyel kalite kontrol, savunma veya kuruma özgü teknik semboller gibi alanlarda yetersiz kalabilir ya da veri gizliliği nedeniyle kurum içi (on-prem) çalıştırılması gerekebilir. Bu ileri seviye mühendislik eğitimi, çok modlu modellerin iç mimarisini ve kurumsal veriye uyarlanmasını ele alır.
Katılımcılar görüntü ve ses encoder'larını (SigLIP, ViT, Whisper), projeksiyon/adapter katmanlarını ve dinamik çözünürlük (any-resolution tiling) mekanizmalarını inceler; Qwen-VL, Pixtral veya Gemma tabanlı açık ağırlıklı bir modeli kendi alan verileriyle QLoRA/LoRA kullanarak fine-tune eder ve vLLM ile sunar.
Kimler Katılmalı?
- Model eğitimi ve uyarlaması yapan yapay zeka ve derin öğrenme mühendisleri
- Bilgisayarlı görü (computer vision) ve konuşma işleme araştırmacıları
- Kurum içi (self-hosted) multimodal model altyapısı kuran MLOps ekipleri
- Ön koşul: PyTorch, transformer mimarisi ve temel fine-tuning deneyimi
Kazanımlar
- Modüler encoder–projector–LLM mimarisi ile erken füzyonlu (native multimodal) mimarileri karşılaştırmak
- Görsel token sayısını, dinamik çözünürlük (patch/tile) hesabını ve bellek ayak izini optimize etmek
- Kuruma özgü görsel-metin çiftlerinden yüksek kaliteli instruction tuning veri seti hazırlamak
- Açık ağırlıklı bir VLM üzerinde LoRA/QLoRA fine-tuning uygulayıp felaket unutmayı (catastrophic forgetting) önlemek
- Eğitilen modeli nicemleme (quantization) ve vLLM/SGLang ile düşük gecikmeli servis etmek
Konular
Çok Modlu Mimari Desenler ve Temsil Uzayları
- Contrastive modeller (CLIP/SigLIP), MLP/Q-Former projeksiyonlar ve cross-attention
- Geç füzyon (late fusion) vs native erken füzyon (early fusion) yaklaşımları
Görsel ve Ses Tokenizasyonu
- Patch embedding, dinamik yüksek çözünürlük (AnyRes) ve video kare sıkıştırma
- Sürekli ses öznitelikleri ile ayrık (discrete) ses codec token'ları
Çok Modlu Veri Seti Hazırlığı ve Sentetik Veri
- Görsel-soru-cevap, koordinat (bounding box) ve yapılandırılmış JSON eğitim verisi
- Veri temizleme, çözünürlük dengeleme ve halüsinasyon azaltıcı negatif örnekler
Açık Ağırlıklı VLM'lerde LoRA / QLoRA Fine-Tuning
- Vision encoder dondurma vs birlikte eğitme kararları
- Qwen-VL / Llama Vision / Pixtral üzerinde uygulamalı fine-tuning
Kuantizasyon ve Yüksek Performanslı Serving
- AWQ/FP8 kuantizasyonun görsel hassasiyete etkisi
- vLLM ve SGLang ile görüntü önbellekleme ve çıkarım (inference) optimizasyonu
Bu Kategorideki Diğer Eğitimler
-
Üretim, perakende, sigorta ve saha operasyonlarında Vision-Language Modelleri (VLM) ile görsel inceleme uygulamaları: nesne konumlandırma (grounding), çoklu görsel karşılaştırma, hibrit CV+VLM boru hatları ve kalite kontrol.
- Canlı Kurs
- 5 modül
-
Uçtan uca Speech-to-Speech (S2S) modeller ve otonom sesli agent'lar: akustik duygu ve vurgu algılama, sesli tool calling, çok ajanlı çağrı devri ve Pipecat/LiveKit ile üretime hazır voice agent mimarisi.
- Canlı Kurs
- 5 modül
-
Gerçek zamanlı yapay zeka uygulamaları için streaming altyapı mühendisliği: WebRTC, WebSockets ve SSE protokolleri, OpenAI Realtime ve Gemini Live API entegrasyonu, ses/video tampon yönetimi ve ölçekleme.
- Canlı Kurs
- 5 modül
-
Sesli yapay zeka sistemlerinde insan doğallığında sıra alma (turn-taking) ve milisaniye bütçesi yönetimi: akustik VAD, semantik endpointing, yanlış söz kesme önleme, TTFT/TTFB optimizasyonu ve speculative yürütme.
- Canlı Kurs
- 5 modül
-
Yoğun mizanpajlı belgeleri ve uygulama ekranlarını (GUI) piksel, koordinat ve yapısal ağaç düzeyinde ayrıştırma: OmniParser, Qwen-VL, Docling, UI bileşen tespiti ve ekran-belge birleşik anlama modelleri.
- Canlı Kurs
- 5 modül
-
Görsel, belge, ses ve video işleyen çok modlu sistemler için değerlendirme mühendisliği: OCR/çıkarım metrikleri, grounding IoU, sesli WER/MOS ve sıra alma ölçümü, VLM-as-a-judge ve regresyon boru hatları.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
