Eğitimin Amacı ve Kapsamı
Kullanıcının konuşurken asistanın sözünü kesebildiği, kameradan gösterdiği bir arızayı veya paylaştığı ekranı anında yorumlatabildiği gerçek zamanlı (realtime) asistanlar, klasik istek–yanıt (request–response) mimarisiyle kurulamaz. Bu eğitim, sürekli açık çift yönlü oturumlarda çalışan canlı sesli ve görüntülü asistanların tasarımını ele alır.
Katılımcılar OpenAI Realtime API, Gemini Multimodal Live ve LiveKit Agents kullanarak söz kesme (barge-in), konuşurken arka planda tool calling yürütme ve canlı video/ekran karelerini bağlama ekleme adımlarını uygular; kurum senaryosuna uygun bir realtime asistan prototipi ve ölçüm planı üretir.
Kimler Katılmalı?
- Canlı sesli/görüntülü asistan geliştiren yapay zeka ve tam yığın (full-stack) mühendisler
- Saha destek, uzaktan uzman yardımı, eğitim ve müşteri etkileşimi ürünleri geliştiren ekipler
- Gerçek zamanlı iletişim mimarları
- Ön koşul: Python veya TypeScript ve asenkron/olay güdümlü programlama bilgisi
Kazanımlar
- Sürekli açık, çift yönlü (full-duplex) gerçek zamanlı asistan oturumları kurmak
- Kullanıcı araya girdiğinde (barge-in) ses tamponunu temizleyip bağlamı doğru güncellemek
- Canlı kamera veya ekran paylaşımı karelerini sesli diyalogla senkronize işlemek
- Konuşma akışını dondurmadan arka planda asenkron araç çağrıları (tool calling) yürütmek
- Oturum kopması, gecikme sıçraması ve maliyet sınırlarını yöneten bir mimari kurmak
Konular
İstek-Yanıt'tan Çift Yönlü Canlı Oturuma
- Durumlu (stateful) canlı oturum mimarisi ve olay güdümlü (event-driven) akış
- OpenAI Realtime, Gemini Live ve açık kaynak orkestrasyon katmanları
Doğal Diyalog Dinamikleri ve Söz Kesme (Barge-In)
- Kullanıcı araya girdiğinde oynatılan sesi anında durdurma ve tamponu temizleme
- Yarıda kesilen asistan yanıtının context içinde doğru kırpılması
Canlı Görsel ve Ekran Bağlamı Ekleme
- Kamera ve ekran paylaşımından kare örnekleme ve bant genişliği yönetimi
- 'Şu an ekranda gördüğün hata' gibi zamansal-görsel referansları çözme
Canlı Akışta Tool Calling ve Arka Plan Görevleri
- Uzun süren API sorgularında kullanıcıyı bilgilendirerek (holding message) bekletme
- Asenkron araç sonuçlarını devam eden konuşmaya enjekte etme
Dayanıklılık, Maliyet ve Kalite Ölçümü
- Bağlantı kopması, oturum yenileme ve ses/metin transkript kaydı
- Gerçek zamanlı asistan prototipi ve uçtan uca gecikme ölçüm planı
Bu Kategorideki Diğer Eğitimler
-
Ekran görüntüsü algılama, koordinat tahmini ve klavye/fare eylemleriyle masaüstü ve tarayıcı ortamlarını kullanan computer use sistemleri: Claude Computer Use, OpenAI CUA, sandbox sanal makineler ve güvenli yürütme.
- Canlı Kurs
- 5 modül
-
API sunmayan web portalleri ve kurumsal ekranlarda görev yürüten arayüz agent'ları: Playwright, Stagehand ve Browserbase ile DOM + görsel algılama (Set-of-Marks), oturum yönetimi ve dayanıklı web otomasyonu.
- Canlı Kurs
- 5 modül
-
Sesli, çok modlu ve arayüz kullanan agent'larda kullanıcı kontrolü ve onay deneyimi: eylem önizleme, kademeli yetki, canlı devralma (takeover), geri alma (undo) ve güvenli arayüz kalıpları.
- Canlı Kurs
- 5 modül
-
Sesli, çok modlu ve arayüz kullanan agent'ları canlıya almadan önce deneyim, güven ve güvenlik açısından test etme: kullanıcı güven kalibrasyonu, adversarial senaryolar, hayal kırıklığı sinyalleri ve kabul kriterleri.
- Canlı Kurs
- 5 modül
-
Görsel, ses ve metin temsil uzaylarını birleştiren multimodal model mimarileri: ViT/SigLIP ve ses encoder'ları, cross-modal projeksiyon/füzyon katmanları ve açık ağırlıklı VLM'lerin (Qwen-VL, Llama, Pixtral) LoRA ile fine-tuning'i.
- Canlı Kurs
- 5 modül
-
Üretim, perakende, sigorta ve saha operasyonlarında Vision-Language Modelleri (VLM) ile görsel inceleme uygulamaları: nesne konumlandırma (grounding), çoklu görsel karşılaştırma, hibrit CV+VLM boru hatları ve kalite kontrol.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
