Eğitimin Amacı ve Kapsamı
Klasik ses boru hatları konuşmayı önce metne çevirdiği için kullanıcının ses tonundaki tereddüdü, aciliyeti ve duyguyu kaybeder; ayrıca üç ayrı modelin (STT, LLM, TTS) ardışık çalışması gecikmeyi artırır. Doğrudan sesi anlayıp ses üreten Speech-to-Speech (S2S) modeller ve otonom voice agent'lar bu sınırı ortadan kaldırır.
Bu ileri seviye eğitimde katılımcılar OpenAI Realtime (gpt-realtime), Gemini Live native audio ve açık ağırlıklı ses modelleriyle çalışan, araç çağıran ve gerektiğinde kademeli (cascaded) mimariyle hibrit çalışan bir voice agent geliştirir; çağrı merkezi senaryosu üzerinde test ve ölçüm planı hazırlar.
Kimler Katılmalı?
- İleri seviye sesli asistan ve çağrı merkezi otomasyonu geliştiren yapay zeka mühendisleri
- Gerçek zamanlı ses ve iletişim altyapısı (WebRTC/SIP) geliştiricileri
- Konuşmalı yapay zeka mimarları
- Ön koşul: Python/TypeScript, asenkron programlama ve temel ses/LLM API bilgisi
Kazanımlar
- Native Speech-to-Speech mimarisi ile kademeli STT→LLM→TTS mimarisini maliyet, kontrol ve doğruluk açısından karşılaştırmak
- Ses tonu, duygu ve konuşma tarzı talimatlarını S2S modellerinde hassas şekilde kontrol etmek
- Sesli akış sırasında deterministik iş kurallarını ve tool calling adımlarını güvenle tetiklemek
- Metin denetimi (guardrail) ve tam telaffuz gerektiren anlarda hibrit (S2S + TTS) kalıplar uygulamak
- Pipecat veya LiveKit Agents ile çok adımlı bir voice agent'ı üretime hazırlamak
Konular
Native Speech-to-Speech (S2S) Modeller Nasıl Çalışır?
- Acoustic/semantic ses token'ları ve doğrudan ses-ses çıkarımı
- Paralinguistic algılama (tereddüt, vurgu, duygu) ve doğal gülme/nefes dinamikleri
S2S mi, Kademeli (Cascaded) mi, Hibrit mi?
- Maliyet, denetlenebilirlik, özel kelime doğruluğu ve gecikme karşılaştırması
- Sesli girdi + metin üretimi + kontrollü TTS hibrit mimarisi
Voice Agent Orkestrasyonu ve Tool Calling
- Pipecat ve LiveKit Agents ile durum makinesi ve görev geçişleri
- Kimlik doğrulama, DTMF tuşlama algılama ve dış API çağrıları
Çoklu Voice Agent Devri ve Guardrail'ler
- Karşılama agent'ından uzman (teknik destek/tahsilat) agent'a canlı çağrı devri
- Sesli halüsinasyon, uygunsuz ton ve prompt injection'a karşı ses/transkript filtreleri
Uygulama: Canlı Sesli Asistan ve Ölçüm Planı
- Kurum senaryosu üzerinde çalışan realtime sesli asistan
- Çağrı tamamlama, ses doğallığı ve token/dakika maliyet analizi
Bu Kategorideki Diğer Eğitimler
-
Gerçek zamanlı yapay zeka uygulamaları için streaming altyapı mühendisliği: WebRTC, WebSockets ve SSE protokolleri, OpenAI Realtime ve Gemini Live API entegrasyonu, ses/video tampon yönetimi ve ölçekleme.
- Canlı Kurs
- 5 modül
-
Sesli yapay zeka sistemlerinde insan doğallığında sıra alma (turn-taking) ve milisaniye bütçesi yönetimi: akustik VAD, semantik endpointing, yanlış söz kesme önleme, TTFT/TTFB optimizasyonu ve speculative yürütme.
- Canlı Kurs
- 5 modül
-
Yoğun mizanpajlı belgeleri ve uygulama ekranlarını (GUI) piksel, koordinat ve yapısal ağaç düzeyinde ayrıştırma: OmniParser, Qwen-VL, Docling, UI bileşen tespiti ve ekran-belge birleşik anlama modelleri.
- Canlı Kurs
- 5 modül
-
Görsel, belge, ses ve video işleyen çok modlu sistemler için değerlendirme mühendisliği: OCR/çıkarım metrikleri, grounding IoU, sesli WER/MOS ve sıra alma ölçümü, VLM-as-a-judge ve regresyon boru hatları.
- Canlı Kurs
- 5 modül
-
Metin, görsel, ses ve videoyu birlikte anlayan ve üreten çok modlu yapay zeka modellerine kapsamlı giriş: model aileleri, kurumsal kullanım senaryoları, yetenek sınırları, maliyet/gecikme karşılaştırması ve model seçimi.
- Canlı Kurs
- 5 modül
-
Metin, görsel, ses ve belge girdilerini birleştiren kurumsal uygulamaların uçtan uca tasarımı: medya ön işleme, structured output, hibrit model yönlendirme ve maliyet/gecikme optimizasyonu.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
