Model Online/Fiziksel
Süre
Modüller 6 modül

Eğitimin Amacı ve Kapsamı

Kullanıcı etkileşimli asistanlarda, canlı müşteri destek ekranlarında ve sesli yapay zeka sistemlerinde yanıtın tamamlanmasını saniyelerce beklemek kullanıcı deneyimini bozar. Bu eğitim; Server-Sent Events (SSE), WebSockets ve WebRTC protokollerini, asenkron arka uç mimarisini, akış sırasında kısmi JSON ve tool call ayrıştırmayı ve gerçek zamanlı ses (Realtime API, STT–LLM–TTS pipeline) mimarilerini kapsar.

Katılımcılar time-to-first-token (TTFT) ve inter-token latency (ITL) metriklerini ölçer; kullanıcı söz kesme (barge-in), akış iptali, backpressure ve guardrail filtrelerini içeren gerçek zamanlı bir servis geliştirir.

Kimler Katılmalı?

  • Gerçek zamanlı sohbet, yardımcı pilot (copilot) ve sesli asistan geliştiren backend ve full-stack mühendisler
  • Düşük gecikmeli yapay zeka servisleri kuran yapay zeka mühendisleri
  • Yüksek eşzamanlı bağlantı ve API ağ geçidi yöneten platform mühendisleri
  • Ön koşul: Python (asyncio/FastAPI) veya Node.js/TypeScript ile asenkron programlama bilgisi

Kazanımlar

  • SSE, WebSockets ve WebRTC protokollerinden senaryoya uygun olanı seçip uygular
  • Streaming sırasında kısmi JSON çıktısını ve paralel tool çağrılarını güvenli şekilde işler
  • Kullanıcı iptali, söz kesme (barge-in) ve bağlantı kopmalarında kaynak sızıntısını önler
  • Gerçek zamanlı sesli asistanlar için uçtan uca gecikme bütçesi (VAD, STT, LLM, TTS) tasarlar
  • Yük altında TTFT, ITL ve eşzamanlı akış kapasitesini ölçen performans testleri çalıştırır

Konular

Gerçek Zamanlı LLM İletişim Protokolleri
  • Tek yönlü metin akışı için SSE, çift yönlü etkileşim için WebSockets ve medya için WebRTC
  • Reverse proxy, load balancer buffering ve timeout ayarları
Asenkron Arka Uç ve Akış Kontrolü
  • FastAPI/asyncio ve TypeScript ile non-blocking stream pipeline'ları
  • İstemci bağlantıyı kapattığında upstream LLM üretiminin durdurulması
Akış Sırasında Yapılandırılmış Çıktı ve Tool Calling
  • Incremental JSON parser'lar ile arayüzde anlık bileşen güncelleme
  • Streaming sırasında gelen tool call parçalarının birleştirilmesi ve çalıştırılması
Gerçek Zamanlı Ses ve Konuşma Mimarileri
  • Modüler STT–LLM–TTS zinciri ile native Realtime/Multimodal API karşılaştırması
  • Voice Activity Detection (VAD), turn-taking ve barge-in (söz kesme) yönetimi
Streaming Ortamında Guardrail ve Gözlemlenebilirlik
  • Token'lar akarken düşük gecikmeli güvenlik ve PII denetimi
  • TTFT, time-per-output-token (TPOT) ve kesilen akış metriklerinin izlenmesi
Laboratuvar: Düşük Gecikmeli Etkileşimli Servis
  • Kurum senaryosu için streaming metin/ses servisinin geliştirilmesi
  • Eşzamanlı kullanıcı yükü altında gecikme profili analizi

Bu Kategorideki Diğer Eğitimler

Bizimle iletişime geçin