Eğitimin Amacı ve Kapsamı
Bir LLM uygulamasının yavaşlığı çoğu zaman sadece modelin kendisinden değil; ardışık (sequential) çalışan query rewriting, vektör arama, reranker, guardrail ve çoklu agent adımlarının toplamından kaynaklanır. Bu eğitim, uygulama ve orkestrasyon katmanında gecikme bütçesi (latency budget) yönetmeyi, algılanan ve gerçek yanıt süresini düşürmeyi öğretir.
Katılımcılar yavaş çalışan çok adımlı bir RAG/agent akışını trace waterfall üzerinden analiz eder; asenkron paralelleştirme, SSE/WebSocket streaming, kısa yapılandırılmış çıktı tasarımı ve P99 kuyruk gecikmesini kesen timeout/hedging stratejileriyle yanıt süresini saniyeler seviyesine indirir.
Kimler Katılmalı?
- Kullanıcı etkileşimli LLM, sesli asistan ve agent uygulamaları geliştiren yazılım mühendisleri
- Uygulama performansından ve SLA hedeflerinden sorumlu yapay zeka ve platform mühendisleri
- Gerçek zamanlı AI deneyimi tasarlayan çözüm mimarları
- Ön koşul: Python (asenkron programlama temelleri) ve LLM uygulama geliştirme deneyimi
Kazanımlar
- Trace waterfall analiziyle uçtan uca gecikmeyi adım adım ayrıştırmak ve bütçelemek
- Bağımsız retrieval, guardrail ve tool çağrılarını
asyncio.gatherile paralel yürütmek - Üretilen output token sayısını azaltarak decode süresini doğrudan kısaltmak
- SSE streaming ve ara durum bildirimleriyle algılanan bekleme süresini iyileştirmek
- P95/P99 tail latency sıçramalarını agresif timeout, fallback ve hedged request ile sınırlamak
Konular
Uçtan Uca Gecikme Anatomisi ve Bütçeleme
- Ağ, guardrail, embedding, vektör arama, reranking, TTFT ve decode sürelerinin payı
- Sohbet, otomatik tamamlama, sesli asistan ve arka plan işleri için hedef gecikme bütçeleri
Orkestrasyon Paralelleştirme ve Spekülatif Yürütme
- Ardışık zincirleri (DAG) paralel dallara ayırma: eşzamanlı multi-query retrieval ve tool calling
- Input guardrail ve ilk retrieval adımını spekülatif olarak birlikte başlatma
Prompt ve Çıktı Tasarımıyla Decode Hızlandırma
- Neden 1 output token üretmek 50 input token okumaktan daha uzun sürer?
- Gereksiz önsözleri kesme, kısa JSON anahtarları, sınıflandırma kodları ve erken durdurma (stop sequences)
Streaming UX ve Algılanan Performans
- Server-Sent Events (SSE), WebSocket ve kısmi JSON (partial JSON) ayrıştırma
- Agent araç çağrıları sırasında anlamlı ara durum (status event) akışı
P95/P99 Kuyruk Gecikmesi (Tail Latency) Kontrolü
- Sağlayıcı yavaşlamalarında kademeli timeout, hedged requests ve hızlı yedek modele geçiş
- Locust/k6 ile gerçekçi eşzamanlılık altında P50/P95/P99 yük testi ve darboğaz raporu
Bu Kategorideki Diğer Eğitimler
-
Üretimdeki LLM ve agent sistemlerine özgü olay yönetimi: halüsinasyon dalgası, prompt injection/veri sızıntısı, sonsuz agent döngüsü ve sağlayıcı kesintilerine müdahale runbook'ları, kill-switch mekanizması ve AI post-mortem.
- Canlı Kurs
- 5 modül
-
Yönetilen bulut platformları (Azure AI Foundry, Amazon Bedrock, Google Vertex AI) ile kurum içi GPU kümelerini hibrit mimaride birleştirme: veri gizliliğine göre yönlendirme, taşınabilir kontratlar, ağ güvenliği ve felaket kurtarma.
- Canlı Kurs
- 5 modül
-
LLM uygulamalarında göz kararı testten (vibe check) ölçülebilir kaliteye geçiş: ilk eval veri setini oluşturma, kural tabanlı kontroller, basit LLM-as-a-judge kullanımı ve Promptfoo ile ilk otomatik değerlendirme raporu.
- Canlı Kurs
- 5 modül
-
LLM değerlendirmelerinin temelini oluşturan yüksek kaliteli golden dataset tasarımı: senaryo matrisi, dokümanlardan sentetik test verisi üretimi ve filtreleme, adversarial/edge case kurgusu, uzman etiketleme ve veri seti bakımı.
- Canlı Kurs
- 5 modül
-
Deterministik kural tabanlı (rule-based) değerlendiriciler ile model-graded (LLM-as-a-judge) hakemlerin hibrit tasarımı: regex/AST/JSON şema doğrulama, pairwise ve rubric tabanlı judge prompt mühendisliği ve kalibrasyon.
- Canlı Kurs
- 5 modül
-
RAG ve çok adımlı agent sistemlerinde bileşen bazlı ve uçtan uca kalite ölçümü: retrieval (precision@k, recall@k, MRR), generation (faithfulness, relevance) ve agent (tool seçimi, argüman doğruluğu, trajectory verimliliği) metrikleri.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
