Eğitimin Amacı ve Kapsamı
Bir kullanıcı 'Asistan yanlış cevap verdi ve 18 saniye sürdü' dediğinde klasik uygulama logları yalnızca HTTP 200 döndüğünü gösterir; sorunun query rewriting adımında mı, vektör aramasında mı, reranker'da mı yoksa üçüncü tool çağrısında mı yaşandığı karanlıkta kalır. Bu eğitim, LLM ve agent uygulamalarının iç çalışma adımlarını uçtan uca görünür kılan modern tracing ve observability mimarisini öğretir.
Katılımcılar OpenTelemetry GenAI semantik standartlarını, Langfuse ve Arize Phoenix'i kullanarak çok adımlı bir uygulamayı enstrümante eder; oturum (session), kullanıcı, maliyet, gecikme ve kalite metriklerini içeren kurumsal bir trace dashboard tasarlar.
Kimler Katılmalı?
- RAG, agent ve çok adımlı LLM iş akışları geliştiren yazılım ve yapay zeka mühendisleri
- Kurumsal gözlemlenebilirlik altyapısını (OTel, Grafana, Datadog, Langfuse) yöneten SRE ve platform ekipleri
- Üretimdeki AI hatalarını ve performans darboğazlarını çözen MLOps mühendisleri
- Ön koşul: Python ve temel dağıtık sistem/API geliştirme bilgisi
Kazanımlar
- Session, trace ve iç içe span hiyerarşisini çok turlu sohbet ve agent akışlarına uygulamak
- OpenTelemetry GenAI semantik kurallarıyla vendor-lock-in olmadan telemetri toplamak
- Langfuse veya Arize Phoenix'i kurum içi (self-hosted) olarak kurup uygulamaya bağlamak
- Loglanan prompt ve yanıtlarda hassas verileri (PII) trace sunucusuna gitmeden önce maskelemek
- Gecikme, token maliyeti, hata türü ve retrieval kalitesini izleyen operasyonel dashboard oluşturmak
Konular
LLM Gözlemlenebilirlik Temelleri: Session, Trace ve Span
- Klasik APM trace'leri ile GenAI trace'lerinin farkı (yüksek kardinalite, büyük metin yükleri)
- Generation, retrieval, embedding, reranker, guardrail ve tool span tipleri
OpenTelemetry GenAI ve Framework Enstrümantasyonu
- OTel GenAI semantic conventions, OpenInference ve OpenLLMetry standartları
- LangChain/LangGraph, LlamaIndex ve doğrudan OpenAI/vLLM SDK çağrılarını izleme
Langfuse ve Arize Phoenix ile Kurum İçi Kurulum
- Docker/Kubernetes üzerinde self-hosted Langfuse ve Phoenix mimarisi
- Kullanıcı ID, oturum, ortam, sürüm etiketi ve özel metadata ekleme
Gizlilik, PII Maskeleme ve Performans Etkisi
- Asenkron arka plan gönderimi (batching) ile uygulamayı yavaşlatmama
- Trace payload'larında TC kimlik, kart, e-posta ve sırların client-side maskelenmesi
Trace Dashboard Tasarımı ve Kök Neden Analizi
- Latency waterfall ile en yavaş adımı ve tekrarlayan agent döngülerini yakalama
- Maliyet, P95 gecikme, hata oranı ve kullanıcı puanlarını birleştiren dashboard
Bu Kategorideki Diğer Eğitimler
-
Üretimdeki LLM uygulamaları için düşük gecikmeli girdi ve çıktı koruma katmanları (guardrails): prompt injection ve jailbreak engelleme, KVKK uyumlu PII maskeleme, konu sınırlama, halüsinasyon kontrolü ve güvenli tool yetkileri.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM uygulamalarında çok katmanlı önbellekleme ile maliyet ve gecikmeyi düşürme: sağlayıcı/vLLM prompt caching, Redis ile exact cache, vektör tabanlı semantic caching, kiracı izolasyonu ve cache invalidation.
- Canlı Kurs
- 5 modül
-
Çok adımlı LLM, RAG ve agent uygulamalarında uçtan uca gecikme (E2E latency) yönetimi: SSE streaming UX, paralel retrieval/guardrail/tool yürütme, çıktı daraltma, P95/P99 kuyruk gecikmesi ve hedged request desenleri.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM ve agent sistemlerine özgü olay yönetimi: halüsinasyon dalgası, prompt injection/veri sızıntısı, sonsuz agent döngüsü ve sağlayıcı kesintilerine müdahale runbook'ları, kill-switch mekanizması ve AI post-mortem.
- Canlı Kurs
- 5 modül
-
Yönetilen bulut platformları (Azure AI Foundry, Amazon Bedrock, Google Vertex AI) ile kurum içi GPU kümelerini hibrit mimaride birleştirme: veri gizliliğine göre yönlendirme, taşınabilir kontratlar, ağ güvenliği ve felaket kurtarma.
- Canlı Kurs
- 5 modül
-
LLM uygulamalarında göz kararı testten (vibe check) ölçülebilir kaliteye geçiş: ilk eval veri setini oluşturma, kural tabanlı kontroller, basit LLM-as-a-judge kullanımı ve Promptfoo ile ilk otomatik değerlendirme raporu.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
