Eğitimin Amacı ve Kapsamı
Çok adımlı agent'lar aynı sonuca farklı yollardan ulaşabilir veya doğru aracı yanlış parametreyle çağırıp sessizce başarısız olabilir; bu yüzden tek çıktılı LLM metrikleri agent'ları ölçmekte yetersiz kalır. Eğitim, hem dağıtım öncesi (offline eval) hem de canlı ortamda (online monitoring) agent kalitesini ölçme yöntemlerini kapsar.
Final yanıt değerlendirmesi, trajectory ve tek adım (single-step) tool çağrısı testleri, deterministik mock ortamlar, LLM-as-a-judge rubrikleri ve OpenTelemetry semantik kurallarıyla Langfuse, Arize Phoenix veya LangSmith üzerinde tracing uygulanır. Katılımcılar kurum agent'ı için bir eval pipeline'ı ve üretim izleme panosu hazırlar.
Kimler Katılmalı?
- Agent sistemlerini üretime hazırlayan yapay zeka ve yazılım mühendisleri
- Model ve agent kalitesini doğrulayan veri bilimciler ve QA/test mühendisleri
- LLMOps ve gözlemlenebilirlik altyapısını yöneten platform ekipleri
- Ön koşul: Python ve araç kullanan agent geliştirme bilgisi
Kazanımlar
- Uçtan uca görev başarısı, yörünge (trajectory) ve tek adım karar kalitesi için ayrı eval'lar yazmak
- Yan etkili araçları mock'layarak tekrarlanabilir ve deterministik test ortamları kurmak
- OpenTelemetry tabanlı span'lerle model çağrılarını, araç sürelerini ve token maliyetlerini izlemek
- Canlı üretim trace'lerinden başarısız örnekleri otomatik yakalayıp golden dataset'e dönüştürmek
- Prompt, model veya araç değişikliklerinde CI/CD üzerinde regresyon kapıları çalıştırmak
Konular
Agent Değerlendirmenin Üç Seviyesi
- Final response (sonuç), trajectory (izlenen yol) ve single-step (tek adım) değerlendirme
- Pass@k ve pass^k metrikleri: tutarlılık ve güvenilirlik ölçümü
Yörünge ve Araç Çağrısı Evals
- Beklenen araç sırası: exact match, in-order ve any-order kıyaslamaları
- Araç seçim doğruluğu, parametre şema uyumu ve gereksiz adım cezası
- Mock araçlar ve state snapshot'ları ile izole test senaryoları
Dağıtık Tracing ve OpenTelemetry
- Run, trace ve span hiyerarşisi: LLM, tool, retriever ve alt-agent span'leri
- OpenTelemetry GenAI semantik standartları ile Langfuse, Phoenix ve LangSmith entegrasyonu
- Hassas verileri (PII) maskeleyerek loglama
Üretimde Canlı İzleme ve Hata Analizi
- Maliyet, gecikme, döngü (loop) oranı ve tool hata oranı panoları
- Canlı trafik üzerinde örnekleme (sampling) ile online evaluator çalıştırma
- Hata kümelerini (failure modes) etiketleme ve veri setine geri besleme
Uygulama: CI/CD Eval Kapısı ve Gözlemlenebilirlik
- Kurumsal bir agent için golden dataset ve otomatik regresyon testi kurulumu
- Gerçek trace'ler üzerinden darboğaz ve kök neden analizi
Bu Kategorideki Diğer Eğitimler
-
Uzun süreli ve çok adımlı agent'larda API kesintileri, rate limit, kısmi hata ve süreç çökmelerine karşı retry, fallback, idempotency, telafi (compensation) ve Temporal/LangGraph ile durable execution eğitimi.
- Canlı Kurs
- 5 modül
-
Prompt chaining, routing, parallelization, orchestrator-workers, evaluator-optimizer ve otonom agent desenlerini mimari ödünleşimleriyle inceleyen; doğru probleme en sade agentic mimariyi seçtiren tasarım eğitimi.
- Canlı Kurs
- 5 modül
-
ReAct akıl yürütme döngüsünü, Plan-and-Execute planlama katmanını ve açık state/checkpoint yönetimini tek bir hibrit agent mimarisinde birleştirmeyi öğreten, geliştiricilere yönelik uygulamalı eğitim.
- Canlı Kurs
- 5 modül
-
Uzman agent'lar arasında kontrol devri (handoff) ile alt agent'ı araç olarak çağırma (agent-as-tool) desenlerini; triage yönlendirme, context filtreleme ve konuşma sahipliği yönetimiyle ele alan teknik eğitim.
- Canlı Kurs
- 5 modül
-
Agent'lara yüzlerce aracı aynı anda yüklemek yerine yeniden kullanılabilir skill paketleri, progressive disclosure (aşamalı bağlam yükleme), referans kaynaklar ve dinamik yetenek keşfi tasarlamayı öğreten eğitim.
- Canlı Kurs
- 5 modül
-
Farklı framework ve bulutlarda çalışan agent'ların birbirini keşfedip güvenli iş birliği yapmasını sağlayan A2A (Agent2Agent) protokolü, Agent Card tasarımı, görev yaşam döngüsü ve MCP–A2A entegrasyonu eğitimi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
