Eğitimin Amacı ve Kapsamı
Tek yanıt üreten bir LLM'i değerlendirmekten farklı olarak bir agent; farklı araç sıralamalarıyla aynı sonuca ulaşabilir, ara adımlarda hata yapıp toparlayabilir veya dış sistemlerin durumunu değiştirebilir. Bu eğitim, agent'ların hem nihai çıktısını hem de izlediği yolu (trajectory) ölçme yöntemlerini kapsar.
Katılımcılar altın veri seti oluşturma, mock/sandbox araç ortamları kurma, LLM-as-a-judge ve deterministik durum kontrolü (state check) yazma adımlarını LangSmith, Braintrust veya Promptfoo ile uygular; kurum vakasına özel bir eval paketi ve yayın öncesi kalite kontrol listesi hazırlar.
Kimler Katılmalı?
- Agent geliştiren yapay zeka ve yazılım mühendisleri
- Yapay zeka kalite güvence (QA), test ve LLMOps ekipleri
- Agent performansından sorumlu teknik ürün yöneticileri
- Ön koşul: Python ve temel LLM/agent geliştirme deneyimi
Kazanımlar
- Nihai yanıt, izlenen yörünge (trajectory) ve ortam durumu üzerinden metrik tanımlamak
- Yan etkisiz test için deterministik mock araçlar ve sandbox ortamları kurmak
- Araç seçimi, parametre doğruluğu ve gereksiz adım sayısını otomatik ölçmek
- Çok turlu senaryolar için kullanıcı simülatörleri (user simulators) oluşturmak
- Model veya prompt değişikliklerinde regresyon yakalayan otomatik eval pipeline'ı kurmak
Konular
Agent Değerlendirmenin Zorlukları ve Metrik Çerçevesi
- Nihai başarı (pass@k), tutarlılık (pass^k), adım verimliliği ve maliyet
- Sonuç odaklı (outcome) vs süreç odaklı (trajectory) değerlendirme
Altın Veri Seti ve Mock Ortam Tasarımı
- Gerçek izlerden (traces) test senaryosu ve edge case çıkarma
- Yan etkisiz test için mock API'ler ve başlangıç veritabanı durumu
Adım ve Yörünge (Trajectory) Değerlendirmesi
- Doğru araç seçimi, parametre şema uyumu ve sıra kontrolü
- Kısmi puanlama ve gereksiz/tekrarlı çağrıların tespiti
Çok Turlu Simülasyon ve LLM-as-a-Judge
- Persona tabanlı kullanıcı simülatörleri ile uçtan uca diyaloğu test etme
- Yargıç modelleri insan etiketleriyle kalibre etme
CI/CD Entegrasyonu ve Canlı İzleme
- Prompt, araç veya model güncellemelerinde otomatik regresyon kapısı
- Canlı trafikte örnekleme (online evals) ve yayın kontrol listesi
Bu Kategorideki Diğer Eğitimler
-
Araç kullanan ve dış sistemlerde işlem yapan agent'ların güvenliği: dolaylı prompt injection savunması, OAuth/OBO ile kullanıcı adına yetkilendirme, sandbox izolasyonu, guardrail'ler ve OWASP Agentic güvenlik kontrolleri.
- Canlı Kurs
- 5 modül
-
LLM tabanlı agent'ların nasıl çalıştığını öğreten temel program: model, araçlar, hafıza ve kontrol döngüsü; chatbot, iş akışı otomasyonu ve agent arasındaki farklar ve kurum için doğru ilk use case seçimi.
- Canlı Kurs
- 6 modül
-
Yöneticiler için agentic yapay zekanın iş modeline, süreçlere ve organizasyona etkisi: fonksiyon bazlı use case'ler, yatırım ve ROI değerlendirmesi, operasyonel riskler, yönetişim ve agent'larla çalışan ekiplerin yeniden tasarımı.
- Canlı Kurs
- 5 modül
-
LLM'lerin function calling / tool calling ile API, veri tabanı ve iç sistemleri nasıl kullandığını uygulamalı öğreten program: araç şeması tasarımı, parametre doğrulama, hata yönetimi ve OpenAI, Claude ve Gemini API'leriyle çalışan bir agent.
- Canlı Kurs
- 6 modül
-
İş süreçlerini agentic iş akışlarına dönüştürme yöntemi: deterministik adımlar ile LLM kararlarını ayırma, prompt chaining, routing, paralelleştirme, evaluator–optimizer kalıpları ve n8n veya Power Automate ile uygulanan akış.
- Canlı Kurs
- 6 modül
-
Geliştiriciler için LangGraph, OpenAI Agents SDK ve Claude Agent SDK ile otonom agent geliştirme: durum yönetimi, araç entegrasyonu, döngü kontrolü, tracing ve dağıtıma hazır, kurum vakasına özel bir agent.
- Canlı Kurs
- 6 modül
Bizimle iletişime geçin
