Eğitimin Amacı ve Kapsamı
Parça parça kurulan tracing, eval veya gateway araçları birbiriyle konuşmadığında ekipler hala manuel testlere ve üretimde deneme-yanılmaya mahkum kalır. Bu kapsamlı program, bir kurumsal RAG/agent uygulamasının etrafındaki tüm LLMOps katmanlarını birbirine bağlı, uçtan uca çalışan bir mühendislik hattı (pipeline) olarak inşa etmeye odaklanır.
Katılımcılar lab'larda model ağ geçidinden versiyonlu prompt yönetimine, PR aşamasında tetiklenen otomatik eval/regression testlerinden canlı trafik izleme ve hata yakalama döngüsüne kadar tüm bileşenleri entegre eder; eğitim sonunda çalışır bir referans LLMOps şablonu ve trace dashboard tasarımı elde eder.
Kimler Katılmalı?
- Üretimde LLM/RAG/agent sistemleri işleten yapay zeka ve yazılım mühendisleri
- Kurum genelinde standart bir LLMOps platformu kuran MLOps ve platform ekipleri
- Yapay zeka projelerinin mühendislik kalitesinden sorumlu teknik liderler ve mimarlar
- Ön koşul: Python, Docker, Git iş akışları ve temel LLM uygulama geliştirme deneyimi
Kazanımlar
- Model gateway, prompt registry, tracing ve eval araçlarını tek bir mimaride birleştirmek
- Her prompt veya model değişikliğinde otomatik çalışan regression ve kalite kapıları kurmak
- Üretim trafiğinden sorunlu trace'leri yakalayıp golden eval veri setine dönüştürmek
- Maliyet, gecikme, güvenlik ve doğruluk metriklerini tek bir operasyon panelinde toplamak
- Çok ekipli kullanım için tekrar kullanılabilir kurumsal LLMOps proje şablonu oluşturmak
Konular
Uçtan Uca LLMOps Referans Mimarisi
- Geliştirme, CI/CD, runtime ve geri bildirim halkalarının entegrasyonu
- Açık kaynak ve kurumsal araç seçimi (LiteLLM, Langfuse, Arize Phoenix, Promptfoo)
Gateway ve Versiyonlu Konfigürasyon Katmanı
- Birleşik model ağ geçidi, fallback zinciri ve sanal anahtarlar
- Prompt, model parametresi ve tool şemalarının ortam bazlı sürüm yönetimi
Otomatik Değerlendirme ve CI/CD Kalite Kapıları
- Golden dataset üzerinde deterministik ve LLM-as-a-judge metriklerin koşulması
- Pull request'lerde kalite düşüşünü engelleyen otomatik regression gate
Runtime Koruma, Önbellek ve Gözlemlenebilirlik
- Girdi/çıktı guardrail'ları ve semantik/prompt önbellekleme
- Dağıtık tracing, maliyet kırılımı ve trace dashboard tasarımı
Üretimden Öğrenen Veri Çarkı (Data Flywheel)
- Canlı trafikten örnekleme, kullanıcı geri bildirimi ve hata triyajı
- Üretim vakalarını eval setine ve iyileştirme döngüsüne geri besleme
Bu Kategorideki Diğer Eğitimler
-
LLM uygulamalarında tam tekrarlanabilirlik (reproducibility): Langfuse/MLflow Prompt Registry ve Git ile prompt sürümleme, model/LoRA ve tool şeması versiyonlama, RAG/eval veri seti snapshot'ları ve güvenli rollback.
- Canlı Kurs
- 5 modül
-
LiteLLM ve kurumsal AI gateway'ler ile tüm bulut ve kurum içi LLM'leri tek OpenAI uyumlu katmanda toplama: otomatik fallback, yük dengeleme, karmaşıklığa göre model yönlendirme, sanal anahtarlar ve bütçe/rate limit kontrolü.
- Canlı Kurs
- 5 modül
-
LLM ve RAG uygulamaları için GitHub Actions/GitLab CI tabanlı CI/CD hatları: PR aşamasında hızlı smoke/eval testleri, deterministik ve model-graded kalite kapıları, maliyet/gecikme bütçesi kontrolü, canary dağıtım ve otomatik rollback.
- Canlı Kurs
- 5 modül
-
LLM uygulamalarında sistematik kalite ölçümü: Promptfoo, DeepEval ve Ragas ile deterministik ve LLM-as-a-judge metrikler, hakem model yanlılıklarını (bias) giderme, insan değerlendirmesiyle kalibrasyon ve kurumsal eval karnesi.
- Canlı Kurs
- 5 modül
-
Büyük ölçekli, hızlı ve tekrarlanabilir LLM evaluation pipeline mühendisliği: asenkron paralel test koşucuları, judge maliyet/önbellek optimizasyonu, veri seti besleme, istatistiksel anlamlılık ve deney karşılaştırma panelleri.
- Canlı Kurs
- 5 modül
-
Canlı LLM trafiğinde sürekli kalite kontrolü: üretim trace'lerinden akıllı örnekleme, kullanıcı gecikmesini etkilemeyen asenkron online evaluator'lar, referanssız halüsinasyon/relevans ölçümü, sorgu kayması (drift) tespiti ve uyarı mekanizmaları.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
