Eğitimin Amacı ve Kapsamı
Demo ortamında etkileyici çalışan bir LLM uygulaması, gerçek kullanıcılarla buluştuğunda beklenmedik halüsinasyonlar, sessiz kalite kaymaları, yüksek gecikmeler ve öngörülemeyen API faturalarıyla karşılaşır. Bu giriş programı, klasik DevOps ve MLOps pratiklerinin neden tek başına yetmediğini ve LLMOps yaşam döngüsünün temel yapı taşlarını sade, uygulamalı bir çerçevede tanıtır.
Katılımcılar örnek bir sohbet/RAG uygulaması üzerinde prompt kayıt defteri, temel OpenTelemetry/Langfuse tracing, küçük bir eval dataset ve basit koruma kurallarını devreye alarak kurumları için ilk production quality gate kontrol listesini oluşturur.
Kimler Katılmalı?
- İlk LLM uygulamasını üretime hazırlayan yazılım geliştiriciler
- Klasik yazılım veya MLOps'tan GenAI projelerine geçen DevOps ve platform mühendisleri
- Üretim ortamı risklerini anlamak isteyen teknik ürün yöneticileri ve takım liderleri
- Ön koşul: temel Python ve REST API kullanım bilgisi
Kazanımlar
- Deterministik olmayan LLM çıktılarının getirdiği operasyonel farkları açıklamak
- Uygulama kodundan bağımsız prompt ve model konfigürasyonu yönetmek
- Her LLM çağrısında gecikme, token, maliyet ve ara adımları trace olarak kaydetmek
- Üretim öncesi temel bir eval dataset ve doğrulama adımı çalıştırmak
- Kurum içi LLM projeleri için üretime geçiş kalite kapısı (quality gate) listesi hazırlamak
Konular
DevOps ve MLOps'tan LLMOps'a Geçiş
- Neden LLM uygulamaları geleneksel yazılım testleriyle doğrulanamaz?
- LLMOps yaşam döngüsü: geliştirme, değerlendirme, dağıtım, gözlemleme ve geri bildirim
Prompt, Model ve Konfigürasyon Yönetimi
- Kod içine gömülü prompt'ların riskleri ve merkezi prompt şablonları
- Model sağlayıcı, temperature ve tool şemalarını ortam bazında yönetme
Gözlemlenebilirlik ve İlk Trace Kaydı
- Trace ve span kavramları: RAG ve tool çağrılarında görünürlük
- Token tüketimi, gecikme ve hata oranlarını tek ekranda izleme
Temel Değerlendirme (Eval) ve Koruma Katmanları
- 15–20 örneklik başlangıç eval dataset'i ile değişiklikleri test etme
- PII maskeleme, format doğrulama ve fallback kuralları
Üretime Geçiş Kalite Kapısı (Production Quality Gate)
- Canlıya çıkmadan önce güvenlik, maliyet, latency ve kalite kontrol listesi
- Kurumun mevcut yazılım teslimat sürecine LLMOps adımlarını ekleme
Bu Kategorideki Diğer Eğitimler
-
Bir LLM uygulamasını uçtan uca üretim disiplinine kavuşturma: LiteLLM gateway, Langfuse/Phoenix tracing, otomatik eval ve regression testleri, CI/CD kalite kapıları, guardrail katmanları ve canlı geri bildirim döngüsü.
- Canlı Kurs
- 5 modül
-
LLM uygulamalarında tam tekrarlanabilirlik (reproducibility): Langfuse/MLflow Prompt Registry ve Git ile prompt sürümleme, model/LoRA ve tool şeması versiyonlama, RAG/eval veri seti snapshot'ları ve güvenli rollback.
- Canlı Kurs
- 5 modül
-
LiteLLM ve kurumsal AI gateway'ler ile tüm bulut ve kurum içi LLM'leri tek OpenAI uyumlu katmanda toplama: otomatik fallback, yük dengeleme, karmaşıklığa göre model yönlendirme, sanal anahtarlar ve bütçe/rate limit kontrolü.
- Canlı Kurs
- 5 modül
-
LLM ve RAG uygulamaları için GitHub Actions/GitLab CI tabanlı CI/CD hatları: PR aşamasında hızlı smoke/eval testleri, deterministik ve model-graded kalite kapıları, maliyet/gecikme bütçesi kontrolü, canary dağıtım ve otomatik rollback.
- Canlı Kurs
- 5 modül
-
LLM uygulamalarında sistematik kalite ölçümü: Promptfoo, DeepEval ve Ragas ile deterministik ve LLM-as-a-judge metrikler, hakem model yanlılıklarını (bias) giderme, insan değerlendirmesiyle kalibrasyon ve kurumsal eval karnesi.
- Canlı Kurs
- 5 modül
-
Büyük ölçekli, hızlı ve tekrarlanabilir LLM evaluation pipeline mühendisliği: asenkron paralel test koşucuları, judge maliyet/önbellek optimizasyonu, veri seti besleme, istatistiksel anlamlılık ve deney karşılaştırma panelleri.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
