Eğitimin Amacı ve Kapsamı
Kurumsal asistanlarda ve müşteri destek botlarında kullanıcıların önemli bir kısmı aynı veya çok benzer soruları tekrar tekrar sorar; ayrıca her istekte binlerce token'lık aynı system prompt, tool tanımı ve doküman bağlamı yeniden işlenir. Bu eğitim; uygulama ve platform katmanında çok seviyeli önbellekleme (exact cache, semantic cache, prefix/prompt cache ve embedding cache) kurarak hem API/GPU maliyetini hem de yanıt süresini radikal biçimde düşürmeyi öğretir.
Katılımcılar lab'larda Redis/Qdrant ile semantik önbellek, bulut API'leri ve vLLM için yüksek cache-hit sağlayan prompt şablonu yapısı ve yanlış önbellek eşleşmelerini (false positive) önleyen eşik kalibrasyonu geliştirir.
Kimler Katılmalı?
- Yüksek trafikli LLM ve RAG servisleri geliştiren yazılım ve yapay zeka mühendisleri
- Model gateway ve önbellek altyapısını yöneten platform ve MLOps mühendisleri
- API maliyetini ve yanıt gecikmesini düşürmek isteyen çözüm mimarları
- Ön koşul: Python, temel Redis veya vektör veritabanı kavramları ve LLM API deneyimi
Kazanımlar
- Prompt yapısını statik önek (prefix) başta, dinamik kısım sonda olacak şekilde yeniden düzenleyerek prompt caching kazancı sağlamak
- Redis ile deterministik (exact) LLM ve embedding önbelleği kurmak
- Vektör benzerliği ve cross-encoder doğrulamasıyla güvenli semantic cache tasarlamak
- Çok kullanıcılı sistemlerde kiracı/yetki sızıntısını önleyen namespace ve TTL kuralları tanımlamak
- Cache hit oranı, yanlış pozitif oranı ve tasarruf edilen token/gecikme metriklerini ölçmek
Konular
LLM Önbellekleme Katmanları: Nerede Ne Önbelleklenir?
- Exact response cache, semantic cache, KV/prompt prefix cache ve embedding/retrieval cache
- Hangi iş yükü (SSS botu, RAG, kod tamamlama, kişiselleştirilmiş agent) hangi önbellekten kazanır?
Prompt / Prefix Caching Mühendisliği
- OpenAI, Anthropic, Gemini ve vLLM APC'de prefix caching nasıl çalışır?
- System prompt, tool şemaları, few-shot örnekler ve dinamik zaman/kullanıcı bilgisinin doğru sıralanması
Exact Cache ve Embedding/Retrieval Önbelleği
- Normalleştirilmiş istek hash'i ile LiteLLM/Redis üzerinde tam eşleşme önbelleği
- Tekrarlayan doküman ve sorgular için embedding ve reranker sonuçlarını önbellekleme
Semantic Caching Tasarımı ve Yanlış Eşleşme Kontrolü
- Sayı, tarih veya olumsuzluk eki değiştiğinde ('İzmir' vs 'İzmit', 'iade var mı' vs 'iade yok mu') semantic cache tuzakları
- Yüksek benzerlik eşiği, varlık (entity) kontrolü ve hafif reranker ile güvenli eşleşme
Güvenlik, Cache Invalidation ve Tasarruf Ölçümü
- Kullanıcı/rol bazlı erişim kontrolü (ACL) ve kişiselleştirilmiş yanıtlarda veri sızıntısını önleme
- Kaynak doküman güncellendiğinde ilgili önbellek kayıtlarını geçersiz kılma (invalidation) ve ROI paneli
Bu Kategorideki Diğer Eğitimler
-
Çok adımlı LLM, RAG ve agent uygulamalarında uçtan uca gecikme (E2E latency) yönetimi: SSE streaming UX, paralel retrieval/guardrail/tool yürütme, çıktı daraltma, P95/P99 kuyruk gecikmesi ve hedged request desenleri.
- Canlı Kurs
- 5 modül
-
Üretimdeki LLM ve agent sistemlerine özgü olay yönetimi: halüsinasyon dalgası, prompt injection/veri sızıntısı, sonsuz agent döngüsü ve sağlayıcı kesintilerine müdahale runbook'ları, kill-switch mekanizması ve AI post-mortem.
- Canlı Kurs
- 5 modül
-
Yönetilen bulut platformları (Azure AI Foundry, Amazon Bedrock, Google Vertex AI) ile kurum içi GPU kümelerini hibrit mimaride birleştirme: veri gizliliğine göre yönlendirme, taşınabilir kontratlar, ağ güvenliği ve felaket kurtarma.
- Canlı Kurs
- 5 modül
-
LLM uygulamalarında göz kararı testten (vibe check) ölçülebilir kaliteye geçiş: ilk eval veri setini oluşturma, kural tabanlı kontroller, basit LLM-as-a-judge kullanımı ve Promptfoo ile ilk otomatik değerlendirme raporu.
- Canlı Kurs
- 5 modül
-
LLM değerlendirmelerinin temelini oluşturan yüksek kaliteli golden dataset tasarımı: senaryo matrisi, dokümanlardan sentetik test verisi üretimi ve filtreleme, adversarial/edge case kurgusu, uzman etiketleme ve veri seti bakımı.
- Canlı Kurs
- 5 modül
-
Deterministik kural tabanlı (rule-based) değerlendiriciler ile model-graded (LLM-as-a-judge) hakemlerin hibrit tasarımı: regex/AST/JSON şema doğrulama, pairwise ve rubric tabanlı judge prompt mühendisliği ve kalibrasyon.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
