Eğitimin Amacı ve Kapsamı
Modeller 128K–1M+ token context window sunsa da tüm belgeleri doğrudan modele göndermek yüksek maliyet, artan time-to-first-token (TTFT) ve "lost in the middle" kaynaklı kalite düşüşü yaratır. Bu eğitim; uzun girdi dizilerinde attention davranışını, KV cache büyümesini, context budama ve sıkıştırma tekniklerini, hiyerarşik özetlemeyi ve uzun süreli konuşma belleği tasarımını ele alır.
Katılımcılar, büyük kod tabanları veya çok sayfalı kurumsal dokümanlar üzerinde doğrudan uzun context kullanımı ile RAG ve hibrit yaklaşımları karşılaştırır; kurum senaryosu için maliyet/latency/kalite profili çıkarır.
Kimler Katılmalı?
- Uzun doküman, sözleşme, mevzuat veya kod tabanı işleyen LLM uygulamaları geliştiren yazılım mühendisleri
- Çok turlu asistan ve agent sistemlerinde bellek mimarisi kuran yapay zeka mühendisleri
- Büyük ölçekli LLM servislerinde maliyet ve latency optimizasyonundan sorumlu platform ekipleri
- Ön koşul: LLM API'leri ve temel context/token kavramlarıyla çalışma deneyimi
Kazanımlar
- Uzun context kullanımında lost-in-the-middle etkisini ve konum hassasiyetini deneysel olarak ölçer
- Uzun context, RAG ve hibrit mimariler arasında maliyet, latency ve doğruluk bazlı seçim yapar
- Kayan pencere, hiyerarşik özetleme ve semantik context sıkıştırma stratejilerini uygular
- Sağlayıcıların prompt/context caching özelliklerini tekrarlı uzun girdilerde etkinleştirir
- Çok sayfalı kurumsal dokümanlar için needle-in-a-haystack ve çoklu kanıt birleştirme testleri kurar
Konular
Uzun Context Mimarisi ve Sınırları
- RoPE ölçekleme, KV cache bellek ayak izi ve TTFT üzerindeki etkiler
- Lost-in-the-middle olgusu ve efektif context uzunluğu
Uzun Context mi, RAG mı, Hibrit mi?
- Sorgu sıklığı, belge değişim hızı ve token maliyetine göre karar matrisi
- Retrieval sonrası uzun context birleştirme kalıpları
Context Sıkıştırma ve Budama Teknikleri
- Bölüm seçimi, alaka düzeyine göre sıralama ve gereksiz blokların elenmesi
- Hiyerarşik özetleme ve map-reduce doküman işleme akışları
Çok Turlu Konuşma ve Bellek Yönetimi
- Kayan pencere, özet belleği ve yapılandırılmış durum (state) tabloları
- Epizodik ve semantik bellek katmanlarının ayrıştırılması
Prefix ve Context Caching
- OpenAI, Anthropic ve Gemini'de prompt/context caching mekanizmaları
- Cache hit oranını yükselten prompt dizilimi kuralları
Laboratuvar: Uzun Doküman Benchmark'ı
- Kurum dokümanları üzerinde needle-in-a-haystack ve sentez testleri
- Maliyet, latency ve doğruluk profilinin çıkarılması
Bu Kategorideki Diğer Eğitimler
-
Tek bir büyük modele bağımlı kalmadan, görev karmaşıklığına göre küçük ve büyük LLM'ler arasında dinamik yönlendirme (routing), cascade, fallback ve LLM gateway mimarisi kurmayı öğreten mühendislik programı.
- Canlı Kurs
- 6 modül
-
Görsel, taranmış belge, tablo, grafik, ses ve video girdilerini işleyen multimodal LLM uygulamaları geliştirme programı; VLM API'leri, open-weight vision modelleri, OCRsız belge anlama ve doğruluk ölçümü.
- Canlı Kurs
- 6 modül
-
Sparse Mixture of Experts (MoE) modellerinin router, aktif parametre ve uzman dengesi mantığını; VRAM hesaplamasını, vLLM/SGLang ile expert parallelism sunumunu ve LoRA ile uyarlanmasını kapsayan ileri seviye program.
- Canlı Kurs
- 6 modül
-
SSE, WebSockets ve WebRTC ile düşük gecikmeli metin, yapılandırılmış veri ve çift yönlü ses akışı sunan gerçek zamanlı LLM uygulamaları geliştirme; TTFT optimizasyonu, kesme (barge-in) ve eşzamanlılık yönetimi.
- Canlı Kurs
- 6 modül
-
1B–14B parametreli küçük dil modelleriyle (Llama, Qwen, Gemma, Phi, Ministral) sınıflandırma, çıkarım, yönlendirme ve dar kapsamlı görevlerde düşük maliyetli ve hızlı çözümler geliştirme; distillation ve ince ayar programı.
- Canlı Kurs
- 6 modül
-
Llama, Qwen, Mistral ve DeepSeek gibi open-weight modelleri vLLM, SGLang ve Ollama ile şirket içi veya özel bulutta OpenAI uyumlu API olarak sunma, GPU boyutlandırma, quantization ve güvenlik programı.
- Canlı Kurs
- 6 modül
Bizimle iletişime geçin
