Eğitimin Amacı ve Kapsamı
Demo ortamında çalışan bir LLM akışı; değişken gecikmeler, sağlayıcı kesintileri, rate limit aşımı, deterministik olmayan çıktılar ve güvenlik riskleri nedeniyle üretim ortamında kolayca kırılabilir. Bu eğitim; yüksek erişilebilirlikli LLM sistemleri için referans mimari kalıplarını, merkezi AI gateway katmanını, senkron ve olay güdümlü (event-driven) işleme modellerini, circuit breaker ve çok kademeli fallback stratejilerini ele alır.
Katılımcılar, kurumlarının mevcut mikroservis ve veri altyapısına entegre olabilecek, hata ve fallback tasarımı ile OpenTelemetry tabanlı gözlemlenebilirlik içeren uçtan uca bir üretim mimarisi tasarlar.
Kimler Katılmalı?
- LLM tabanlı ürünlerin üretim mimarisinden sorumlu yazılım, platform ve çözüm mimarları
- Kritik iş süreçlerine yapay zeka servisleri entegre eden kıdemli backend ve AI mühendisleri
- Kurumsal AI platformu, iç standartlar ve SRE pratiklerini kuran mühendislik liderleri
- Ön koşul: Dağıtık sistemler/mikroservis mimarisi ve LLM API geliştirme deneyimi
Kazanımlar
- Senkron istek/yanıt, streaming ve asenkron kuyruk mimarilerini iş gereksinimine göre seçer
- Merkezi bir AI gateway üzerinde kimlik doğrulama, bütçe/kota, PII maskeleme ve yönlendirme kurgular
- Timeout, retry budget, circuit breaker ve graceful degradation (zarif bozulma) kalıplarını uygular
- Girdi/çıktı guardrail'lerini gecikme bütçesini aşmadan mimariye yerleştirir
- OpenTelemetry, dağıtık izleme (tracing) ve online eval örneklemesiyle üretim sağlığını izler
Konular
Prototipten Üretime: LLM Sistemlerinin Dağıtık Sistem Zorlukları
- Yüksek ve değişken gecikme, token bazlı kotalar ve stokastik hataların mimariye etkisi
- Senkron API, SSE streaming ve Kafka/RabbitMQ tabanlı asenkron iş akışı kalıpları
Merkezi AI Gateway ve Kontrol Düzlemi
- Çoklu ekip ve çoklu sağlayıcı için tek giriş noktası: kimlik, kota, maliyet dağıtımı (chargeback)
- Merkezi prompt/model kayıt defteri ve gölge (shadow/canary) trafik yönlendirme
Dayanıklılık, Hata ve Fallback Tasarımı
- Hedging, kademeli timeout, retry fırtınalarını önleme ve circuit breaker
- Bölgesel/sağlayıcılar arası fallback ve model dışı deterministik yedek davranışlar
Durum Yönetimi, Idempotency ve Önbellekleme
- Çok adımlı akışlarda durum (state) kalıcılığı, checkpointing ve idempotent araç çağrıları
- Çok katmanlı önbellekleme (prompt cache, exact cache, semantic cache) mimarisi
Güvenlik, Guardrail ve Gözlemlenebilirlik Katmanları
- Senkron hızlı guardrail'ler ile asenkron derin denetimlerin ayrıştırılması
- OpenTelemetry GenAI semantik standartları, Langfuse/Arize Phoenix ve canlı kalite örneklemesi
Mimari Atölye: Kurumsal Üretim Referans Mimarisi
- Kurumun gerçek bir AI ürünü için mimari karar kaydı (ADR) ve bileşen diyagramı
- Hata senaryoları (chaos/failure modes) üzerinden tasarım incelemesi
Bu Kategorideki Diğer Eğitimler
-
Foundation model ve LLM'lerin nasıl çalıştığını; token, context window, sampling, halüsinasyon, model aileleri ve prompting–RAG–fine-tuning seçimini uygulamalı anlatan, teknik ekipler için temel program.
- Canlı Kurs
- 6 modül
-
Transformer mimarisini içeriden inceleyen teknik program: tokenization, self-attention, RoPE, KV cache, scaling laws, SFT, RLHF/DPO ve reasoning modelleri; PyTorch ve Hugging Face Transformers ile uygulamalı.
- Canlı Kurs
- 6 modül
-
OpenAI, Anthropic Claude ve Google Gemini API'leri ile streaming, konuşma durumu, retry, rate limit, fallback ve temel eval içeren üretime yakın bir LLM uygulaması geliştirmeyi öğreten uygulamalı program.
- Canlı Kurs
- 6 modül
-
LLM'lerden güvenilir JSON almak için JSON Schema, OpenAI Structured Outputs, Gemini response schema, Pydantic/Zod, Instructor ve constrained decoding; doğrulama, onarım döngüleri ve belge veri çıkarımı uygulamaları.
- Canlı Kurs
- 6 modül
-
LLM'lerin tool/function calling ile API'leri, veri tabanlarını ve iç sistemleri güvenle çağırmasını sağlayan program: tool şeması tasarımı, paralel çağrılar, MCP sunucuları, hata yönetimi ve yetki sınırları.
- Canlı Kurs
- 6 modül
-
LLM uygulamalarında system prompt, şablon, few-shot örnek, retrieval sonucu, bellek ve tool tanımlarının context window'a nasıl yerleşeceğini tasarlayan context engineering programı; versiyonlama ve eval odaklı iterasyon dahil.
- Canlı Kurs
- 6 modül
Bizimle iletişime geçin
