Eğitimin Amacı ve Kapsamı
Birçok kurum fikri mülkiyet ve regülasyon nedenleriyle bulut tabanlı kod asistanlarına kaynak kod göndermek istemez; ancak yanlış kurulan lokal bir kod asistanı yüksek gecikme yüzünden geliştiriciler tarafından terk edilir. Bu program, satır içi otomatik tamamlama (Fill-in-the-Middle / FIM) için düşük gecikmeli küçük modeller ile sohbet, refactoring ve test yazımı için daha büyük kod modellerinin birlikte nasıl konumlandırılacağını gösterir.
Uygulamalarda katılımcılar vLLM veya Ollama/Tabby üzerinde Qwen2.5-Coder, DeepSeek-Coder veya Codestral modellerini sunar; VS Code ve JetBrains üzerinde Continue.dev eklentisini yapılandırır, kurum içi repo indeksleme (embedding + reranker) ekler ve geliştirici deneyimini hız metrikleriyle doğrular.
Kimler Katılmalı?
- Yazılım ekiplerine kurum içi AI araçları sağlayan Developer Experience ve platform mühendisleri
- Güvenlik politikaları nedeniyle bulut kod asistanı kullanamayan Ar-Ge ve yazılım ekipleri
- Geliştirici verimliliği projelerini yöneten yazılım mimarları ve takım liderleri
- Ön koşul: Docker, Linux ve VS Code veya JetBrains IDE deneyimi
Kazanımlar
- Otomatik tamamlama (FIM) ve sohbet/refactoring için ayrı kod modelleri seçmek
- vLLM veya Tabby ile milisaniye seviyesinde TTFT hedefleyen kod tamamlama servisi kurmak
- VS Code ve JetBrains IDE'lerini Continue.dev ile merkezi kurum sunucusuna bağlamak
- Kurum içi kod tabanı ve teknik dokümanlar için yerel embedding/RAG bağlamı tanımlamak
- Eşzamanlı geliştirici sayısına göre GPU kapasitesi ve gizlilik politikalarını belirlemek
Konular
Kod Asistanı Mimarisi ve Model Seçimi
- Inline FIM tamamlama ile chat/edit/agent iş yüklerinin farkı
- Qwen2.5-Coder, DeepSeek-Coder, StarCoder2 ve Codestral karşılaştırması
Düşük Gecikmeli Serving Yapılandırması
- vLLM ve llama.cpp üzerinde FIM için düşük TTFT ve prefix caching ayarları
- Küçük tamamlama modeli (1.5B–7B) + büyük sohbet modeli (14B–32B) kurgusu
IDE Entegrasyonu: Continue.dev ve Tabby
- VS Code ve JetBrains için merkezi
config.yamldağıtımı - Tabby ile anahtar teslim self-hosted kod asistanı kurulumu
Kurum İçi Kod Tabanı Bağlamı (Codebase RAG)
- AST tabanlı kod parçalama (chunking) ve yerel embedding modelleri
- Dokümantasyon, iç kütüphaneler ve MCP araçlarını asistana bağlama
Güvenlik, Telemetri ve Kapasite Planı
- API anahtarı yönetimi, prompt loglama sınırları ve lisans uyumu
- Geliştirici başına GPU boyutlandırma ve kabul oranı (acceptance rate) takibi
Bu Kategorideki Diğer Eğitimler
-
Kurumsal kullanım için açık ağırlıklı LLM seçimi: Llama, Qwen, Mistral, Gemma ve DeepSeek aileleri; ticari lisans analizi, dense/MoE mimari farkları, Türkçe ve tool calling yetkinliği ile kurum verisi üzerinde seçim matrisi oluşturma.
- Canlı Kurs
- 5 modül
-
NVIDIA Triton Inference Server ve KServe ile GPU üzerinde çoklu model sunumu: TensorRT-LLM/ONNX/Python backend'leri, dynamic batching, model ensemble, KServe InferenceService, Knative autoscaling ve Model Analyzer ile optimizasyon.
- Canlı Kurs
- 5 modül
-
LLM serving'de bellek ve eşzamanlılık darboğazlarını çözme: KV cache bellek matematiği, PagedAttention, SGLang RadixAttention, prefix caching, FP8 KV cache quantization, continuous batching ve chunked prefill ayarları.
- Canlı Kurs
- 5 modül
-
LLM servislerinde TTFT, ITL ve toplam throughput optimizasyonu: compute-bound ve memory-bandwidth-bound darboğaz analizi, FlashAttention/FlashInfer, CUDA Graphs, speculative decoding, paralellik ayarları ve SLO odaklı yük testi.
- Canlı Kurs
- 5 modül
-
Kubernetes üzerinde GPU ve LLM iş yüklerinin işletimi: NVIDIA GPU Operator, MIG ve time-slicing ile GPU paylaşımı, Kueue/Volcano ile kuyruk yönetimi, hızlı model ağırlığı önbellekleme, GPU autoscaling ve DCGM izleme.
- Canlı Kurs
- 5 modül
-
Küçük dil modellerinin (SLM) uç cihazlar, saha donanımları ve NPU/gömülü GPU'larda çalıştırılması: Llama 3.2/Qwen/Gemma/Phi (1B–4B), ONNX Runtime GenAI, ExecuTorch, TensorRT-Edge, Jetson ve çevrimdışı saha senaryoları.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
