Model Online/Fiziksel
Süre
Modüller 6 modül

Eğitimin Amacı ve Kapsamı

DeepSeek, Qwen, Mixtral ve Llama 4 gibi güncel açık ağırlıklı modellerin çoğu, yüksek kapasiteyi düşük çıkarım maliyetiyle birleştirmek için sparse Mixture of Experts (MoE) mimarisini kullanır. Ancak MoE modelleri; toplam parametre sayısının gerektirdiği yüksek VRAM ile token başına çalışan aktif parametre sayısının sunduğu hız arasında kendine özgü bir donanım ve sunum dengesi gerektirir.

Bu eğitim; MoE katmanlarını, top-k gating ve paylaşımlı uzman (shared expert) yapılarını, VRAM ve bant genişliği darboğazlarını, vLLM ve SGLang ile tensor/expert parallelism yapılandırmasını ve MoE üzerinde QLoRA ince ayarını uygulamalı olarak inceler.

Kimler Katılmalı?

  • Açık ağırlıklı büyük modelleri kurum altyapısında konumlandıran yapay zeka ve MLOps mühendisleri
  • Model mimarisi, quantization ve GPU kapasite planlaması yapan platform mimarları
  • MoE modelleri üzerinde fine-tuning yapacak veri bilimciler ve araştırmacılar
  • Ön koşul: Transformer mimarisi bilgisi ve temel GPU/PyTorch deneyimi

Kazanımlar

  • Dense ve sparse MoE modellerin toplam parametre, aktif parametre, FLOP ve VRAM farklarını hesaplar
  • Fine-grained ve shared-expert MoE tasarımlarının kalite ve sunum etkisini yorumlar
  • Çoklu GPU ortamında MoE modelleri için uygun quantization ve paralellik stratejisini seçer
  • Batch boyutu ve trafik desenine göre MoE modellerinin throughput/latency davranışını ölçer
  • Bir MoE modelinde doğru katmanları hedefleyerek LoRA/QLoRA yapılandırması kurar

Konular

Dense Transformer'dan Sparse MoE'ye Geçiş
  • FFN katmanlarının uzmanlara (experts) bölünmesi ve top-k gating mekanizması
  • Toplam parametre, aktif parametre ve token başına hesaplama maliyeti
Modern MoE Mimarileri ve Uzman Dengesi
  • Mixtral, Qwen-MoE, DeepSeek-V3 ve Llama 4 mimari karşılaştırması
  • Fine-grained uzmanlar, shared experts ve load-balancing kayıp fonksiyonları
Donanım, VRAM ve Bellek Bant Genişliği Analizi
  • Neden MoE tek istekte hızlı ama yüksek VRAM tüketir?
  • Batch size arttıkça aktif uzman oranının ve GPU kullanımının değişimi
MoE Model Serving ve Paralellik
  • vLLM ve SGLang'de Tensor Parallelism ve Expert Parallelism ayarları
  • FP8, AWQ ve GPTQ quantization'ın MoE router hassasiyetine etkisi
MoE Modellerinde Fine-Tuning (LoRA / QLoRA)
  • Attention katmanları mı, uzman FFN'leri mi hedeflenmeli?
  • Router dondurma (freezing) ve uzman çökmesini önleme pratikleri
Laboratuvar: Dense ve MoE Karşılaştırmalı Testi
  • Aynı aktif parametre bütçesinde dense ve MoE modelin hız/kalite kıyası
  • Kurum yük profiline göre GPU ve model boyutlandırma raporu

Bu Kategorideki Diğer Eğitimler

  • Akış (Streaming) ve Gerçek Zamanlı Yapay Zeka Uygulamaları

    SSE, WebSockets ve WebRTC ile düşük gecikmeli metin, yapılandırılmış veri ve çift yönlü ses akışı sunan gerçek zamanlı LLM uygulamaları geliştirme; TTFT optimizasyonu, kesme (barge-in) ve eşzamanlılık yönetimi.

    LLM Uygulama Mühendisliği Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • Küçük Dil Modelleri (Small Language Models - SLM)

    1B–14B parametreli küçük dil modelleriyle (Llama, Qwen, Gemma, Phi, Ministral) sınıflandırma, çıkarım, yönlendirme ve dar kapsamlı görevlerde düşük maliyetli ve hızlı çözümler geliştirme; distillation ve ince ayar programı.

    LLM Uygulama Mühendisliği Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • Açık Kaynak / Open-Weight Model Entegrasyonu ve Sunumu

    Llama, Qwen, Mistral ve DeepSeek gibi open-weight modelleri vLLM, SGLang ve Ollama ile şirket içi veya özel bulutta OpenAI uyumlu API olarak sunma, GPU boyutlandırma, quantization ve güvenlik programı.

    LLM Uygulama Mühendisliği Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • LLM Maliyet ve Gecikme Optimizasyonu (Prompt Caching & Latency)

    Üretimdeki LLM uygulamalarında token tüketimini, fatura maliyetini ve p95 gecikmeyi düşüren mühendislik teknikleri: prompt ve semantik caching, Batch API, çıktı kontrolü, model kademelendirme ve birim maliyet analizi.

    LLM Uygulama Mühendisliği Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • LangChain Temelleri ve Uygulama Geliştirme

    LangChain v0.3+ ekosistemiyle (LCEL, ChatModel soyutlaması, prompt şablonları, structured output, tool calling, retriever entegrasyonu ve LangSmith izleme) modüler LLM uygulamaları geliştirmeyi öğreten program.

    LLM Uygulama Mühendisliği Kurumsal
    Canlı Kurs
    6 modül
    İncele
  • Java ve .NET için LLM Geliştirme (Spring AI, LangChain4j, Semantic Kernel)

    Kurumsal Java (Spring AI, LangChain4j) ve .NET (Microsoft.Extensions.AI, Semantic Kernel) ekosistemlerinde Python'a geçmeden tip güvenli LLM, RAG, tool calling ve MCP entegrasyonu geliştirmeyi öğreten program.

    LLM Uygulama Mühendisliği Kurumsal
    Canlı Kurs
    6 modül
    İncele

Bizimle iletişime geçin