Danışmanlarımızın Hizmet Verdiği Kurumlar

Program
7 modül
Format
Yerinde, online veya hibrit
Ön koşul
Python, Linux ve Docker
Belge
Katılım belgesi; talep halinde Boğaziçi Üniversitesi onaylı

Bulut API mi, Local LLM mi?

İkisi de doğru cevap olabilir. Karar verinin hassasiyetine, kullanım hacmine ve ekibinizin operasyon kapasitesine göre verilir. Eğitim bu kararın ölçütlerini öğretir.

Ölçüt Bulut API Local LLM
Veri İstekler sağlayıcının sunucularında işlenir. Sorular, dokümanlar ve yanıtlar kurum ağında kalır.
Maliyet Token başına ödenir; kullanım arttıkça fatura büyür. Donanım yatırımı yapılır; kapasite sabit ve bilinir.
Modeller En güncel kapalı modellere anında erişilir. Açık kaynak modeller kullanılır; model ve sürüm seçimi sizdedir.
Operasyon Kurulum ve bakım sağlayıcıdadır. Serving, izleme ve güncelleme ekibinizdedir.
Bağlantı İnternet erişimi gerekir. İnternet erişimi olmayan ağlarda da çalışır.

Kimler için?

Açık kaynak modelleri kurum içinde ayağa kaldıracak ve işletecek teknik ekipler için. Python, Linux ve Docker'a aşina olmak yeterli.

  • Yazılım geliştiriciler

    Açık kaynak LLM ekosistemini tanıyıp kurum içinde çalışan AI uygulamaları geliştirmek isteyen mid ve senior geliştiriciler.

  • Platform ve altyapı mühendisleri

    GPU kapasitesini planlayacak, model serving katmanını kurup ölçekleyecek ekipler.

  • DevOps ve MLOps mühendisleri

    Local LLM sistemlerinin deployment, monitoring ve bakımını üstlenecek operasyon uzmanları.

  • Teknik liderler ve mimarlar

    Bulut ile on-prem arasındaki kararı maliyet, performans ve güvenlik ölçütleriyle vermek isteyenler.

Hangi model, ne kadar bellek?

Local LLM projelerinde ilk soru donanımdır. Model boyutunu ve hassasiyeti seçin; model ağırlıklarının GPU belleğinde ne kadar yer kapladığını görün. Eğitimde bu hesabı kendi iş yükünüzle, bağlam uzunluğunu ve eş zamanlı kullanıcı sayısını da katarak yaparsınız.

Bu donanımın kurulu ve hazır gelmesini isterseniz: RuneBox'ı keşfedin

Model boyutu
Hassasiyet

≈ 5,4 GBağırlıklar + %20 pay

Ağırlıklar, KV cache payıyla birlikte tek bir 24 GB’lık GPU’ya sığar.

Kaba hesap: ağırlıklara %20 pay eklenir. Çizgiler her kartın kullanılabilir %80'ini gösterir; kalan bellek KV cache içindir ve bağlam uzunluğu ile eş zamanlı istek sayısıyla büyür.

Program

Yedi modül. Her modül canlı GPU ortamında uygulamayla ilerler; örnekler kurumunuzun kullanım senaryolarına göre uyarlanır.

  1. Açık kaynak LLM ekosistemi

    Qwen, Mistral, Gemma, gpt-oss, DeepSeek ve GLM aileleri; görev türüne, model boyutuna, Türkçe performansına ve lisansa göre model seçimi. GGUF ve SafeTensors formatları, model card okuma.

  2. Donanım planlama ve deployment mimarisi

    VRAM hesabı; AWQ, GPTQ, FP8 ve GGUF quantization'ın belleğe ve kaliteye etkisi. Tek sunucu ya da cluster, multi-GPU'da tensor ve pipeline parallelism, Docker ile container'lar.

  3. Model serving: vLLM, SGLang ve Ollama

    PagedAttention ve continuous batching; OpenAI uyumlu API ile mevcut uygulamaları değiştirmeden bağlama. Ollama ve llama.cpp ile hızlı prototip, vLLM ve SGLang ile production.

    Atölye Bir modeli kurum içinde OpenAI uyumlu endpoint olarak yayına alma.

  4. Local embedding ve vektör veritabanları

    BGE-M3 ve multilingual-e5 gibi çok dilli embedding modelleri; Qdrant, Milvus ve pgvector'u kurum içinde kurma ve kullanım senaryosuna göre seçme.

  5. On-prem RAG pipeline

    PDF, DOCX, XLSX ve e-posta için doküman işleme, taranmış belgeler için OCR, chunking, retrieval ve reranker ile sıralama. İnternet erişimi olmayan ortamda model ve paket yönetimi, ağ segmentasyonu ve şifreleme.

    Atölye Tüm bileşenleri kurum içinde çalışan uçtan uca bir RAG sistemi.

  6. Chatbot arayüzü ve kurumsal entegrasyon

    Open WebUI, Chainlit ve Gradio ile arayüz; konuşma geçmişi, kaynak gösterimi ve geri bildirim. SSO ile kimlik doğrulama, iç portal entegrasyonu.

  7. Performans, maliyet ve monitoring

    TTFT ve token/s ölçümü, yük testi; batching, KV cache ve semantic caching ile optimizasyon. Prometheus metrikleriyle izleme, API anahtarı ve rate limit. Bulut ile on-prem arasında toplam sahip olma maliyeti.

    Çıktı Kurumunuz için bulut ve on-prem maliyet karşılaştırması.

  8. Kurumunuza göre uyarlanır

    Modüllerin ağırlığı, kullanılacak modeller ve uygulama senaryoları; ekibinizin profiline ve mevcut altyapınıza göre eğitim öncesi görüşmede belirlenir.

Teklif alın

Format ve belge

Belge

Tüm katılımcılara RuneLab Akademi katılım belgesi verilir. Talep halinde eğitim Boğaziçi Üniversitesi Yaşamboyu Eğitim Merkezi ile birlikte yürütülür ve belge BÜYEM onaylı düzenlenir.

Boğaziçi Üniversitesi Yaşamboyu Eğitim Merkezi logosu

Eğitim sonunda ekibinizin kurduğu sistem

Her katman bir modülde kurulur. Eğitim bittiğinde ekibiniz bu sistemi uçtan uca bir kez kurmuş olur; kurulum adımları, konfigürasyonlar ve kod ekibinizde kalır.

Kurum ağı

  1. Modül 6ArayüzOpen WebUIChainlitGradio
  2. Modül 5RAG pipelineDoküman işlemeOCRRetrievalReranker
  3. Modül 4Embedding ve vektör DBBGE-M3multilingual-e5Qdrantpgvector
  4. Modül 3ServingvLLMSGLangOllamaOpenAI uyumlu API
  5. Modül 1–2Model ve donanımQwengpt-ossGemmaAWQVRAM planı

Modül 7 · Performans ve monitoring

RuneBox logosu

Aynı mimari, kurulu gelsin: RuneBox

Eğitimde kurduğunuz sistemin hazır hali: NVIDIA tabanlı GPU'lar, Local modeller ve RAG altyapısıyla kurumunuza kurulu gelir, bakımı RuneLab tarafından yapılır.

Sıkça Sorulan Sorular

Local LLM nedir?

Local LLM, bir dil modelinin bulut API'si yerine kurumun kendi sunucularında çalıştırılmasıdır. Model kurum içindeki GPU'lara yüklenir; sorular, dokümanlar ve yanıtlar kurum ağından çıkmaz. Bu eğitim, açık kaynak modellerle böyle bir sistemi kurmayı ve işletmeyi uygulamalı olarak öğretir.

Eğitim ne kadar sürer?

Süre; modüllerin kapsamına, ekibin seviyesine ve uygulamaların kurumunuzun altyapısında yapılıp yapılmayacağına göre eğitim öncesi görüşmede belirlenir ve teklifte yazılı olarak yer alır.

Eğitim için kendi GPU'muz olması gerekir mi?

Hayır. Uygulamalar için gereken GPU ortamı eğitim sırasında sağlanır; ortama erişim yöntemi kurumunuzun ağ kısıtlarına göre eğitim öncesinde birlikte planlanır. Kurumunuzda GPU altyapısı varsa uygulamaların bir bölümü onun üzerinde de yapılabilir.

Uygulamalarda şirket verimiz kullanılıyor mu?

Hayır. Uygulamalar bizim hazırladığımız örnek doküman setleriyle yapılır; gerçek şirket verisi hiçbir araca girilmez.

Hangi modeller kullanılıyor?

Qwen, Mistral, Gemma, gpt-oss, DeepSeek ve GLM gibi açık model aileleri. Seçim görev türüne, Türkçe performansına, donanıma ve lisans koşullarına göre yapılır. Model sürümleri her eğitim öncesinde gözden geçirilir.

İnternet erişimi olmayan ağlarda çalışır mı?

Evet. Modeller, embedding modelleri ve vektör veritabanı kurulduktan sonra sistem dış bağlantı olmadan çalışır. Air-gapped ortama model ve paket taşıma, güncelleme ve erişim kontrolü programda ayrıca ele alınır.

Fine-tuning programa dahil mi?

Bu program hazır açık kaynak modelleri kurum içinde çalıştırmaya odaklanır. LoRA ve QLoRA ile fine-tuning ihtiyaç olduğunda ayrıca planlanır.

RAG Eğitimi'nden farkı ne?

RAG Eğitimi, kurumsal bilgiye kaynaklı erişim sağlayan sistemlerin tasarımına odaklanır ve bulutta ya da kurum içinde çalışan her modelle uygulanabilir. Bu eğitim ise modelin kendisini kurum içinde çalıştırmayı öğretir; RAG burada tamamen on-prem bir pipeline olarak kurulur. RAG Eğitimi'ni inceleyin.

RuneBox ile ilişkisi ne?

RuneBox, bu eğitimde öğretilen mimarinin kurulu gelen ve bakımı RuneLab tarafından yapılan hali. Sistemi kendi ekibinizle kurup işletmek istiyorsanız eğitim, hazır bir altyapıyla başlamak istiyorsanız RuneBox uygundur. RuneBox kullanan ekipler de sistemi işletmek ve üzerine uygulama geliştirmek için bu eğitimden yararlanır.

Belge veriyor musunuz?

Tüm katılımcılara RuneLab Akademi katılım belgesi verilir. Talep ettiğiniz durumda eğitim Boğaziçi Üniversitesi Yaşamboyu Eğitim Merkezi ile birlikte yürütülebilir ve katılım belgesi BÜYEM onaylı düzenlenebilir.

Eğitmenleriniz kimler?

Eğitimi, RuneLab'de kurumsal AI projeleri yürüten, sektörde deneyimli senior AI engineer ve data scientist'ler verir.

İçerik kurumumuza göre uyarlanıyor mu?

Evet. Eğitim öncesi kısa bir görüşmeyle ekibinizin profilini, mevcut altyapınızı ve kullanım senaryolarınızı öğreniyor, modelleri ve uygulamaları buna göre hazırlıyoruz.

Ücret nasıl belirleniyor?

Katılımcı sayısı, format ve içerik uyarlamasının kapsamına göre kurumunuza özel bir teklif hazırlıyoruz. Formu doldurun, bir iş günü içinde dönüş yapalım.

Ekibiniz için teklif alın

Katılımcı sayısını, ekibin teknik profilini, format ve tarih tercihinizi yazın; bir iş günü içinde dönüş yapalım.

Teklif alın