İnternetsiz Yapay Zeka Nasıl Kurulur? Local LLM Kurulum Rehberi

Kısaca: Evet, internetsiz yapay zeka mümkün. Açık ağırlıklı bir dil modelini bir kez indirir, sonra kendi bilgisayarınızda ya da sunucunuzda Ollama, llama.cpp, LM Studio veya vLLM ile çevrimdışı çalıştırırsınız. 8 milyar parametreli bir model 4 bit nicemlemeyle yaklaşık 5 GB tutar ve 8 GB VRAM'e sığar. 14 milyarlık modeller 4 bitte 12 GB ister.

Verisini kurum dışına göndermek istemeyen ekiplerin aradığı çözüm çoğu zaman bir local LLM: model bir kez indirilir, sonra ağ bağlantısı olmadan kendi makinenizde çalışır. Ollama'nın Linux kurulum rehberi kurulumu tek bir komuta indiriyor. Asıl iş, modelin hangi GPU'ya sığacağını hesaplamak ve doğru aracı seçmek.

Var. ChatGPT gibi bulut hizmetleri isteğinizi sağlayıcının sunucusuna gönderir. Local LLM (yerel büyük dil modeli) ise modelin ağırlık dosyasını kendi makinenize indirip çalıştırmak demektir. Model diskte durduğu sürece sohbet, belge özetleme ya da kod yardımı için internete gerek kalmaz.

Üreticilerin kendi belgeleri de bunu söylüyor. LM Studio'nun Offline Operation sayfasına göre indirilmiş bir modelle sohbet, belgeyle sohbet (RAG) ve yerel sunucu internet gerektirmiyor. Bağlantı model arama ve indirme, çalışma zamanı (runtime) indirme ve güncelleme kontrolü için gerekiyor. Ollama SSS sayfası da yerel çalıştırmada istemlerinizi ve verinizi görmediğini yazıyor. Ollama internete model indirmek, macOS ve Windows sürümlerinde güncelleme almak ve isteğe bağlı bulut özellikleri için çıkıyor.

Yani internetsiz yapay zeka için iki aşama var. Önce model bir kez indirilir. Sonra makine ağdan kopuk olsa bile model çalışır.

Local LLM, ağırlıkları açık yayımlanmış (açık ağırlıklı) bir dil modelinin sizin donanımınızda çalışan kopyasıdır. Bulut API'de model sağlayıcıda kalır ve siz kullandığınız token kadar ödersiniz. Local kurulumda donanım, bakım ve güncelleme sizin işinizdir, buna karşılık istemler ve belgeler sizin altyapınızdan çıkmaz. Büyük dil modelinin kendisini ve API ile kullanımını LLM nedir yazısında anlattık.

Kurumsal açıdan üç fark öne çıkar. Bu farklara göre şirketlerin hangisini seçmesi gerektiğini local LLM vs ChatGPT yazımızda ele aldık.

• Veri akışı: İstem ve yanıtlar kendi ağınızda kalır. Veri yerelliği tartışmalarında başlangıç noktası budur. Verinin, modelin ve altyapının kimin kontrolünde olduğu daha geniş soruyu egemen yapay zeka (sovereign AI) yazımızda ele aldık.
• Maliyet yapısı: Token başı ücret yerine GPU, sunucu ve işletme maliyeti vardır. Hangisinin ucuz olduğu kullanım hacminize bağlıdır.
• Model seçimi: Yalnızca ağırlıkları indirilebilen modelleri çalıştırabilirsiniz ve her modelin lisansı ayrıdır. Örneğin Qwen3-8B model kartına göre model Apache-2.0 lisanslıdır. Lisans farklarını açık ağırlıklı model lisansları yazımızda karşılaştırdık.

En kısa yol Ollama'dır. Aşağıdaki adımlar Linux bir sunucu içindir, Windows ve macOS için Ollama'nın kurulum paketleri var.

Ollama, Ollama Windows sayfasına göre Windows 10 22H2 ve üzerini, Ollama macOS sayfasına göre macOS Sonoma (14) ve üzerini destekler. Mac'te Apple M serisi işlemcilerde CPU ve GPU birlikte, Intel Mac'lerde yalnızca CPU kullanılır. vLLM'in NVIDIA ve AMD GPU desteği ise yalnızca Linux'ta. vLLM GPU kurulum belgesine göre Windows'ta WSL üzerinden kullanılabilir.

1. Ollama'yı kurun. Ollama Linux kurulum rehberindeki resmi komut şu:

curl -fsSL https://ollama.com/install.sh | sh

2. NVIDIA kart kullanıyorsanız sürücünün yüklü olduğunu nvidia-smi ile doğrulayın.
3. Modeli indirin ve çalıştırın. Örnekte Qwen3'ün 8 milyarlık sürümü var.

ollama pull qwen3:8b
ollama run qwen3:8b

4. Modelin GPU'ya sığıp sığmadığını kontrol edin. Ollama SSS sayfasına göre ollama ps çıktısındaki PROCESSOR sütunu "100% GPU", "100% CPU" ya da "48%/52% CPU/GPU" gibi bir bölüşüm gösterir.
5. Uygulamalarınızı bağlayın. Ollama OpenAI uyumluluk belgesine göre Ollama, OpenAI API'nin bir alt kümesini http://localhost:11434/v1/ adresinde sunar. OpenAI istemcisi kullanan bir uygulama, yalnızca adres değişikliğiyle yerel modele yönlendirilebilir.

Ağdan tamamen yalıtılmış ortamlarda modeli internete bağlı bir makinede hazırlayıp dosya olarak taşırsınız.

• Ollama: Kurulum paketini Linux rehberindeki elle kurulum adımlarıyla indirip açabilirsiniz. Model için bir GGUF dosyasını taşıyıp FROM /yol/model.gguf satırı olan bir Modelfile yazar, Ollama içe aktarma belgesindeki gibi ollama create ile içe aktarırsınız. Bulut özelliklerini SSS sayfasındaki OLLAMA_NO_CLOUD=1 ayarıyla kapatabilirsiniz.
• vLLM: vLLM Engine Arguments belgesine göre --model parametresi bir Hugging Face model adını ya da yerel klasör yolunu kabul eder. huggingface_hub ortam değişkenleri belgesine göre HF_HUB_OFFLINE=1 ayarlandığında Hugging Face Hub'a hiç HTTP isteği gitmez ve yalnızca önbellekteki dosyalar kullanılır. vLLM varsayılan olarak anonim kullanım istatistiği toplar. vLLM kullanım istatistiği belgesine göre bunu VLLM_NO_USAGE_STATS=1 ya da DO_NOT_TRACK=1 ile kapatabilirsiniz.
• LM Studio: Uygulama dışında edinilen model dosyaları Offline Operation sayfasında anlatıldığı gibi sideload ile yüklenebilir.

Gereken VRAM, modelin parametre sayısına, nicemleme (quantization) düzeyine ve bağlam uzunluğuna bağlı ve kabaca kendiniz hesaplayabilirsiniz.

Kaba kural şöyle: VRAM ≈ parametre sayısı × ağırlık başına bayt + KV cache + çalışma payı.

Hugging Face'in Optimizing LLMs for Speed and Memory belgesi, X milyar parametreli bir modelin ağırlıklarını yüklemek için float32'de kabaca 4 × X GB, bfloat16 ya da float16'da kabaca 2 × X GB VRAM gerektiğini yazıyor. Nicemleme bu sayıyı düşürür. llama.cpp quantize README dosyasında Llama-3.1-8B üzerinde ölçülen tabloya göre Q4_K_M ağırlık başına 4,89 bit, Q8_0 8,50 bit, F16 16,00 bit kullanıyor.

Hesabı gerçek bir modelle sınayalım. Qwen3-8B'nin model kartı 8,2 milyar parametre veriyor. Bu yazıda GB, 10⁹ bayt demek.

• 16 bit için 8,2 × 2 = yaklaşık 16,4 GB. Ollama kütüphanesindeki qwen3:8b-fp16 etiketi 16 GB.
• Q4_K_M için 8,2 × 4,89 ÷ 8 = yaklaşık 5,0 GB. Ollama qwen3 etiketleri arasındaki qwen3:8b-q4_K_M 5,2 GB.

Kural iki durumda da gerçek dosya boyutuna yakın sonuç veriyor. Nicemlemenin bedeli de var. Hugging Face belgesi bunu bellek verimliliği ile doğruluk arasında bir takas olarak tanımlıyor, llama.cpp de nicemlemenin bir miktar doğruluk kaybı getirebileceğini belirtiyor. Ayrıntıları quantization (nicemleme) yazımızda anlattık.

Model metni üretirken her token için anahtar ve değer vektörlerini bellekte tutar. Buna KV cache denir ve bağlam uzunluğuyla doğrusal büyür. Hugging Face belgesindeki formüle göre saklanan değer sayısı 2 × dizi uzunluğu × katman sayısı × başlık sayısı × başlık boyutudur. Grouped-query attention (GQA) kullanan modellerde başlık sayısının yerine daha küçük olan KV başlık sayısı geçer ve bellek ihtiyacı düşer.

Qwen3-8B'nin yapılandırma dosyasında 36 katman, 8 KV başlığı ve 128 başlık boyutu var. 16 bitte token başına 2 × 36 × 8 × 128 × 2 bayt = 147.456 bayt eder. Buradan şu hesaplar çıkar.

İki ayar bu sayıyı değiştirir. Ollama SSS sayfasına göre varsayılan bağlam 4.096 tokendir ve OLLAMA_CONTEXT_LENGTH ile değişir. Aynı anda birden çok isteğe yanıt vermek için OLLAMA_NUM_PARALLEL artırıldığında gereken bellek, paralel istek sayısı × bağlam uzunluğu oranında büyür. Flash Attention açıkken KV cache türünü OLLAMA_KV_CACHE_TYPE ile q8_0 yaparsanız bu bellek yaklaşık yarıya iner.

Aşağıdaki tablo, Ollama kütüphanesindeki Qwen3 dosya boyutlarına varsayılan 4.096 tokenlik bağlamın KV cache'ini ekliyor. Toplamlar yaklaşık değerler ve çalışma zamanının ek belleğini içermiyor, gerçek kullanımı ollama ps ile görebilirsiniz.

Parametre ve katman bilgileri Qwen3-14B ve Qwen3-32B model kartlarından. Bu tabloya göre pratik cevap şöyle.

• 8 GB VRAM: 8 milyarlık sınıfta bir modeli 4 bit nicemlemeyle, varsayılan bağlamla ve tek kullanıcıyla rahat çalıştırır. Q8_0 sürümü (8,9 GB) tek başına 8 GB'ı aşar. Dört paralel istek açarsanız KV cache 2,4 GB'a çıkar ve 4 bitlik model bile sınıra dayanır. Daha küçük kartlar için 2 milyar parametre sınıfındaki modellerin hangi işlerde yettiğini Liquid AI LFM3 yazısında anlattık.
• 12 GB VRAM: 8 milyarlık modeli 8 bitte ya da 4 bitte uzun bağlamla (32.768 tokende yaklaşık 10 GB), 14 milyarlık modeli ise 4 bitte çalıştırır. Belge özetleme gibi uzun bağlam isteyen işler için 12 GB daha güvenli seçimdir.
• 24 GB ve üzeri: 32 milyarlık sınıfı 4 bitte tek kartta çalıştırmak ya da küçük modelle birkaç kullanıcıya aynı anda servis vermek için gerekir.

Model VRAM'e sığmazsa yine çalışır, ama bir kısmı CPU'da işlenir. llama.cpp README dosyasına göre CPU+GPU karışık çalışma, VRAM'den büyük modelleri kısmen hızlandırmak için var. Uzmanlar karışımı (MoE) modellerde dikkat edin. Ollama'daki qwen3:30b-a3b etiketi 4 bitte 19 GB, yani aktif parametre sayısı küçük olsa da bütün ağırlıklar belleğe yüklenir. Bu konuyu Llama 4 MoE yazımızda ayrıntılı anlattık.

• Ollama: Ollama donanım desteği sayfasına göre NVIDIA tarafında compute capability 5.0 ve üzeri, 550 ve üzeri sürücü gerekir. Compute capability 5.0 ile 6.2 arasındaki kartlar 570 ve üzeri sürücü ister. Listede RTX 3060 (8.6), RTX 4060 (8.9) ve GTX 1080 (6.1) var. AMD Radeon kartlar ROCm v7 ile, Apple GPU'lar Metal ile, diğer bazı GPU'lar Vulkan ile desteklenir.
• vLLM: vLLM GPU kurulum belgesine göre NVIDIA'da compute capability 7.5 ve üzeri ister (T4, RTX 20 serisi, A100, L4, H100 gibi). AMD'de MI200, MI300, MI350 ile Radeon RX 7900 ve RX 9000 serileri desteklenir. Yani eski bir GTX 1080 Ollama'da çalışır ama vLLM'de çalışmaz.
• LM Studio: LM Studio sistem gereksinimleri sayfasına göre Windows'ta AVX2 destekli işlemci gerekir, en az 16 GB RAM ve en az 4 GB ayrılmış VRAM önerilir. Mac'te Apple Silicon ve macOS 14 gerekiyor, Intel Mac desteklenmiyor.

Ollama tek makinede hızlı başlamak, vLLM çok kullanıcılı bir üretim servisi kurmak için tasarlandı. Seçimi çoğu zaman aynı anda kaç kişiye hizmet vereceğiniz belirler.

Ollama tek komutla kurulur, model kütüphanesi hazırdır ve OpenAI uyumlu bir API sunar. Ollama SSS sayfasına göre varsayılan ayarlarda bir model aynı anda tek isteği işler (OLLAMA_NUM_PARALLEL varsayılanı 1), kuyrukta en fazla 512 istek bekler ve kuyruk dolunca 503 hatası döner. Kişisel kullanım, pilot projeler ve küçük ekipler için uygundur.

vLLM ise yüksek eş zamanlı servis için yazılmış bir çıkarım (inference) motorudur. vLLM belgeleri PagedAttention ile KV cache belleğinin verimli yönetimini, gelen isteklerin sürekli toplu işlenmesini (continuous batching), tensor ve pipeline paralelliğini ve OpenAI uyumlu API sunucusunu öne çıkarıyor. vLLM Quickstart belgesine göre sunucu varsayılan olarak http://localhost:8000 adresinde açılır ve bir seferde bir model barındırır. GPU belleğinin büyük bölümünü baştan ayırır ve ağırlıklardan kalan kısmı KV cache için kullanır, oranı Engine Arguments belgesindeki gpu-memory-utilization ayarı belirler. FP8, INT8, INT4, GPTQ ve AWQ gibi nicemleme biçimlerini destekler. vLLM GGUF belgesi ise GGUF desteğini son derece deneysel diye tanımlıyor.

Lisans tarafında Ollama ve llama.cpp MIT, vLLM Apache-2.0 lisanslıdır. Lisans metinleri Ollama, llama.cpp ve vLLM depolarında.

llama.cpp, Ollama'nın da içe aktarabildiği GGUF biçimini çalıştıran C/C++ kütüphanesidir. README dosyasına göre bağımlılık gerektirmez, Apple Silicon, x86 işlemciler, NVIDIA (CUDA) ve AMD (HIP) üzerinde çalışır ve 1,5 bitten 8 bite kadar nicemlemeyi destekler. Paketle gelen sunucu, llama-server README dosyasına göre OpenAI uyumlu uç noktalar, paralel çözümleme ve sürekli toplu işleme sunar. LM Studio ise bir masaüstü uygulamasıdır. Model indirme, sohbet ve yerel sunucu tek arayüzdedir ve indirilmiş modellerle çevrimdışı çalışır.

Ollama'nın ne zaman yetmediği ve vLLM'e ne zaman geçmek gerektiği, Ollama ile Lokal LLM Çalıştırma eğitiminin son bölümünün konusu. vLLM tarafındaki bellek ve batching ayarlarını, modeli birden çok GPU'ya bölmeyi ve KV cache kullanımını izlemeyi vLLM ile Model Sunma eğitiminde işliyoruz.

Qwen3 gibi genel modellerin yanında, belirli Türkçe işler için eğitilmiş açık modeller de aynı yöntemle internetsiz çalışır. RuneLab'ın Hugging Face'te Apache 2.0 lisansıyla yayımladığı üç model buna örnek.

• Hati Glint SQL: Qwen3.5-9B tabanlı, Türkçe soruları SQL'e çeviren ve araç çağırabilen 9 milyar parametreli model. Hati Glint SQL model kartına göre bf16 ağırlıkları yaklaşık 16,8 GB GPU belleği istiyor ve model vLLM 0.31.0 ile test edildi. Yani 16 bitte 16 GB'lık bir karta sığmaz, 24 GB sınıfı bir kart ister.
• Vör-LateEmbed-TR: Türkçe belge araması için eğitilmiş, 0,6 milyar parametreli late-interaction embedding modeli. İnternetsiz bir RAG kurulumunda belgeleri bulan parça budur.
• Kenning Turkish Legal: Sözleşme, içtihat ve mevzuat aramasına uyarlanmış 0,3 milyar parametreli Türkçe hukuk embedding modeli.

Embedding modelleri cevap yazmaz, ilgili belgeleri bulur. Kurum içi bir belge asistanında aramayı Vör-LateEmbed-TR ya da Kenning Turkish Legal ile, cevabı yerel bir LLM ile yaparsınız ve hiçbir belge ağ dışına çıkmaz. Böyle bir kurulumun doğru belgeyi bulup bulmadığının nasıl ölçüldüğünü Türkçe RAG test rehberimizde anlattık.

Bu hattı kendiniz kurmak isterseniz Local LLM Eğitimi programı model ve VRAM planından yerel embedding modeline, vektör veritabanına ve kurum içi RAG'e kadar aynı sırayı izliyor. Hazır kullanmak isterseniz RuneLab'ın RuneDesk asistanı kurum ağında çalışır ve her cevabı belge adı ve sayfasıyla verir.

Kurulum kolay, işletmesi daha fazla dikkat ister. Satın alma ve BT ekiplerinin kontrol listesine şunları ekleyin.

• Ağa açma: Ollama SSS sayfasına göre Ollama varsayılan olarak 127.0.0.1:11434 adresinde dinler ve bu adres OLLAMA_HOST ile değiştirilir. API'yi ağa açacaksanız önüne kimlik doğrulama yapan bir ters vekil sunucu ve erişim kaydı koyun. RuneLab'ın RuneGate ürünü bu katmanı hazır verir: modelleri OpenAI uyumlu tek bir uç noktanın arkasına alır, ekip bütçesi aşılmadan durdurur ve her isteği kaydeder.
• Dışarı giden bağlantılar: Ollama'nın bulut özelliklerini OLLAMA_NO_CLOUD=1 ile, vLLM'in kullanım istatistiğini VLLM_NO_USAGE_STATS=1 ile kapatın. Model indirmesi gereken makinelerde vekil sunucu HTTPS_PROXY ile tanımlanır.
• Depolama: Ollama macOS sayfasına göre model dosyaları onlarca, bazen yüzlerce GB tutabilir. Konumu OLLAMA_MODELS ile değiştirebilirsiniz.
• Kapasite: Kullanıcı sayısı arttıkça darboğaz ağırlıklar değil KV cache olur. Eş zamanlı kullanıcı sayısını ve ortalama bağlam uzunluğunu baştan tahmin edin, VRAM'i buna göre seçin. Ağırlık ve KV cache formüllerinden, kullanıcı profilinden çıkan eşzamanlılık hedefine kadar bu hesabı GPU Kapasite Planlaması ve Donanım Boyutlandırma eğitiminde uçtan uca yapıyoruz. Trilyon parametreli bir MoE modelinde bu hesabın nereye vardığını Mistral Large 4 kurum içi rehberinde gösterdik.
• Donanım: Sunucuyu kendiniz toplamak istemiyorsanız RuneLab'ın RuneBox altyapısı NVIDIA tabanlı GPU'larla kurumunuzun veri merkezine kurulur.
• Performans testi: Hız kart, model, nicemleme ve bağlama göre çok değişir. Satın almadan önce kendi iş yükünüzle, hedef donanımda ölçün.

Evet. LM Studio gibi masaüstü uygulamaları, model bir kez indirildikten sonra sohbet, belgeyle sohbet ve yerel sunucu işlevlerini internet olmadan çalıştırır. Ollama da modeli indirdikten sonra yerel olarak çalışır. İnternet model indirme, arama ve güncelleme gibi işler için gerekir.

Şart değil. Ollama ve llama.cpp modeli yalnızca işlemciyle de çalıştırabilir, model GPU'ya sığmazsa bir kısmını işlemciye verir. Ancak GPU, özellikle çok kullanıcılı kullanımda belirgin fark yaratır. vLLM ise NVIDIA'da compute capability 7.5 ve üzeri bir GPU ister.

8 milyar parametreli bir model için 4 bit nicemlemeyle yeter. Qwen3-8B'nin 4 bitlik Ollama sürümü 5,2 GB, varsayılan 4.096 token bağlamın KV cache'i yaklaşık 0,6 GB. 8 bitlik sürüm ya da 4 bitte 14 milyarlık modeller için 12 GB gerekir.

Ollama, açık ağırlıklı dil modellerini tek komutla indirip kendi bilgisayarınızda ya da sunucunuzda çalıştırmanızı sağlayan MIT lisanslı bir araçtır. Linux, Windows ve macOS üzerinde çalışır ve OpenAI uyumlu bir API sunar.

Quantization (nicemleme), model ağırlıklarını daha az bitle saklayarak bellek ihtiyacını düşürür, karşılığında bir miktar doğruluk kaybı olabilir. GGUF, llama.cpp'nin kullandığı ve Ollama'nın içe aktarabildiği model dosya biçimidir. Örneğin Q4_K_M ağırlık başına yaklaşık 4,9 bit kullanır.

Var. RuneLab'ın Apache 2.0 lisanslı Hati Glint SQL modeli Türkçe soruları SQL'e çevirir ve araç çağırır, bf16 ağırlıkları yaklaşık 16,8 GB GPU belleği ister. Türkçe belge araması için Vör-LateEmbed-TR, hukuk metinleri için Kenning Turkish Legal embedding modelleri de internetsiz çalışır.

Tek bir rakam vermek yanıltıcı olur, çünkü sonuç donanıma, modele ve eş zamanlı kullanıcı sayısına bağlıdır. vLLM çok kullanıcılı servis için tasarlanmıştır, Ollama ise tek makinede kolay kurulum için. Karar vermeden önce kendi iş yükünüzle ölçün.

• Ollama, Ollama SSS sayfası: gizlilik, ortam değişkenleri, bağlam, paralel istekler, kuyruk ve KV cache türü
• Ollama, Ollama donanım desteği sayfası, Ollama Linux kurulum rehberi, Ollama Windows sayfası ve Ollama macOS sayfası
• Ollama, Ollama içe aktarma belgesi, Ollama OpenAI uyumluluk belgesi ve Ollama qwen3 etiketleri (dosya boyutları)
• vLLM, vLLM belgeleri, vLLM GPU kurulum belgesi, vLLM Quickstart, vLLM Engine Arguments belgesi, vLLM GGUF belgesi ve vLLM kullanım istatistiği belgesi
• ggml-org, llama.cpp README, llama.cpp quantize README (Llama-3.1-8B ölçüm tablosu) ve llama-server README
• LM Studio, Offline Operation sayfası ve LM Studio sistem gereksinimleri sayfası
• Hugging Face, Optimizing LLMs for Speed and Memory ve huggingface_hub ortam değişkenleri belgesi
• RuneLab, Hati Glint SQL model kartı: taban model, lisans, bf16 bellek ihtiyacı ve vLLM testi
• Qwen, Qwen3-8B model kartı ve yapılandırma dosyası, Qwen3-14B ve Qwen3-32B model kartları

• LLM nedir?
• LLM quantization (nicemleme) nedir?
• Egemen yapay zeka (sovereign AI) nedir?
• Llama 4 MoE yapısı ve VRAM ihtiyacı
• Eğitimler: Ollama ile Lokal LLM Çalıştırma, vLLM ile Model Sunma, Masaüstünde Lokal Modeller (llama.cpp, GGUF, LM Studio), Local LLM Eğitimi