llama.cpp çizimi: yerel tezgahta yuvasına giren mühürlü taş kartuş ve yanında farklı biçimli taş rafı.
Blog

llama.cpp Nedir? Ollama'dan Farkı ve Kurulumu

GGUF biçimi, llama-server'ın OpenAI uyumlu API'si, şirkette llama.cpp ile vLLM arasındaki seçim ve Türkçe işler için açık ağırlıklı bir model.

11 dk okumaYazan: Engin Deniz Alpman

Kısaca: llama.cpp, büyük dil modellerini (LLM) kendi bilgisayarınızda ya da sunucunuzda çalıştırmak için yazılmış, MIT lisanslı ve açık kaynak bir C/C++ çıkarım kütüphanesi ve sunucusudur. Modelleri GGUF dosya biçiminde çalıştırır, OpenAI uyumlu bir API sunucusu ve yerleşik bir sohbet arayüzü içerir. Proje 13 Kasım 2026'da v1.0.0 sürümüne geçti. Ollama ve LM Studio ise llama.cpp'den ayrı uygulamalardır.

Açık bir modeli kendi bilgisayarında çalıştırmak isteyen çoğu kişi işe Ollama ya da LM Studio ile başlıyor. llama.cpp ile birlikte üçü de çıkarım (inference), yani eğitilmiş bir modelden yanıt üretme işini kendi donanımınızda yapmanızı sağlıyor. llama.cpp'nin Ollama'dan farkı size bıraktığı kontrolde: her ayarı, C API'yi ve sunucuyu siz yönetirsiniz. Kurulumu ise tek satırlık bir betik, Windows'ta winget, Mac'te Homebrew ya da Llama adlı masaüstü uygulamasıyla yapılıyor. Hangisiyle başlayacağınızı da üç şey belirliyor: ne kadar ayar istediğiniz, modeli kaç kişiye sunacağınız ve hangi donanımda çalıştıracağınız.

llama.cpp nedir, ne işe yarar?

#

llama.cpp, LLM'leri ve çok kipli (multimodal) modelleri en az kurulumla, geniş bir donanım yelpazesinde, yerelde ve bulutta çalıştırmak için yazılmış bir C/C++ çıkarım projesidir. Projenin llama.cpp README dosyası ana hedefi böyle tanımlıyor ve projenin, makine öğrenmesi için yazılmış bir tensör kütüphanesi olan ggml'in üzerine kurulu olduğunu yazıyor.

Hugging Face'te yayımlanan resmi llama.cpp v1.0.0 duyurusu, llama.cpp'nin çok kipli LLM'leri tüketici sınıfı bilgisayarlardan üst düzey kurumsal sunuculara kadar çalıştırdığını yazıyor. Bunu nicemleme, optimize edilmiş arka uçlar ve taşınabilir C/C++ koduyla yapıyor. Aynı duyuruya göre proje 150'den fazla mimari varyantını ve yaygın speculative decoding yöntemlerinin tümünü destekliyor. Küçük bir taslak modelin büyük modeli nasıl hızlandırdığını speculative decoding nedir yazımızda anlattık.

llama.cpp hangi model biçimini kullanır?

#

llama.cpp modelin GGUF dosya biçiminde olmasını istiyor. Depodaki model belgesine göre başka biçimdeki modeller depodaki convert_*.py betikleriyle GGUF'a çevriliyor ve Hugging Face'te llama.cpp ile uyumlu binlerce GGUF model bulunuyor. Nicemleme (quantization) ağırlıkları daha az bitle saklayarak modelin bellek ihtiyacını düşürüyor. Bir modelin daha az bite nasıl sığdığını quantization (nicemleme) nedir yazımızda anlattık.

llama.cpp API sunucusu olarak kullanılabilir mi?

#

Evet. Kurulumdan sonra iki temel komut var: llama cli modeli komut satırında çalıştırıyor, llama serve ise OpenAI uyumlu bir API sunucusu açıyor. llama-server README dosyasına göre sunucu F16 ve nicemlenmiş modelleri GPU'da ve CPU'da çalıştırabiliyor. OpenAI uyumlu chat completions, responses ve embeddings uçları, Anthropic Messages API ile uyumlu bir uç, çok kullanıcılı paralel çözümleme (parallel decoding), sürekli toplu işleme (continuous batching), fonksiyon çağırma ve Llama Chat adlı yerleşik bir sohbet uygulaması da sunucunun özellikleri arasında. OpenAI API'siyle çalışan bir uygulama, adresi değiştirilerek bu sunucudaki modele bağlanabiliyor.

llama.cpp ücretsiz mi, lisansı nedir?

#

llama.cpp ücretsiz ve MIT lisanslı. Lisans, yazılımın bir kopyasını edinen herkese ücretsiz olarak yazılımı kısıtlamasız kullanma, kopyalama, değiştirme, birleştirme, yayımlama, dağıtma, alt lisanslama ve satma izni verir. Telif ve izin bildiriminin tüm kopyalara veya önemli bölümlerine eklenmesini şart koşar. Yazılım "OLDUĞU GİBİ" (AS IS), hiçbir garanti olmadan sunulur ve yazarlar ile telif sahipleri hiçbir talep veya zarardan sorumlu tutulamaz.

Bu lisans aracın kendisi için geçerli. llama.cpp ile çalıştırdığınız model dosyasının lisansı ayrıdır. Açık modellerin lisanslarını ve ticari kullanım koşullarını açık ağırlıklı model lisansları yazımızda karşılaştırdık.

llama.cpp ile Ollama ve LM Studio arasındaki fark nedir?

#

llama.cpp bir C/C++ çıkarım kütüphanesi ve sunucusudur. Ollama ve LM Studio ise modeli indirip çalıştırmayı kolaylaştıran ayrı uygulamalardır. Üçünün ilişkisini resmi belgeler şöyle anlatıyor. Ollama README dosyası, desteklenen arka uçlar (Supported backends) başlığı altında llama.cpp'yi sayıyor. Ollama'nın Importing a Model belgesi, Ollama'nın GGUF modelleri içe aktarırken nicemlemediğini yazıyor ve bunun için önce llama.cpp'nin llama-quantize aracı gibi bir GGUF aracını öneriyor. LM Studio belgeleri ise LM Studio'nun Mac, Windows ve Linux'ta modelleri llama.cpp ile, Apple Silicon Mac'lerde ayrıca Apple'ın MLX'iyle çalıştırdığını yazıyor.

llama.cpp, Ollama ve LM Studio karşılaştırması (resmi belgeler, 18 Kasım 2026)
Konu llama.cpp Ollama LM Studio
Resmi tanımLLM ve çok kipli modeller için C/C++ çıkarımAçık modellerle yerelde ya da bulutta geliştirmeLlama, DeepSeek, Qwen gibi LLM'leri yerelde çalıştırma
KurulumKurulum betiği, Llama uygulaması, paket yöneticileri, Docker, kaynaktan derlememacOS, Windows ve Linux için betik ya da kurulum dosyası, Docker imajımacOS, Windows ve Linux için kurulum dosyası
Arayüzllama cli, llama serve ve yerleşik Llama Chatollama komut satırıMasaüstü sohbet arayüzü ve lms komut satırı
APIOpenAI ve Anthropic Messages uyumlu uçlarKendi REST API'si ve OpenAI API'sinin bir alt kümesiKendi REST API'si, OpenAI ve Anthropic uyumlu uçlar
Model biçimiGGUF zorunlu, diğer biçimler çevrilirModelfile ile GGUF ya da Safetensors içe aktarmallama.cpp (GGUF) ve Apple Silicon'da MLX
llama.cpp ile ilişkisiProjenin kendisiREADME'de "Supported backends" altında llama.cppBelgelere göre modelleri llama.cpp ile çalıştırıyor
LisansMITMITKendi kullanım koşulları (kapalı kaynak)

Lisans satırındaki fark kurumsal kullanımda önemli. Ollama'nın lisans dosyası da llama.cpp gibi MIT. LM Studio ise açık kaynak değil: LM Studio App Terms of Service, uygulamayı yalnızca kişisel ya da şirket içi iş amaçlarıyla kullanmak için münhasır olmayan ve devredilemez bir lisans veriyor. API tarafında Ollama'nın OpenAI compatibility belgesi OpenAI API'sinin bir alt kümesini desteklediğini yazıyor, LM Studio Developer Docs da kendi REST API'sinin yanında OpenAI ve Anthropic uyumlu uçları sayıyor.

Resmi tanımlardan çıkan seçim kuralı şu. Bütün ayarlara erişmek, C API üzerinden kendi uygulamanıza bağlamak ya da sunucuyu kendiniz yönetmek istiyorsanız llama.cpp. Tek komutla model indirip Claude Code ya da Codex gibi kodlama ajanlarına bağlamak istiyorsanız Ollama. Modelleri grafik arayüzde arayıp indirmek ve onlarla sohbet etmek istiyorsanız LM Studio. Ollama yolunu ekipçe öğrenmek isteyenler için RuneLab'ın Ollama ile Lokal LLM Çalıştırma eğitimi var.

llama.cpp v1.0.0 ile ne değişti?

#

13 Kasım 2026'da llama.cpp ve ggml birlikte v1.0.0 sürümüne geçti ve sürüm numarası artık API uyumluluğunu gösteriyor. v1.0.0 sürüm sayfası GitHub'da, duyurusu Hugging Face'te aynı gün yayımlandı. Duyurudaki kurala göre büyük sürüm (MAJOR) artışı, ./include altındaki genel C API'sinde geriye uyumsuz bir değişiklik demek. MINOR geriye uyumlu bir özellik, arka uç güncellemesi, model desteği ya da API eklemesi, PATCH ise API'yi değiştirmeyen bir hata düzeltmesi.

Sürüm notlarında kullanıcıyı ilgilendiren başlıklar şunlar:

  • Kullanımdan kaldırılmış (deprecated) genel API silindi, NextN ve speculative decoding API'si llama.h içine alındı.
  • KV cache, yani dikkat katmanlarının anahtar ve değer vektörlerini bellekte tuttuğu alan, artık OCP FP8 biçiminde saklanabiliyor.
  • Ana bellekte duran ve CPU payı ayarlanabilen bir MoE uzman önbelleği eklendi.
  • llama-server için SSRF, CORS ve DNS rebinding düzeltmeleri geldi.
  • OpenAI uyumlu yeni bir /v1/audio/speech ucu eklendi.
  • Web arayüzü sohbet grupları ve markdown düzenleyiciyle yeniden tasarlandı.

Sunucu artık istemci bağlantıyı kestiğinde ya da zaman aşımında MCP araç çağrılarını iptal ediyor ve MCP sunucusuna bildiriyor. Modellerin dış araçlara bağlandığı bu protokolü MCP nedir yazımızda anlattık.

llama.cpp v1.0.0 sürüm sayfasından indirilir mi?

#

Hayır, hazır derlemeler gece derlemelerinde (nightly) yayımlanıyor. 18 Kasım 2026 itibarıyla v1.0.0 sayfasında yalnızca nightly-tag.txt var. Dosyada yazan etiket, v1.0.0 ile aynı gün yayımlanan b12359 gece derlemesine ait. Bu derleme işlemci (CPU), CUDA, Vulkan, ROCm ve SYCL gibi farklı arka uçlar için toplam 38 hazır dosya taşıyor. Gece derlemeleri sürüyor, 18 Kasım'da yayımlanan b12503 de 38 dosyayla geldi.

Depodaki sürüm süreci belgesi de GitHub sürümlerinde şimdilik yalnızca gece ve geliştirme derlemelerinin yayımlandığını yazıyor. Sürümler kullanıcıya kurulum betiği, paket yöneticileri ve kaynaktan derleme yoluyla ulaşıyor. Bu yüzden v1.0.0'ı aşağıdaki resmi kurulum yollarından biriyle kurmak gerekiyor.

llama.cpp nasıl kurulur?

#

llama.cpp'yi kurmanın en kısa yolu README'deki kurulum betiği. README beş yol sayıyor: kurulum betiği, llama.app sayfası, Docker, GitHub sürüm sayfasındaki hazır derlemeler ve kaynaktan derleme. Linux ve macOS'ta betik şöyle çalıştırılıyor:

curl -LsSf https://llama.app/install.sh | sh

Windows'ta aynı işi PowerShell satırı yapıyor:

irm https://llama.app/install.ps1 | iex

Windows ve Mac'te paket yöneticisiyle kurulum nasıl yapılır?

#

Windows'ta PowerShell betiğine ek olarak kurulum belgesi winget ve conda-forge yollarını veriyor:

winget install llama.cpp

Mac'te Homebrew, MacPorts, conda-forge ve Nix yolları var. Homebrew ile kurulum tek satır:

brew install llama.cpp

Belgeye göre winget paketi ve Homebrew formülü yeni llama.cpp sürümleriyle otomatik olarak güncelleniyor. Komut satırıyla uğraşmak istemeyenler için llama.app, Mac ve Windows 11 için Llama adlı masaüstü uygulamasını sunuyor. Hugging Face duyurusu Llama'yı llama.cpp ekibinin ve Hugging Face'in masaüstü uygulaması olarak tanıtıyor.

Docker'da resmi imajlar ghcr.io/ggml-org/llama.cpp altında full, light ve server etiketleriyle geliyor. Docker belgesine göre server imajı yalnızca llama-server programını içeriyor ve CUDA, ROCm gibi hızlandırıcılar için ayrı etiketler var.

Kurulumdan sonra ilk model nasıl çalıştırılır?

#

README'deki örnek bir modeli Hugging Face'ten indirip doğrudan çalıştırıyor. Aynı modeli API sunucusu olarak açmak için ikinci komut yeterli:

# Modeli Hugging Face'ten indirip komut satırında çalıştırma
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

# Aynı modeli OpenAI uyumlu API sunucusu olarak açma
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

Hangi modelin bilgisayarınıza sığacağını, donanım ve bellek hesabını internetsiz yapay zeka ve local LLM kurulumu rehberimizde anlattık. llama.cpp, GGUF ve LM Studio'yu ekibinizle uygulamalı öğrenmek isterseniz RuneLab'ın Masaüstünde Lokal Modeller (llama.cpp, GGUF, LM Studio) eğitimi k-quant seçiminden CPU ile GPU arasında katman paylaştırmaya, Metal ve CUDA hızlandırmadan OpenAI uyumlu API'ye kadar bu konuları işliyor.

Şirkette ne zaman llama.cpp, ne zaman vLLM?

#

Model tek bir makinede, iş istasyonunda ya da mobil cihazda çalışacaksa llama.cpp, çok sayıda kullanıcıya birden çok GPU üzerinden sunulacaksa vLLM daha uygun bir başlangıç noktası. vLLM README dosyası projeyi LLM çıkarımı ve sunumu için hızlı ve kullanımı kolay bir kütüphane olarak tanımlıyor. Öne çıkardığı özellikler yüksek sunum verimi (throughput), PagedAttention ile dikkat belleğinin yönetimi, sürekli toplu işleme ve dağıtık çıkarım için tensör, pipeline, veri, uzman ve bağlam paralelliği. vLLM NVIDIA, AMD ve Intel GPU'larını ve x86, ARM ve PowerPC işlemcileri destekliyor, GGUF da desteklediği nicemleme biçimleri arasında.

llama.cpp ise en az kurulumu ve geniş donanım yelpazesini öne çıkarıyor. Hugging Face duyurusundaki dağıtım tablosuna göre hazır derlemeleri Linux, macOS ve Windows'un yanında Android ve iOS için de yayımlanıyor. llama-server da paralel çözümleme ve sürekli toplu işleme sunuyor.

Bu iki tanımdan çıkan kural şöyle. Model bir dizüstü bilgisayarda, iş istasyonunda, yalnızca CPU'lu bir sunucuda ya da mobil cihazda çalışacaksa ve tek bir GGUF dosyasıyla az bağımlılık istiyorsanız llama.cpp'den başlayın. Çok sayıda kullanıcıya GPU sunucularında hizmet verecek ve modeli tensör ya da pipeline paralelliğiyle birden çok GPU'ya bölecekseniz vLLM'e bakın. Kararı kendi donanımınızda, kendi prompt'larınızla ve eşzamanlı kullanıcı sayınızla ölçerek verin. vLLM ile bir modeli üretimde sunmayı RuneLab'ın vLLM ile Model Sunma eğitimi anlatıyor.

Hangi işin buluta, hangisinin kurum içine gideceğini local LLM vs ChatGPT yazımızda tartıştık. Modeli kurum içinde çalıştırmaya karar verdiyseniz iki yol var. Kurulumu kendi ekibiniz yürütecekse RuneLab'ın Local LLM Eğitimi açık modelleri kendi sunucularınızda çalıştırmayı, model seçimi ve GPU planlamasından vLLM ve Ollama ile kuruluma, kurum içi RAG ve sohbet botuna kadar anlatıyor.

Donanımı, modeli ve yazılımı tek tek kurmak istemiyorsanız RuneLab'ın RuneBox'ı şirketinizin ağına kurulan hazır bir on-premise LLM kurulumu. Modeller, RAG ve agent akışları NVIDIA GPU'lu kutuda, dış bağlantı gerektirmeden kapalı ağda çalışıyor. Sorular, dokümanlar ve yanıtlar dışarı çıkmıyor. Veri kurum sınırları içinde işlendiği için BDDK ve KVKK değerlendirmelerinizi kolaylaştırır. Uyumluluk kurumunuzun kendi değerlendirmesidir.

Türkçe işler için hangi açık model seçilmeli?

#

Türkçe işlerde sonucu çıkarım aracından çok çalıştırdığınız model belirliyor, bu yüzden modeli işin diline ve türüne göre seçmek gerekiyor. RuneLab'ın Hati Glint SQL modeli buna bir örnek: Qwen3.5-9B üzerine fine-tuning ile eğitilen, 9 milyar parametreli ve Apache 2.0 lisanslı açık ağırlıklı bir Türkçe text-to-SQL modeli. Türkçe soruları SQL'e çeviriyor, genel bir Türkçe asistan olarak da çalışıyor ve araç çağırabiliyor.

Modelin Hugging Face kartına göre 9B boyutundaki bir model kendi altyapınızda tek bir GPU'da çalışıyor. Model transformers biçiminde yayımlandı ve kart çalıştırma talimatlarını transformers kütüphanesi için veriyor.

Sık sorulan sorular

#

llama.cpp nedir?

#

llama.cpp, LLM'leri ve çok kipli modelleri az kurulumla, geniş bir donanım yelpazesinde, yerelde ya da bulutta çalıştıran açık kaynak bir C/C++ çıkarım kütüphanesi ve sunucusudur. ggml tensör kütüphanesinin üzerine kuruludur. Modelleri GGUF biçiminde çalıştırır ve OpenAI uyumlu bir API sunucusu içerir.

llama.cpp ile Ollama arasındaki fark nedir?

#

llama.cpp bir C/C++ çıkarım kütüphanesi ve sunucusudur, Ollama ise modeli tek komutla indirip çalıştıran ayrı bir uygulamadır. Ollama'nın GitHub README'si desteklenen arka uçlar arasında llama.cpp'yi sayar. Bütün ayarlara ve C API'ye erişmek istiyorsanız llama.cpp, tek komutla başlamak istiyorsanız Ollama daha uygundur.

llama.cpp ücretli mi, lisansı nedir?

#

llama.cpp MIT lisanslıdır ve ücretsizdir. Lisans kullanma, değiştirme, dağıtma ve satma izni verir, telif ve izin bildiriminin kopyalara eklenmesini şart koşar. Garanti vermez ve yazarları sorumluluktan muaf tutar. Çalıştırdığınız modelin lisansı ayrıdır.

v1.0.0 sürümüyle llama.cpp'de ne değişti?

#

13 Kasım 2026'da llama.cpp ve ggml birlikte v1.0.0 sürümüne geçti ve bundan sonra büyük sürüm artışı genel C API'sinde geriye uyumsuz bir değişiklik anlamına geliyor. Sürüm eski API'yi kaldırıyor, FP8 KV cache ve MoE uzman önbelleği ekliyor, llama-server'ın güvenliğini sıkılaştırıyor ve web arayüzünü yeniliyor.

llama.cpp nasıl kurulur?

#

README'deki kurulum betiği, llama.app'teki Llama uygulaması, Windows'ta winget, Mac'te Homebrew, Docker ya da kaynaktan derleme kullanılabilir. 18 Kasım 2026 itibarıyla v1.0.0 sürüm sayfasında platform dosyası yok, hazır derlemeler gece derlemelerinde yayımlanıyor.

llama.cpp GPU olmadan çalışır mı?

#

Evet. llama-server belgesine göre llama.cpp F16 ve nicemlenmiş modelleri hem GPU'da hem CPU'da çalıştırabiliyor ve gece derlemeleri arasında yalnızca CPU için hazırlanmış Windows ve Linux paketleri var. Hız, modelin boyutuna ve donanıma bağlıdır.

Şirkette llama.cpp mi, vLLM mü kullanılmalı?

#

llama.cpp az kurulumu ve geniş donanım desteğini, vLLM ise yüksek sunum verimini ve birden çok GPU'ya dağıtılan çıkarımı öne çıkarır. vLLM'in README'sine göre vLLM, GPU'ların yanında x86, ARM ve PowerPC işlemcileri de destekler. Tek makine, iş istasyonu ya da mobil cihaz için llama.cpp'den, çok kullanıcılı ve çok GPU'lu sunum için vLLM'den başlayıp kararı kendi donanımınızda ölçerek verin.

Kaynaklar

#

İlgili yazılar ve eğitimler

#