llama.cpp Nedir? Ollama'dan Farkı ve Kurulumu
GGUF biçimi, llama-server'ın OpenAI uyumlu API'si, şirkette llama.cpp ile vLLM arasındaki seçim ve Türkçe işler için açık ağırlıklı bir model.
Kısaca: llama.cpp, büyük dil modellerini (LLM) kendi bilgisayarınızda ya da sunucunuzda çalıştırmak için yazılmış, MIT lisanslı ve açık kaynak bir C/C++ çıkarım kütüphanesi ve sunucusudur. Modelleri GGUF dosya biçiminde çalıştırır, OpenAI uyumlu bir API sunucusu ve yerleşik bir sohbet arayüzü içerir. Proje 13 Kasım 2026'da v1.0.0 sürümüne geçti. Ollama ve LM Studio ise llama.cpp'den ayrı uygulamalardır.
Açık bir modeli kendi bilgisayarında çalıştırmak isteyen çoğu kişi işe Ollama ya da LM Studio ile başlıyor. llama.cpp ile birlikte üçü de çıkarım (inference), yani eğitilmiş bir modelden yanıt üretme işini kendi donanımınızda yapmanızı sağlıyor. llama.cpp'nin Ollama'dan farkı size bıraktığı kontrolde: her ayarı, C API'yi ve sunucuyu siz yönetirsiniz. Kurulumu ise tek satırlık bir betik, Windows'ta winget, Mac'te Homebrew ya da Llama adlı masaüstü uygulamasıyla yapılıyor. Hangisiyle başlayacağınızı da üç şey belirliyor: ne kadar ayar istediğiniz, modeli kaç kişiye sunacağınız ve hangi donanımda çalıştıracağınız.
llama.cpp nedir, ne işe yarar?
#llama.cpp, LLM'leri ve çok kipli (multimodal) modelleri en az kurulumla, geniş bir donanım yelpazesinde, yerelde ve bulutta çalıştırmak için yazılmış bir C/C++ çıkarım projesidir. Projenin llama.cpp README dosyası ana hedefi böyle tanımlıyor ve projenin, makine öğrenmesi için yazılmış bir tensör kütüphanesi olan ggml'in üzerine kurulu olduğunu yazıyor.
Hugging Face'te yayımlanan resmi llama.cpp v1.0.0 duyurusu, llama.cpp'nin çok kipli LLM'leri tüketici sınıfı bilgisayarlardan üst düzey kurumsal sunuculara kadar çalıştırdığını yazıyor. Bunu nicemleme, optimize edilmiş arka uçlar ve taşınabilir C/C++ koduyla yapıyor. Aynı duyuruya göre proje 150'den fazla mimari varyantını ve yaygın speculative decoding yöntemlerinin tümünü destekliyor. Küçük bir taslak modelin büyük modeli nasıl hızlandırdığını speculative decoding nedir yazımızda anlattık.
llama.cpp hangi model biçimini kullanır?
#llama.cpp modelin GGUF dosya biçiminde olmasını istiyor. Depodaki model belgesine göre başka biçimdeki modeller depodaki convert_*.py betikleriyle GGUF'a çevriliyor ve Hugging Face'te llama.cpp ile uyumlu binlerce GGUF model bulunuyor. Nicemleme (quantization) ağırlıkları daha az bitle saklayarak modelin bellek ihtiyacını düşürüyor. Bir modelin daha az bite nasıl sığdığını quantization (nicemleme) nedir yazımızda anlattık.
llama.cpp API sunucusu olarak kullanılabilir mi?
#Evet. Kurulumdan sonra iki temel komut var: llama cli modeli komut satırında çalıştırıyor, llama serve ise OpenAI uyumlu bir API sunucusu açıyor. llama-server README dosyasına göre sunucu F16 ve nicemlenmiş modelleri GPU'da ve CPU'da çalıştırabiliyor. OpenAI uyumlu chat completions, responses ve embeddings uçları, Anthropic Messages API ile uyumlu bir uç, çok kullanıcılı paralel çözümleme (parallel decoding), sürekli toplu işleme (continuous batching), fonksiyon çağırma ve Llama Chat adlı yerleşik bir sohbet uygulaması da sunucunun özellikleri arasında. OpenAI API'siyle çalışan bir uygulama, adresi değiştirilerek bu sunucudaki modele bağlanabiliyor.
llama.cpp ücretsiz mi, lisansı nedir?
#llama.cpp ücretsiz ve MIT lisanslı. Lisans, yazılımın bir kopyasını edinen herkese ücretsiz olarak yazılımı kısıtlamasız kullanma, kopyalama, değiştirme, birleştirme, yayımlama, dağıtma, alt lisanslama ve satma izni verir. Telif ve izin bildiriminin tüm kopyalara veya önemli bölümlerine eklenmesini şart koşar. Yazılım "OLDUĞU GİBİ" (AS IS), hiçbir garanti olmadan sunulur ve yazarlar ile telif sahipleri hiçbir talep veya zarardan sorumlu tutulamaz.
Bu lisans aracın kendisi için geçerli. llama.cpp ile çalıştırdığınız model dosyasının lisansı ayrıdır. Açık modellerin lisanslarını ve ticari kullanım koşullarını açık ağırlıklı model lisansları yazımızda karşılaştırdık.
llama.cpp ile Ollama ve LM Studio arasındaki fark nedir?
#llama.cpp bir C/C++ çıkarım kütüphanesi ve sunucusudur. Ollama ve LM Studio ise modeli indirip çalıştırmayı kolaylaştıran ayrı uygulamalardır. Üçünün ilişkisini resmi belgeler şöyle anlatıyor. Ollama README dosyası, desteklenen arka uçlar (Supported backends) başlığı altında llama.cpp'yi sayıyor. Ollama'nın Importing a Model belgesi, Ollama'nın GGUF modelleri içe aktarırken nicemlemediğini yazıyor ve bunun için önce llama.cpp'nin llama-quantize aracı gibi bir GGUF aracını öneriyor. LM Studio belgeleri ise LM Studio'nun Mac, Windows ve Linux'ta modelleri llama.cpp ile, Apple Silicon Mac'lerde ayrıca Apple'ın MLX'iyle çalıştırdığını yazıyor.
| Konu | llama.cpp | Ollama | LM Studio |
|---|---|---|---|
| Resmi tanım | LLM ve çok kipli modeller için C/C++ çıkarım | Açık modellerle yerelde ya da bulutta geliştirme | Llama, DeepSeek, Qwen gibi LLM'leri yerelde çalıştırma |
| Kurulum | Kurulum betiği, Llama uygulaması, paket yöneticileri, Docker, kaynaktan derleme | macOS, Windows ve Linux için betik ya da kurulum dosyası, Docker imajı | macOS, Windows ve Linux için kurulum dosyası |
| Arayüz | llama cli, llama serve ve yerleşik Llama Chat | ollama komut satırı | Masaüstü sohbet arayüzü ve lms komut satırı |
| API | OpenAI ve Anthropic Messages uyumlu uçlar | Kendi REST API'si ve OpenAI API'sinin bir alt kümesi | Kendi REST API'si, OpenAI ve Anthropic uyumlu uçlar |
| Model biçimi | GGUF zorunlu, diğer biçimler çevrilir | Modelfile ile GGUF ya da Safetensors içe aktarma | llama.cpp (GGUF) ve Apple Silicon'da MLX |
| llama.cpp ile ilişkisi | Projenin kendisi | README'de "Supported backends" altında llama.cpp | Belgelere göre modelleri llama.cpp ile çalıştırıyor |
| Lisans | MIT | MIT | Kendi kullanım koşulları (kapalı kaynak) |
Lisans satırındaki fark kurumsal kullanımda önemli. Ollama'nın lisans dosyası da llama.cpp gibi MIT. LM Studio ise açık kaynak değil: LM Studio App Terms of Service, uygulamayı yalnızca kişisel ya da şirket içi iş amaçlarıyla kullanmak için münhasır olmayan ve devredilemez bir lisans veriyor. API tarafında Ollama'nın OpenAI compatibility belgesi OpenAI API'sinin bir alt kümesini desteklediğini yazıyor, LM Studio Developer Docs da kendi REST API'sinin yanında OpenAI ve Anthropic uyumlu uçları sayıyor.
Resmi tanımlardan çıkan seçim kuralı şu. Bütün ayarlara erişmek, C API üzerinden kendi uygulamanıza bağlamak ya da sunucuyu kendiniz yönetmek istiyorsanız llama.cpp. Tek komutla model indirip Claude Code ya da Codex gibi kodlama ajanlarına bağlamak istiyorsanız Ollama. Modelleri grafik arayüzde arayıp indirmek ve onlarla sohbet etmek istiyorsanız LM Studio. Ollama yolunu ekipçe öğrenmek isteyenler için RuneLab'ın Ollama ile Lokal LLM Çalıştırma eğitimi var.
llama.cpp v1.0.0 ile ne değişti?
#13 Kasım 2026'da llama.cpp ve ggml birlikte v1.0.0 sürümüne geçti ve sürüm numarası artık API uyumluluğunu gösteriyor. v1.0.0 sürüm sayfası GitHub'da, duyurusu Hugging Face'te aynı gün yayımlandı. Duyurudaki kurala göre büyük sürüm (MAJOR) artışı, ./include altındaki genel C API'sinde geriye uyumsuz bir değişiklik demek. MINOR geriye uyumlu bir özellik, arka uç güncellemesi, model desteği ya da API eklemesi, PATCH ise API'yi değiştirmeyen bir hata düzeltmesi.
Sürüm notlarında kullanıcıyı ilgilendiren başlıklar şunlar:
- Kullanımdan kaldırılmış (deprecated) genel API silindi, NextN ve speculative decoding API'si
llama.hiçine alındı. - KV cache, yani dikkat katmanlarının anahtar ve değer vektörlerini bellekte tuttuğu alan, artık OCP FP8 biçiminde saklanabiliyor.
- Ana bellekte duran ve CPU payı ayarlanabilen bir MoE uzman önbelleği eklendi.
llama-serveriçin SSRF, CORS ve DNS rebinding düzeltmeleri geldi.- OpenAI uyumlu yeni bir
/v1/audio/speechucu eklendi. - Web arayüzü sohbet grupları ve markdown düzenleyiciyle yeniden tasarlandı.
Sunucu artık istemci bağlantıyı kestiğinde ya da zaman aşımında MCP araç çağrılarını iptal ediyor ve MCP sunucusuna bildiriyor. Modellerin dış araçlara bağlandığı bu protokolü MCP nedir yazımızda anlattık.
llama.cpp v1.0.0 sürüm sayfasından indirilir mi?
#Hayır, hazır derlemeler gece derlemelerinde (nightly) yayımlanıyor. 18 Kasım 2026 itibarıyla v1.0.0 sayfasında yalnızca nightly-tag.txt var. Dosyada yazan etiket, v1.0.0 ile aynı gün yayımlanan b12359 gece derlemesine ait. Bu derleme işlemci (CPU), CUDA, Vulkan, ROCm ve SYCL gibi farklı arka uçlar için toplam 38 hazır dosya taşıyor. Gece derlemeleri sürüyor, 18 Kasım'da yayımlanan b12503 de 38 dosyayla geldi.
Depodaki sürüm süreci belgesi de GitHub sürümlerinde şimdilik yalnızca gece ve geliştirme derlemelerinin yayımlandığını yazıyor. Sürümler kullanıcıya kurulum betiği, paket yöneticileri ve kaynaktan derleme yoluyla ulaşıyor. Bu yüzden v1.0.0'ı aşağıdaki resmi kurulum yollarından biriyle kurmak gerekiyor.
llama.cpp nasıl kurulur?
#llama.cpp'yi kurmanın en kısa yolu README'deki kurulum betiği. README beş yol sayıyor: kurulum betiği, llama.app sayfası, Docker, GitHub sürüm sayfasındaki hazır derlemeler ve kaynaktan derleme. Linux ve macOS'ta betik şöyle çalıştırılıyor:
curl -LsSf https://llama.app/install.sh | sh
Windows'ta aynı işi PowerShell satırı yapıyor:
irm https://llama.app/install.ps1 | iex
Windows ve Mac'te paket yöneticisiyle kurulum nasıl yapılır?
#Windows'ta PowerShell betiğine ek olarak kurulum belgesi winget ve conda-forge yollarını veriyor:
winget install llama.cpp
Mac'te Homebrew, MacPorts, conda-forge ve Nix yolları var. Homebrew ile kurulum tek satır:
brew install llama.cpp
Belgeye göre winget paketi ve Homebrew formülü yeni llama.cpp sürümleriyle otomatik olarak güncelleniyor. Komut satırıyla uğraşmak istemeyenler için llama.app, Mac ve Windows 11 için Llama adlı masaüstü uygulamasını sunuyor. Hugging Face duyurusu Llama'yı llama.cpp ekibinin ve Hugging Face'in masaüstü uygulaması olarak tanıtıyor.
Docker'da resmi imajlar ghcr.io/ggml-org/llama.cpp altında full, light ve server etiketleriyle geliyor. Docker belgesine göre server imajı yalnızca llama-server programını içeriyor ve CUDA, ROCm gibi hızlandırıcılar için ayrı etiketler var.
Kurulumdan sonra ilk model nasıl çalıştırılır?
#README'deki örnek bir modeli Hugging Face'ten indirip doğrudan çalıştırıyor. Aynı modeli API sunucusu olarak açmak için ikinci komut yeterli:
# Modeli Hugging Face'ten indirip komut satırında çalıştırma
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
# Aynı modeli OpenAI uyumlu API sunucusu olarak açma
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF
Hangi modelin bilgisayarınıza sığacağını, donanım ve bellek hesabını internetsiz yapay zeka ve local LLM kurulumu rehberimizde anlattık. llama.cpp, GGUF ve LM Studio'yu ekibinizle uygulamalı öğrenmek isterseniz RuneLab'ın Masaüstünde Lokal Modeller (llama.cpp, GGUF, LM Studio) eğitimi k-quant seçiminden CPU ile GPU arasında katman paylaştırmaya, Metal ve CUDA hızlandırmadan OpenAI uyumlu API'ye kadar bu konuları işliyor.
Şirkette ne zaman llama.cpp, ne zaman vLLM?
#Model tek bir makinede, iş istasyonunda ya da mobil cihazda çalışacaksa llama.cpp, çok sayıda kullanıcıya birden çok GPU üzerinden sunulacaksa vLLM daha uygun bir başlangıç noktası. vLLM README dosyası projeyi LLM çıkarımı ve sunumu için hızlı ve kullanımı kolay bir kütüphane olarak tanımlıyor. Öne çıkardığı özellikler yüksek sunum verimi (throughput), PagedAttention ile dikkat belleğinin yönetimi, sürekli toplu işleme ve dağıtık çıkarım için tensör, pipeline, veri, uzman ve bağlam paralelliği. vLLM NVIDIA, AMD ve Intel GPU'larını ve x86, ARM ve PowerPC işlemcileri destekliyor, GGUF da desteklediği nicemleme biçimleri arasında.
llama.cpp ise en az kurulumu ve geniş donanım yelpazesini öne çıkarıyor. Hugging Face duyurusundaki dağıtım tablosuna göre hazır derlemeleri Linux, macOS ve Windows'un yanında Android ve iOS için de yayımlanıyor. llama-server da paralel çözümleme ve sürekli toplu işleme sunuyor.
Bu iki tanımdan çıkan kural şöyle. Model bir dizüstü bilgisayarda, iş istasyonunda, yalnızca CPU'lu bir sunucuda ya da mobil cihazda çalışacaksa ve tek bir GGUF dosyasıyla az bağımlılık istiyorsanız llama.cpp'den başlayın. Çok sayıda kullanıcıya GPU sunucularında hizmet verecek ve modeli tensör ya da pipeline paralelliğiyle birden çok GPU'ya bölecekseniz vLLM'e bakın. Kararı kendi donanımınızda, kendi prompt'larınızla ve eşzamanlı kullanıcı sayınızla ölçerek verin. vLLM ile bir modeli üretimde sunmayı RuneLab'ın vLLM ile Model Sunma eğitimi anlatıyor.
Hangi işin buluta, hangisinin kurum içine gideceğini local LLM vs ChatGPT yazımızda tartıştık. Modeli kurum içinde çalıştırmaya karar verdiyseniz iki yol var. Kurulumu kendi ekibiniz yürütecekse RuneLab'ın Local LLM Eğitimi açık modelleri kendi sunucularınızda çalıştırmayı, model seçimi ve GPU planlamasından vLLM ve Ollama ile kuruluma, kurum içi RAG ve sohbet botuna kadar anlatıyor.
Donanımı, modeli ve yazılımı tek tek kurmak istemiyorsanız RuneLab'ın RuneBox'ı şirketinizin ağına kurulan hazır bir on-premise LLM kurulumu. Modeller, RAG ve agent akışları NVIDIA GPU'lu kutuda, dış bağlantı gerektirmeden kapalı ağda çalışıyor. Sorular, dokümanlar ve yanıtlar dışarı çıkmıyor. Veri kurum sınırları içinde işlendiği için BDDK ve KVKK değerlendirmelerinizi kolaylaştırır. Uyumluluk kurumunuzun kendi değerlendirmesidir.
Türkçe işler için hangi açık model seçilmeli?
#Türkçe işlerde sonucu çıkarım aracından çok çalıştırdığınız model belirliyor, bu yüzden modeli işin diline ve türüne göre seçmek gerekiyor. RuneLab'ın Hati Glint SQL modeli buna bir örnek: Qwen3.5-9B üzerine fine-tuning ile eğitilen, 9 milyar parametreli ve Apache 2.0 lisanslı açık ağırlıklı bir Türkçe text-to-SQL modeli. Türkçe soruları SQL'e çeviriyor, genel bir Türkçe asistan olarak da çalışıyor ve araç çağırabiliyor.
Modelin Hugging Face kartına göre 9B boyutundaki bir model kendi altyapınızda tek bir GPU'da çalışıyor. Model transformers biçiminde yayımlandı ve kart çalıştırma talimatlarını transformers kütüphanesi için veriyor.
Sık sorulan sorular
#llama.cpp nedir?
#llama.cpp, LLM'leri ve çok kipli modelleri az kurulumla, geniş bir donanım yelpazesinde, yerelde ya da bulutta çalıştıran açık kaynak bir C/C++ çıkarım kütüphanesi ve sunucusudur. ggml tensör kütüphanesinin üzerine kuruludur. Modelleri GGUF biçiminde çalıştırır ve OpenAI uyumlu bir API sunucusu içerir.
llama.cpp ile Ollama arasındaki fark nedir?
#llama.cpp bir C/C++ çıkarım kütüphanesi ve sunucusudur, Ollama ise modeli tek komutla indirip çalıştıran ayrı bir uygulamadır. Ollama'nın GitHub README'si desteklenen arka uçlar arasında llama.cpp'yi sayar. Bütün ayarlara ve C API'ye erişmek istiyorsanız llama.cpp, tek komutla başlamak istiyorsanız Ollama daha uygundur.
llama.cpp ücretli mi, lisansı nedir?
#llama.cpp MIT lisanslıdır ve ücretsizdir. Lisans kullanma, değiştirme, dağıtma ve satma izni verir, telif ve izin bildiriminin kopyalara eklenmesini şart koşar. Garanti vermez ve yazarları sorumluluktan muaf tutar. Çalıştırdığınız modelin lisansı ayrıdır.
v1.0.0 sürümüyle llama.cpp'de ne değişti?
#13 Kasım 2026'da llama.cpp ve ggml birlikte v1.0.0 sürümüne geçti ve bundan sonra büyük sürüm artışı genel C API'sinde geriye uyumsuz bir değişiklik anlamına geliyor. Sürüm eski API'yi kaldırıyor, FP8 KV cache ve MoE uzman önbelleği ekliyor, llama-server'ın güvenliğini sıkılaştırıyor ve web arayüzünü yeniliyor.
llama.cpp nasıl kurulur?
#README'deki kurulum betiği, llama.app'teki Llama uygulaması, Windows'ta winget, Mac'te Homebrew, Docker ya da kaynaktan derleme kullanılabilir. 18 Kasım 2026 itibarıyla v1.0.0 sürüm sayfasında platform dosyası yok, hazır derlemeler gece derlemelerinde yayımlanıyor.
llama.cpp GPU olmadan çalışır mı?
#Evet. llama-server belgesine göre llama.cpp F16 ve nicemlenmiş modelleri hem GPU'da hem CPU'da çalıştırabiliyor ve gece derlemeleri arasında yalnızca CPU için hazırlanmış Windows ve Linux paketleri var. Hız, modelin boyutuna ve donanıma bağlıdır.
Şirkette llama.cpp mi, vLLM mü kullanılmalı?
#llama.cpp az kurulumu ve geniş donanım desteğini, vLLM ise yüksek sunum verimini ve birden çok GPU'ya dağıtılan çıkarımı öne çıkarır. vLLM'in README'sine göre vLLM, GPU'ların yanında x86, ARM ve PowerPC işlemcileri de destekler. Tek makine, iş istasyonu ya da mobil cihaz için llama.cpp'den, çok kullanıcılı ve çok GPU'lu sunum için vLLM'den başlayıp kararı kendi donanımınızda ölçerek verin.
Kaynaklar
#- ggml-org, llama.cpp v1.0.0 sürüm sayfası: yayın tarihi, sürüm özeti, API, KV cache, MoE önbelleği, sunucu güvenliği, ses ucu, MCP ve web arayüzü değişiklikleri, sayfadaki dosya
- Hugging Face, llama.cpp v1.0.0: A stronger foundation for the local AI ecosystem: donanım yelpazesi, nicemleme ve arka uçlar, mimari ve speculative decoding desteği, sürüm numarası kuralları, dağıtım kanalları ve Llama uygulaması
- ggml-org, llama.cpp README: projenin tanımı, ggml, kurulum yolları, betik komutları ve ilk model örneği
- ggml-org, llama.cpp LICENSE: MIT lisans metni
- ggml-org, docs/models.md: GGUF şartı, dönüştürme betikleri ve Hugging Face'teki GGUF modeller
- ggml-org, llama-server README: CPU ve GPU desteği, API uçları, paralel çözümleme, sürekli toplu işleme, fonksiyon çağırma ve Llama Chat
- ggml-org, docs/release.md: sürümlerin kullanıcıya ulaştığı yollar
- ggml-org, docs/install.md: winget, Homebrew, MacPorts, conda-forge ve Nix ile kurulum
- ggml-org, docs/docker.md: Docker imajları ve etiketleri
- ggml-org, llama.cpp Releases: b12359 ve b12503 gece derlemeleri ve dosyaları
- llama.app, Llama: Mac ve Windows 11 için masaüstü uygulaması
- Ollama, Ollama GitHub README: tanım, kurulum, kodlama ajanı entegrasyonları, REST API ve Supported backends
- Ollama, Ollama Docs: Importing a Model: GGUF ve Safetensors içe aktarma, llama-quantize önerisi
- Ollama, Ollama Docs: OpenAI compatibility: OpenAI API'sinin desteklenen alt kümesi
- Ollama, Ollama LICENSE: MIT lisans metni
- LM Studio, LM Studio Docs: uygulamanın tanımı, desteklenen sistemler, llama.cpp ve MLX
- LM Studio, LM Studio Developer Docs: REST API, OpenAI ve Anthropic uyumlu uçlar
- LM Studio, LM Studio App Terms of Service: verilen lisans ve kullanım amacı
- vLLM, vLLM GitHub README: projenin tanımı, öne çıkan özellikler, paralellik türleri, desteklenen donanım ve nicemleme biçimleri
İlgili yazılar ve eğitimler
#- İnternetsiz yapay zeka ve local LLM kurulum rehberi
- Local LLM vs ChatGPT: KVKK açısından karar
- Quantization (nicemleme) nedir? Model daha az bite nasıl sığar?
- Speculative decoding nedir? Küçük model büyüğü nasıl hızlandırır?
- Açık ağırlıklı model lisansları ve ticari kullanım
- Hermes Agent nedir? Nasıl kurulur, ücretli mi?
- MCP (Model Context Protocol) nedir?
- Eğitimler: Masaüstünde Lokal Modeller (llama.cpp, GGUF, LM Studio), Ollama ile Lokal LLM Çalıştırma, vLLM ile Model Sunma, Local LLM Eğitimi
