Local LLM vs ChatGPT çizimi: tezgahta kapalı sandıkta kalan parşömen ve açık kapaktan dışarı çıkan boş tomar.
Blog

Local LLM vs ChatGPT: KVKK Açısından Nasıl Karar Verilir?

Dört kısa karar kuralı, bir karşılaştırma tablosu ve local model ile bulut modeli tek bir gateway üzerinden birlikte kullanmanın yolu.

10 dk okumaGüncellendi: Yazan: Engin Deniz Alpman

Kısaca: Local LLM vs ChatGPT sorusunun her şirket için tek bir doğru yanıtı yok. ChatGPT gibi bulut LLM'ler sağlayıcının altyapısında çalışır, local (on-premise) LLM ise modeli kurumun kendi ağında çalıştırır. Kararı verinin ne kadar hassas olduğu, verinin kurum dışına çıkıp çıkamayacağı ve sistemi işletecek bir ekip olup olmadığı belirler. Çoğu şirket ikisini tek bir giriş noktası üzerinden birlikte kullanır.

Şirketler için local LLM vs ChatGPT kararı çoğu zaman tek bir ürün seçimi değil, hangi işin hangi modele gideceğine dair bir düzen kurmaktır. Hangisini seçmeli sorusunun yanıtı da bu yüzden işe göre değişir: aynı şirkette pazarlama metni bulutta, müşteri dosyası kurum içinde işlenebilir.

KVKK açısından da durum aynı. Local kurulum tek başına KVKK'ya uyum demek değildir, ChatGPT kullanmak da tek başına KVKK ihlali demek değildir. Sonucu, hangi veriyi hangi amaçla, hangi hukuki sebeple ve hangi sözleşmeyle işlediğiniz belirler.

Kısa karar: local LLM mi, ChatGPT mi?

#
  1. İş, kurum dışına çıkmaması gereken gizli veri kullanıyorsa modeli kurum içinde, local LLM olarak çalıştırın.
  2. Hassas olmayan işler için güçlü, genel amaçlı bir model ve hızlı başlangıç gerekiyorsa ChatGPT Business, ChatGPT Enterprise ya da OpenAI API uygun olabilir. Kişisel veri söz konusuysa önce sağlayıcının güncel veri işleme şartlarını okuyun.
  3. Çoğu şirkete ikisi birden gerekir. Önce veriyi sınıflandırın, sonra işi doğru modele yönlendirin. Tek bir kurumsal giriş noktası, çalışanların kişisel ChatGPT hesaplarını kontrolsüz kullanmasından iyidir.
  4. Local kurulum yurt dışına aktarım sorusunu küçültür, KVKK yükümlülüklerini bitirmez. Amaç, hukuki sebep, saklama süresi, erişim, veri işleyenler ve güvenlik yine veri sorumlusunun işidir.
  5. GPU sunucusunu ve servisi işletecek bir ekibiniz yoksa ham bir local kurulumla başlamayın. Hazır kurulu ya da yönetilen bir seçenek alın veya uygun işler için bulut yolunda kalın.

ChatGPT, bulut LLM API ve local LLM ne demek?

#

ChatGPT, OpenAI'ın sohbet ürünüdür. Şirketler için önemli olan, hangi planı kullandığınızdır: OpenAI bireysel planların yanında ChatGPT Business ve ChatGPT Enterprise gibi kurumsal planlar ve kendi uygulamalarınız için bir API sunuyor. Plan limitlerini ChatGPT kullanım limiti yazımızda anlattık.

OpenAI'ın Enterprise privacy sayfası, iş verisine dair taahhütlerini ChatGPT Business, ChatGPT Enterprise, ChatGPT for Healthcare, ChatGPT Edu, ChatGPT for Teachers ve API Platform için sıralıyor ve bu ürünlerde verinin varsayılan olarak model eğitiminde kullanılmadığını yazıyor. Aynı sayfaya göre OpenAI, ChatGPT Business, ChatGPT Enterprise ve API için müşteriyle veri işleme eki (Data Processing Addendum, DPA) imzalayabiliyor. Bireysel planlar bu listede yok.

Verilerin ne kadar saklandığı da plana göre değişiyor. OpenAI'ın Enterprise privacy sayfasına göre ChatGPT Business'ta saklama süresini çalışma alanı yöneticileri belirliyor. Silinen sohbetler, kanunen daha uzun saklanması gerekmedikçe ya da hizmeti veya üçüncü kişileri korumak için makul olarak gerekmedikçe 30 gün içinde sistemden kaldırılıyor. API'de girdiler ve çıktılar kötüye kullanımı tespit etmek için 30 güne kadar saklanabiliyor, uygun uç noktalarda sıfır veri saklama (zero data retention) talep edilebiliyor.

Bulut LLM API, kendi uygulamanızın modele sağlayıcının sunucusu üzerinden istek göndermesidir. Veri yine sağlayıcının altyapısında işlenir. Kredi ve faturalama için ChatGPT Business API kredisi rehberine bakabilirsiniz.

Local LLM (on-premise LLM, yerel LLM ya da kurum içi model), modelin ve verinin kurumun kendi altyapısında çalışmasıdır. Sorular, dokümanlar ve yanıtlar bir bulut sağlayıcısına gitmek zorunda kalmaz. Modelin ne olduğunu LLM nedir yazımızda, donanım ve kurulumu internetsiz yapay zeka ve local LLM kurulumu rehberimizde anlattık.

Local kurulumda açık ağırlıklı modeller kullanılır ve Türkçe iş için yerelde çalışan modeller de var. RuneLab'ın Hati Glint SQL modeli bunlardan biri: Türkçe soruları SQL'e çeviren ve araç çağırabilen, 9 milyar parametreli açık bir model. bf16 ağırlıkları yaklaşık 16,8 GB GPU belleği istiyor. Şirket veritabanına Türkçe soru sorulan bir sistem bu modelle buluta gitmeden kurulabilir. Nasıl çalıştığını Veritabanınıza Türkçe sorun yazımızda anlattık.

Kararı veri sınıfı nasıl belirler?

#

İlk adım modeli değil veriyi seçmektir. Tablodaki iş örnekleri temsilidir.

Veri sınıfına göre local LLM ve bulut LLM seçimi
Veri sınıfı Örnek iş Önerilen yol
Kamuya açık içerikYayımlanmış ürün metnini özetlemek, blog taslağıBulut ya da local, ikisi de olur
Kişisel veri içermeyen iç belgeGenel bir prosedürü sadeleştirmekİç politika ve sağlayıcı şartları okunduktan sonra bulut ya da local
Müşteri ya da çalışan kişisel verisiÖzgeçmiş özetlemek, müşteri şikayetini sınıflandırmakLocal ya da yurt dışına aktarım değerlendirmesi yapılmış bulut
Özel nitelikli kişisel veriSağlık ya da biyometrik bilgi içeren kayıtlarÖnce local, bulut ancak hukuk onayıyla
Ticari sırFiyatlama dosyası, kaynak kod, sözleşme taslağıLocal ya da gizlilik şartları ayrıca incelenmiş bulut

Kişisel Verileri Koruma Kurumu'nun üretken yapay zeka rehberi buna yakın bir örnek veriyor. Bir şirketin insan kaynakları birimi aday özgeçmişlerini LLM tabanlı bir sistemle özetliyor ve sistem ilan kriterlerine göre ön değerlendirme puanları da veriyor. Rehbere göre sisteme hangi verilerin yükleneceğine ve çıktıların nasıl değerlendirileceğine karar veren şirket veri sorumlusu olarak değerlendirilebilecek. Yani model ister bulutta ister kendi sunucunuzda çalışsın, sorumluluk çoğu zaman sizde kalır.

Local LLM ve ChatGPT nasıl karşılaştırılır?

#
Sözleşmeli bulut LLM ile local LLM karşılaştırması
Bulut (ChatGPT Business, Enterprise, API) Local (on-premise) LLM
Veri nerede işlenir?Sağlayıcının altyapısındaKurumun ağında
Türkiye bölgesi var mı?OpenAI'ın veri yerleşimi listelerinde yok (6 Kasım 2026 itibarıyla)Kendi veri merkeziniz
Yurt dışına aktarımKVKK md. 9 değerlendirmesi gerekebilirModel ve veri içerideyse bu soru küçülür, dış entegrasyonlar ayrıca incelenir
Model seçimiSağlayıcının sunduğu modellerKurulabilen açık ağırlıklı modeller, donanımla sınırlı
MaliyetKullanıcı ya da kullanım başına faturaDonanım ve işletim
İşletimSağlayıcı yürütürKendi ekibiniz ya da hazır kurulum
KapasiteTalebe göre büyür, fatura da büyürSabit, kapasiteyi aşan talep bekler
KVKK yükümlülükleriSizdeSizde

KVKK açısından karar nasıl verilir?

#

Model seçimini etkileyen dört nokta var: veri sorumlusunun kim olduğu, hukuki sebep, verinin yurt dışına çıkıp çıkmadığı ve güvenlik.

Veri sorumlusu kim?

#

6698 sayılı Kanun'un 3. maddesi veri sorumlusunu "kişisel verilerin işleme amaçlarını ve vasıtalarını belirleyen" kişi, veri işleyeni de "veri sorumlusunun verdiği yetkiye dayanarak onun adına" kişisel verileri işleyen kişi olarak tanımlıyor. OpenAI'ın veri işleme eki, hizmeti sunarken OpenAI'ın müşteri adına veri işleyen (Data Processor) olarak hareket ettiğini yazıyor. Kurum'un rehberi ise rolleri sözleşmedeki ifadelerden çok tarafların fiili kontrolünün belirlediğini vurguluyor.

Hukuki sebep ve genel ilkeler

#

Kanun'un 4. maddesi verinin belirli, açık ve meşru amaçlarla, amaçla sınırlı ve gerekli süre kadar işlenmesini istiyor. 5. ve 6. maddeler işleme şartlarını sayıyor. Bu kurallar modelin nerede çalıştığından bağımsızdır. Local bir model de hukuki sebebi olmayan bir işlemeyi meşru hale getirmez.

Veri yurt dışına çıkıyor mu?

#

Bulut tarafındaki asıl soru budur. Kurum'un rehberine göre Türkiye'deki veri sorumluları yurt dışındaki hizmet sağlayıcılar üzerinden üretken yapay zeka kullanıyor ve kişisel veri yurt dışına aktarılıyorsa, aktarım Kanun'un 9. maddesine ve 10 Temmuz 2024 tarihli Resmi Gazete'de yayımlanan yurt dışına aktarım yönetmeliğine uygun yapılmalı. 9. madde aktarımı önce yeterlilik kararına, yeterlilik kararı yoksa uygun güvencelere bağlıyor. Güvencelerden biri Kurul'un ilan ettiği standart sözleşme ve bu sözleşme imzalandıktan sonra beş iş günü içinde Kurum'a bildiriliyor. Bunlar da yoksa yalnızca arızi hallerde aktarım mümkün.

OpenAI tarafında 6 Kasım 2026 itibarıyla durum şöyle:

  • Veri yerleşimi makalesine göre ChatGPT Enterprise ve Edu için saklama bölgeleri arasında Avrupa (AEA ve İsviçre), Birleşik Krallık ve ABD gibi bölgeler var, Türkiye yok. Modelin de bölgede çalıştığı inference residency yalnızca Avrupa, ABD ve Birleşik Arap Emirlikleri için sunuluyor.
  • ChatGPT Business makalesine göre seçilen bölge yalnızca depolamayı kapsıyor, isteklerin nerede işlendiğini belirlemiyor. ABD dışı bir bölge seçilse de her istem ve yanıtın bir kopyası sınırlı bir süre ABD'de tutuluyor. Business için bölge seçimi kademeli olarak açılıyor ve henüz bütün müşterilerde yok.
  • Veri işleme ekinin uluslararası aktarım bölümü AEA, İsviçre ve Birleşik Krallık verisini ele alıyor. KVKK'ya ya da Kurul'un standart sözleşmesine özel bir hükmü yok.

Bu, ChatGPT kullanılamaz demek değil. Kişisel veri içeren işler için 9. madde değerlendirmesini sizin yapmanız ve aktarımı sağlayıcıyla nasıl kuracağınızı netleştirmeniz gerekiyor.

Güvenlik local kurulumda da sizin işiniz

#

Kanun'un 12. maddesi veri sorumlusunun hukuka aykırı işlemeyi ve erişimi önlemek için gerekli her türlü teknik ve idari tedbiri almasını şart koşuyor. Veriyi sizin adınıza başkası işliyorsa bu tedbirlerden onunla birlikte sorumlu oluyorsunuz. Kurum'un 24 Kasım 2025'te yayımladığı Üretken Yapay Zeka ve Kişisel Verilerin Korunması Rehberi (15 Soruda) örnek tedbirler de sayıyor: veri koruma etki değerlendirmesi, istem enjeksiyonu (prompt injection) ve jailbreak girişimlerine karşı kontroller, çok faktörlü kimlik doğrulama, sistem kayıtlarının güvenli saklanması ve çalışan eğitimi. Kendi sunucunuzdaki bir model de bu tedbirler olmadan güvenli sayılmaz.

Hibrit yol: tek giriş noktası nasıl çalışır?

#

Pratikte çoğu şirket iki yolu birlikte kullanır. Düzen şöyle kurulur:

  1. Uygulamalar ve çalışanlar modellere tek bir kurumsal giriş noktasından (LLM gateway) bağlanır.
  2. Her istek veri sınıfına ve işin zorluğuna göre değerlendirilir.
  3. Hassas veri içeren işler kurum içindeki local modele, uygun işler bulut modele gider.
  4. Her istek kaydedilir, ekip bütçeleri izlenir.

Bu düzeni açık kaynak bir gateway, bir bulut sağlayıcısının araçları ya da hazır bir ürünle kurabilirsiniz. RuneLab'ın RuneGate ürünü bu düzenin hazır bir örneği: OpenAI uyumlu tek bir endpoint sunuyor, her isteğin zorluğunu sınıflandırıp işi yapabilecek en uygun maliyetli modele yönlendiriyor, ekip bütçesi aşılmadan istekleri durduruyor ve her isteği kaydediyor. İsteğe bağlı RuneGuard modülü, istekteki hassas bilgileri model sağlayıcısına gitmeden yer tutucularla değiştiriyor ve yanıtta her yer tutucunun yerine doğru değeri geri koyuyor. Verinin kurum dışına hiç çıkmaması gerekiyorsa RuneGate, RuneBox üzerinde local modellerle çalışıyor, bulutta yönetilen hizmet olarak da sunuluyor.

Bu düzen, çalışanlar hangi veriyi hangi araca girebileceğini bildiğinde işler. RuneLab'ın Yapay Zeka Farkındalığı Eğitimi, ekibin üretken yapay zeka araçlarını doğru yerde ve güvenli kullanması için bir günlük uygulamalı eğitim.

Maliyet ve işletim nasıl karşılaştırılır?

#

Bulut tarafında maliyet kullanıcı ya da kullanım başına faturadır. Verinin belirli bir bölgede tutulması gerekiyorsa ek koşullara da bakın: OpenAI'ın geliştirici belgelerine göre API'de veri yerleşimi (data residency) uç noktaları, 5 Mart 2026 ve sonrasında çıkan uygun modellerde yüzde 10 ek ücretle fiyatlanıyor.

Local tarafta maliyet donanım ve işletimdir: GPU sunucusu, model güncellemeleri, güvenlik yamaları, izleme ve bunları yürütecek ekip. Kapasite sabit olduğu için fatura sürprizi olmaz, ama kapasiteyi aşan talep beklemek zorunda kalır. Hangi model için ne kadar VRAM gerektiğini local LLM kurulumu yazımızda ayrıntılı anlattık. Başabaş noktası kullanım hacmine, seçilen modele ve personel maliyetine göre şirketten şirkete değişir.

İşletim yükünü azaltmanın yolu hazır bir kurulum. RuneLab'ın RuneBox'ı şirket ağına kurulan hazır bir on-premise LLM kurulumu: modeller, RAG ve agent akışları NVIDIA GPU'lu kutuda, dış bağlantı gerektirmeden kapalı ağda çalışıyor. Ürün sayfasındaki ifadeyle: "Veri kurum sınırları içinde işlendiği için BDDK ve KVKK değerlendirmelerinizi kolaylaştırır; verinin yurt dışına ya da üçüncü taraflara aktarımı söz konusu olmaz. Uyumluluk kurumunuzun kendi değerlendirmesidir; RuneBox bu değerlendirmeyi kolaylaştıran mimariyi sağlar, hukuki bir taahhüt vermez." Kurulumu kendi ekibiniz yürütecekse Local LLM Eğitimi açık modelleri kendi sunucularınızda çalıştırmayı, model seçimi ve GPU planlamasından vLLM ve Ollama ile kuruluma kadar anlatıyor. İki yolun maliyetini ve riskini birlikte tartmak için de Bulut API mi, Kurum İçi Model mi? Maliyet, Risk ve Regülasyon eğitimimiz var.

Sık sorulan sorular

#

ChatGPT kullanmak otomatik olarak KVKK ihlali midir?

#

Hayır. Sonucu hangi veriyi hangi amaçla, hangi hukuki sebeple ve hangi sözleşmeyle işlediğiniz belirler. Kişisel veri yurt dışına aktarılıyorsa KVKK'nın 9. maddesine uygun bir aktarım yolu gerekir.

Local LLM kurunca KVKK'ya uyum sağlanmış olur mu?

#

Otomatik olarak olmaz. Local kurulum yurt dışına aktarım sorusunu küçültür, ama amaç, hukuki sebep, saklama süresi, erişim yetkileri ve 12. maddedeki güvenlik tedbirleri yine veri sorumlusunun yükümlülüğüdür.

Local LLM ve ChatGPT'yi birlikte kullanabilir miyiz?

#

Evet. Veriyi sınıflandırıp hassas işleri kurum içindeki local modele, uygun işleri bulut modele yönlendiren tek bir giriş noktası (LLM gateway) kurabilirsiniz.

Verimiz kurum dışına hiç çıkmamalıysa ne gerekir?

#

Model, dokümanlar ve kayıtlar kurum ağında çalışmalı. Bunun için kurum içinde çalışan bir local LLM ve web araması gibi dış entegrasyonların kapalı olması gerekir. Erişim yetkileri ve kayıtlar da kurum içinde tutulmalı.

Local LLM mi daha ucuz, ChatGPT mi?

#

Kullanım hacmine bağlı. Bulutta ödeme kullanıcı ya da kullanım başına, local kurulumda donanım ve işletim üzerinedir. Local tarafta kapasite sabit olduğu için fatura sürprizi olmaz, ama kapasiteyi aşan talep bekler.

Local LLM için donanım nasıl seçilir?

#

Seçim modelin boyutuna ve aynı anda kaç kişinin kullanacağına bağlı. VRAM ihtiyacını ve kurulum adımlarını internetsiz yapay zeka ve local LLM kurulumu yazımızda anlattık.

Bu karar RAG ya da fine-tuning kararıyla aynı mı?

#

Hayır. Local mi bulut mu sorusu modelin nerede çalışacağıyla ilgilidir. RAG mı fine-tuning mi sorusu ise modele kurum bilgisini nasıl vereceğinizle ilgilidir. İkincisi için RAG ve fine-tuning farkı yazımıza bakın.

Kaynaklar

#

İlgili yazılar ve eğitimler

#