Büyük bir model küçük olana nasıl öğretir?

Milyarlarca ağırlığı (öğrenirken ayarladığı sayılar) olan bir model birçok iş için fazla büyüktür: çok bellek ister ve her yanıt zaman alır. Damıtma (distillation), ona benzer davranan daha küçük bir model elde etmenin bir yoludur. Önce büyük bir öğretmen eğitilir. Sonra küçük bir öğrenci, öğretmenin yalnızca yanıtlarını değil kuşkularını da taklit edecek biçimde eğitilir. Hinton, Vinyals ve Dean’in 2015 makalesi yöntemi ortaya koydu.

Bu, nicemleme (quantization) değildir. Damıtma ağırlıkları çıkarır: öğrenci farklı, daha küçük bir modeldir. Nicemleme bitleri çıkarır: model aynı kalır, her ağırlık daha kaba saklanır.

Her şekil bir oyuncaktır ve neyin uydurma olduğunu söyler. Bu yazı, herhangi bir RuneLab modelinin nasıl yapıldığı hakkında hiçbir iddiada bulunmaz.

Bu yazının sonunda şunları bileceksiniz:

• bir öğretmenin yanlış yanıtlarının neden öğretmeye değer olduğunu ve sıcaklığın bununla ne ilgisi olduğunu;
• küçük bir öğrencinin birkaç örnekten, öğretmeninin yumuşak hedefleriyle ve onlarsız nasıl öğrendiğini, bunların neden işe yaradığını;
• öğretmen bir dil modeli olduğunda öğrencinin ne gördüğünü ve bunun nicemlemeden nasıl ayrıldığını.

Eğitilmiş bir sınıflandırıcı sarman bir kedinin fotoğrafına “kedi” der; bir etiket de öyle. Ama kazananı seçmeden önce her sınıfa bir skor verir ve yanlış sınıfların skorları eşit değildir: bir kedi, bir otobüsten çok daha fazla tilkiye benzer.

Softmax, skorları toplamı yüzde 100 eden paylara çevirir; sıcaklık denen T ayarı da payların ne kadar keskin olduğunu belirler. T = 1 iken kendinden emin bir öğretmen neredeyse hiç tereddüt etmez. T’yi yukarı sürükleyin ve dört yanlış sınıfı izleyin.

Bu şekil JavaScript gerektirir. Bir öğretmenin sarman bir kedinin fotoğrafı için verdiği uydurma skorları (kedi 9, tilki 5,5, köpek 5, otobüs 1, havuç 0) T sıcaklığıyla yapılan softmax ile paylara çevirir. T = 1 iken öğretmen yüzde 95 kedi der ve diğer dört sınıf yüzde 5’in altında pay alır. T = 4 iken kedi yüzde 49, tilki 21, köpek 18, otobüs 7 ve havuç 5 alır; böylece bir kedinin en çok benzediği yanlış yanıtlar görünür olur. T = 10 iken paylar neredeyse düzdür ve kedi yüzde 31’dedir. Sınıfların sırası hiç değişmez.

T = 4 civarında tilki yüzde 21, köpek yüzde 18 alıyor; otobüs 7, havuç 5: öğretmen hangi yanlış yanıtların neredeyse doğru olduğunu söylüyor. Sıcaklık yalnızca payları düzleştirir; sıra hiç değişmez ve toz taneleri bir öğrencinin fark edebileceği kadar büyür. Eğitim hedefi olarak kullanılan paylara yumuşak hedefler denir.

T = 1’deki payları kullansak olmaz mı? Yanlış yanıtlar orada da duruyor. Duruyorlar: T = 1’de bile tilki, otobüsten 90 kat daha olası. Ama yüzde 0,03’lük bir pay eğitimde neredeyse hiç hissedilmez. Yükseltilmiş sıcaklık yanlış yanıtları okunur kılar; öğrenci sonra yine T = 1 ile kullanılır.

2015 makalesinin fikri bu: yumuşak hedefler, eğitim örneği başına etiketlerden daha çok bilgi taşır. MNIST rakamlarında yalnızca etiketlerle, düzenlileştirme olmadan (aşırı öğrenmeye karşı önlem yok) eğitilen küçük bir ağ 146 test hatası yaptı. Aynı ağ, büyük bir ağın yumuşak hedeflerine (T = 20) uymak üzere de eğitilince 74 hata yaptı; büyük ağın kendisi 67 yaptı.

Düzlemde üç tür nokta iç içe geçmiş kümeler hâlinde duruyor; bu yüzden hiçbir sınır her noktayı doğru sınıflandıramaz. Önceden 3.000 etiketli nokta üzerinde eğitilmiş bir öğretmen ağı (99 ağırlık) ince çizgileri çiziyor. Aynı rastgele ağırlıklarla başlayan iki özdeş minik öğrenci (her biri 33 ağırlık) aynı 15 etiketli noktayı görüyor. Biri yalnızca etiketlerle eğitiliyor. Öbürünün payları, aynı T = 3 ile, o noktalar için öğretmeninkilerle örtüşene kadar hafifçe itiliyor. (Gerçek tarifler genellikle etiketleri de tutar; bu öğrenci onları hiç görmez.)

“İkisini eğit”e basın ve gerçek gradyan inişinin 200 adımını (her adım, yanıtlar hedeflere daha iyi uysun diye her ağırlığı biraz iter) izleyin, sonra öğrenme adımını sürükleyip gezinin. Halka, öğretmenin etiketine katılmadığı bir noktayı gösterir.

Bu şekil JavaScript gerektirir. Sayfanın içinde, üç tür noktanın iç içe geçmiş kümeler oluşturduğu bir oyuncak problemin aynı 15 etiketli noktası üzerinde iki minik ağı eğitir. Bir öğrenci yalnızca etiketlerden öğrenir; öbürü bir öğretmen ağının aynı noktalar için verdiği yumuşak hedeflerden öğrenir. 15 noktalık 100 farklı örnek üzerinde, yalnızca etiketlerden öğrenen öğrenci 900 yeni noktada ortalama yüzde 88 doğru yapar, yumuşak hedefli öğrenci yüzde 92; öğretmen yüzde 93 alır. Yumuşak hedefli öğrenci 100 örneğin 94’ünde önde olur. Bu, düzlemde noktalardan oluşan bir oyuncaktır, dil modeli değildir.

İlk 60 adımda önemli olan hemen her şey olur. Kümeler iç içe geçtiği için bazı etiketler öğretmenin sınırlarının yanlış tarafında kalır: halkalı noktalar. Yalnızca etiketlerden öğrenen öğrenci onlara sözlerinin üstüne inanır. Yumuşak hedefli öğrenci inanmaz, çünkü öğretmenin halkalı bir nokta için payları öbür türe yatar.

Tek bir örnek iki yönde de yanıltabilir; bu yüzden “Başka 15 nokta”ya birkaç kez, sonra “100 örnekte tekrarla”ya basın. T = 3 iken yumuşak hedefli öğrenci ortalama yüzde 92 alıyor, yalnızca etiketlerle öğrenen yüzde 88 (öğretmen: yüzde 93) ve 100 örneğin 94’ünde önde (1’inde berabere, 5’inde geride). İlk örnek en tipik olanıdır. Ayarlar iki öğrenci için de ayrıca ayarlanmadı.

İki öğrenci de aynı 15 noktayı gördü. Fazladan bilgi nereden geldi? Öğretmenden; o 3.000 nokta görmüştü. Bir etiket, üçgenlerin arasında kalmış bir nokta için bile “kare” der. Öğretmenin payları “büyük olasılıkla üçgen” ya da “kare, ama üçgenlere yakın” der: bir ad kadar bir konum da.

Kazanç (yüzde 88,1’e karşı 92,2) nereden geliyor? Bir öğrenciye payları vermeden yalnızca öğretmenin en iyi tahminini etiket olarak verin: yüzde 89,9 alır. Bu, 4,1 puanın 1,8’ini kapatır; çoğunlukla yanıltıcı etiketleri geçersiz kılarak. Her etiketi, hiç öğretmen olmadan, üç türe eşit yaymak yüzde 88,4 verir. Gerisi payları gerektirir; paylar bir noktanın sınıra ne kadar yakın olduğunu söyler. Örnekleri halkalı noktalara göre bölün: yalnızca etiketlerden öğrenen öğrenci yüzde 90,5’ten (halkalı yok, 39 örnek) 83,8’e (üç ya da daha fazla, 9 örnek) düşer; yumuşak hedefli öğrenci yüzde 92 civarında kalır.

Sıcaklık burada, birinci şeklin akla getirdiğinden daha az önemli. T = 1, 3 ya da 10 seçip tekrarlayın: yumuşak hedefler ortalama yüzde 91,7, 92,2 ve 92,3 alıyor; üçü de etiketlerin üstünde ve birbirine bir puandan yakın. Bu kadar düzgün bir oyuncak, yöntemi olduğundan daha iyi gösterir.

Şekilde iki öğrenci de aynı 15 noktayı gördü, ama yumuşak hedefli öğrenci daha iyi çıktı. Farkı ne yarattı?

1. Öbür öğrenciden daha çok adım eğitildi; bu yüzden gelişmek ve noktalara uymak için daha çok zamanı vardı.
2. Öğretmen daha fazla nokta ekledi; böylece öğrenecek daha çok örneği oldu.
3. Öğretmenin payları yanıltıcı etiketleri düzeltti ve bir noktanın sınıra yakınlığını gösterdi.

Yanıtı göster

İkisi de, oyuncakta. Öğretmenin yalnızca en iyi tahmini 4,1 puanın 1,8’ini kapattı, yanıltıcı etiketleri (halkalı noktalar) geçersiz kılarak; gerisi payları gerektirdi, paylar her noktanın sınıra ne kadar yakın olduğunu söyler.

A değil: ikisi de aynı başlangıç ağırlıklarından tam 200 adım attı.

B değil: noktalar aynı 15 noktaydı. Öğretmen onlara nokta değil, pay ekledi.

Bir dil modeli aynı oyunu bir metnin her konumunda oynar: şimdiye kadarki kelimeler verilince, sözcük dağarcığındaki her kelimenin sıradaki olma olasılığı nedir? Bu olasılıklar, öğretmenin her sınıf için payıdır. Bir öğrenciye öğretmenin bildiği şey üç yolla verilebilir: öğretmenin yazdığı tek bir kelime (ürettiği metin üzerinde eğitim), en iyi üç payı ya da her payı. Şekil, sekiz kelime ve uydurma olasılıklarla tek bir adımı gösteriyor.

Bu şekil JavaScript gerektirir. Sekiz kelime ve uydurma olasılıklarla oyuncak bir dil modelinin tek adımını gösterir: fincana yüzde 46, kupaya 22, bardağa 12, kaseye 7, demliğe 5, kavanoza 4, ayakkabıya 3 ve aya 1. Tek yazılmış kelimeyle öğrenci sekiz kelimeden yalnızca bir tanesini duyar; öğretmen “fincana” yazdıysa görüşünün yüzde 54’ü öğrenciye hiç ulaşmaz, yeniden sorulduğunda “kupaya” yazabilir. En iyi üç payla öğrenci üç kelimeyi duyar ve görüşün yüzde 20’si dışarıda kalır. Her payla hiçbir şey dışarıda kalmaz.

Tek kelimede hedef, öğretmenin hiçbir zaman tam olarak inanmadığı tek bir kelimeye yüzde 100 verir; yeniden sorarsanız, öğretmen kelimelerini örnekliyorsa başka bir kelime yazabilir. Çok sayıda örnekte yine de işe yarar ve elde etmesi en ucuzudur: yalnızca öğretmenin metni yeter. (Şekil, gürültüyü göstermek için rastgele bir kelime çeker; gerçek tarifler çoğunlukla en yüksek puanlı ya da süzülmüş çıktıları kullanır.)

2016’da Kim ve Rush çeviri öğrencilerini öğretmenlerinin kendi en iyi çıktılarıyla eğitti; bu çıktılar ışın araması ile bulunuyordu: birkaç aday cümleyi birden yaşatan, daha yavaş bir arama. En iyi öğrencileri öğretmenlerinden yaklaşık on kat hızlı çalıştı (kısmen ışın araması gerektirmediği için) ve kalite kaybı azdı.

DeepSeek-R1 raporu, R1 ile derlenmiş yaklaşık 800.000 örnek üzerinde altı küçük açık modeli yalnızca denetimli ince ayarla (var olan modeli yeni örneklerle biraz daha eğitmekle) eğitti.

En iyi üç pay ikincileri de söyler, ama görüşün beşte biri hâlâ eksiktir. Her pay, yalnızca kelimeleri değil, öğretmenin kendi çıktılarını ister: Gemma 2 raporu 2B ve 9B modellerini, yalnızca sıradaki kelime yerine her sonraki kelime için öğretmenin bütün dağılımıyla eğitir.

Peki büyük bir modelin API’sine bir milyon soru sorup küçük bir modeli yanıtlarla eğitebilir miyim? Teknik olarak bu kolay. Buna izin olup olmadığı başka bir mesele: bir sağlayıcının koşulları ya da bir modelin lisansı, çıktılarının başka bir modeli eğitmek için kullanılmasını kısıtlayabilir. Önce onları okuyun.

Bir hizmet büyük bir modelin yanıtlarının yalnızca metnini veriyor. Şekildeki üç denetim türünden hangisini kurabilirsiniz?

1. Konum başına tek kelime: yanıtlarının kelimeleri.
2. En iyi üç pay, çünkü her hizmet bunları döndürür.
3. Her pay, çünkü metin dağılımın yazıya dökülmüş hâlidir.

Yanıtı göster

Yazdığı kelimeler; şekildeki birinci tür. Metin, öğretmenin dağılımından bir örnektir, dağılımın kendisi değil.

B değil: bazı hizmetler en üstteki birkaç olasılığı döndürür, birçoğu döndürmez; bu hizmet yalnızca metin veriyor.

C değil: yazılmış bir kelime öğretmenin paylarından tek bir çekiliştir; yeniden sorarsanız farklı çıkabilir, yukarıdaki şekilde olduğu gibi.

Damıtma ve nicemleme bir modeli farklı eksenlerde küçültür. Bir modelin ağırlıkları (ağırlık sayısı) × (ağırlık başına bit) kadar bellek tutar. Damıtma birinci çarpanı düşürür, çünkü öğrencinin ağırlık sayısı daha azdır; nicemleme ikincisini düşürür. Yani kazançlar çarpılır. Aşağıda boyutları ve bitleri seçin (yuvarlak örneklerdir, hiçbir ürünün değil).

Bu şekil JavaScript gerektirir. Bir modelin ağırlıklarının belleği için bir hesaplayıcıdır: ağırlık sayısı çarpı ağırlık başına bit, bölü sekiz. 16 bitte 70 milyar ağırlıklı bir öğretmen 140 GB tutar; 16 bitte 8 milyar ağırlıklı bir öğrenci 16 GB tutar, yani 8,75 kat az; aynı öğrenci 4 bitte 4 GB tutar, yani öğretmenden 35 kat az. Boyutlar yuvarlak örneklerdir, yalnızca ağırlıklar sayılır ve kalite gösterilmez.

Şekil kaliteyi çizmiyor; öğretmeni öğrencinin on katından büyük seçmek ise bir uyarı ekler: büyük farklar öğrencilerin zorlandığı yerdir (sonraki bölüm).

Kalite için doğrulanmış bir örnek: DistilBERT yazarları BERT’ten yüzde 40 daha az ağırlık (110 milyon yerine 66 milyon), yüzde 60 daha hızlı çıkarım ve dil anlama skorunun yüzde 97’sini bildiriyor; ölçüm bir işlemcide (CPU), tek seferde bir örnekle yapılmış. Bu sayılar o modele ve o testlere aittir. İki adımı birden atmak kaliteden iki kez götürebilir ve maliyetler toplanmayabilir: birleşik modeli kendi göreviniz üzerinde sınayın.

Damıtma küçük bir modele iyi bir öğretmenin alışkanlıklarını verir, daha fazlasını değil:

• Fark. Öğretmeninden çok daha küçük bir öğrenci onu daha az özümseyebilir. Mirzadeh ve arkadaşları fark büyükken öğrencilerin daha kötü olduğunu bildiriyor ve araya orta boy bir “öğretmen yardımcısı” ekliyor.
• Devralınan hatalar. Öğrenci problemi yalnızca öğretmen aracılığıyla görür. Öğretmen yanılıyorsa ya da taraflıysa kopya da öyle olur (oyuncakta yumuşak hedefli öğrenci ortalamada öğretmeninin biraz gerisinde kaldı).
• Sorduğunuz sorular. Bir öğretmen yalnızca ona gösterdiğinizi etiketleyebilir: gerçek kullanıma benzemeyen girdiler, yanlış şeyde iyi bir öğrenci verir.

Damıtma spekülatif kod çözmeye de yardım eder: DistillSpec büyük modeli küçük tahmin modeline damıtır; böylece daha çok tahmin kabul edilir. Makale kendi testlerinde standart spekülatif kod çözmeye göre yüzde 10 ile 45 arası hızlanma bildirir.

Öğretmen her 100 noktadan 7’sini yanlış yapıyor. Onu kopyalamayı öğrenen bir öğrenciye ne olur?

1. Öğretmenin yanıldığı yerde doğruyu bulmayı öğrenir; çünkü küçük bir model her zaman daha basittir.
2. Öğretmenin hatalarını kopyalayabilir; çünkü problemi öğretmen aracılığıyla öğrenir.
3. Hatalar kaybolur; çünkü yumuşak hedefler ağırlığın çoğunu hep doğru türe verir.

Yanıtı göster

Kopyalayabilir: öğretmenden öğrenen bir öğrenci öğretmenin nerede yanıldığını bilemez. Eğitim şeklinde ortalamada öğretmenin biraz gerisinde kaldı (yüzde 92’ye karşı 93).

A değil: daha küçük olmak, öğrenciye öğretmeninin nerede yanıldığını söylemez.

C değil: yumuşak hedefler öğretmenin kendi görüşüdür. Öğretmenin yanıldığı yerde ağırlığı yanlış türe verirler.

• Bir öğretmenin yanlış yanıtları bilgi taşır ve yükseltilmiş sıcaklık onu daha kolay okunur kılar.
• Yumuşak hedefler, örnek başına etiketlerden daha çok öğretebilir (burada olduğu gibi az veri durumlarında); yalnızca öğretmenin metnini gören bir öğrenci adım başına bir kelime alır.
• Damıtma ağırlıkları, nicemleme bitleri çıkarır: kazançlar çarpılır, kalite bedelini ölçmek size düşer.
• Öğretmenin koşullarına ve lisansına bakın, öğrenciyi kendi göreviniz üzerinde sınayın.

Dışarıdan alınan her sayı ve iddia, 14 Ekim 2026’da kontrol edildi.

1. Hinton, Vinyals ve Dean (2015), “Distilling the Knowledge in a Neural Network”.
2. Kim ve Rush (EMNLP 2016), “Sequence-Level Knowledge Distillation”.
3. Sanh, Debut, Chaumond ve Wolf (2019), “DistilBERT, a distilled version of BERT”.
4. DeepSeek-AI (2025), “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning”, birinci sürümün 2.4 bölümü.
5. Gemma Team (2024), “Gemma 2: Improving Open Language Models at a Practical Size”.
6. Mirzadeh ve arkadaşları (AAAI 2020), “Improved Knowledge Distillation via Teacher Assistant”.
7. Zhou ve arkadaşları (2023), “DistillSpec: Improving Speculative Decoding via Knowledge Distillation”.