Eğitimin Amacı ve Kapsamı
Veri gizliliği, birim maliyet kontrolü ve tedarikçi bağımsızlığı arayan kurumlar için Llama, Qwen, Mistral, Gemma ve DeepSeek gibi açık ağırlıklı (open-weight) modeller güçlü birer temel sunar. Ancak her model ailesinin kendine özgü chat template'i, attention yapısı, kelime dağarcığı ve nicemleme hassasiyeti vardır.
Bu eğitim, açık ağırlıklı bir modeli Hugging Face Hub'dan indirip kurum verisiyle özelleştirmekten, özel kontrol token'ları eklemeye, AWQ/GPTQ/FP8/GGUF formatlarına sıkıştırmaya ve vLLM/SGLang üzerinde kapalı ağda (on-premise / VPC) sunmaya kadar tüm yaşam döngüsünü kapsar. Çıktı olarak kurum senaryosu için özelleştirilmiş ve paketlenmiş bir açık model teslim edilir.
Kimler Katılmalı?
- Dış API'lere veri göndermeden kurum içi LLM geliştiren yapay zeka ve yazılım mühendisleri
- Açık ağırlıklı modelleri eğiten ve optimize eden veri bilimciler
- On-premise veya özel bulut (VPC) üzerinde model sunan ML platform mühendisleri
- Ön koşul: Python, PyTorch ve temel Linux/container kullanımı
Kazanımlar
- Llama, Qwen, Mistral, Gemma ve DeepSeek ailelerinin mimari ve tokenizer farklarını uyarlama sürecine yansıtmak
- Modele kuruma özgü yeni kontrol veya alan token'ları ekleyip embedding katmanını yeniden boyutlandırmak
- Kapalı kurumsal ağlarda (air-gapped / VPC) güvenli model ağırlığı yönetimi ve tekrarlanabilir eğitim kurmak
- Özelleştirilmiş modeli kalibrasyon verisiyle AWQ, GPTQ, FP8 veya GGUF formatlarına kayıpsız nicemlemek
- Nicemlenmiş özel modeli vLLM veya SGLang üzerinde OpenAI uyumlu API olarak devreye almak
Konular
Açık Ağırlıklı Model Ailelerinin Mimari Karşılaştırması
- Llama, Qwen, Mistral, Gemma ve DeepSeek: GQA, sliding window, tied embeddings ve MoE farkları
- Model ailesine özgü chat template, özel token ve pad/EOS yapılandırma incelikleri
Özel Token Ekleme ve Kelime Dağarcığı Uyarlama
- Yapılandırılmış çıktı veya araç çağrısı için yeni special token tanımlama ve
resize_token_embeddings - Yeni eklenen embedding'leri mevcut dağılım ortalamasıyla başlatma (mean initialization)
Kurumsal Ortamda Uyarlama ve Kapalı Ağ (Air-Gapped) İş Akışı
- Safetensors formatı, ağırlık doğrulama ve kurum içi model kayıt defteri (Artifact Registry / Hugging Face Hub cache)
- Büyük ticari modeller yerine kurum içi büyük açık modelden (ör. 70B → 8B) iç distillation
Eğitim Sonrası Nicemleme (PTQ) ve Çıkarıma Hazırlık
- Özelleştirilmiş modelin kendi eğitim/alan verisiyle AWQ ve GPTQ kalibrasyonu
- Hopper/Ada GPU'lar için FP8 nicemleme ve CPU/uç cihazlar için llama.cpp GGUF dönüşümü
- Nicemleme sonrası doğruluk kaybı (perplexity ve görev skoru) denetimi
Atölye: Açık Model Özelleştirme, Sıkıştırma ve Sunum
- Seçilen açık ağırlıklı modelin kurum verisiyle ince ayarı ve AWQ/FP8 paketlemesi
- vLLM üzerinde servis açma, gecikme ve throughput testi
Bu Kategorideki Diğer Eğitimler
-
Sondan eklemeli Türkçe yapısının BPE tokenizer verimliliğine etkisini, kelime dağarcığı genişletme ve continual pre-training yöntemlerini, Türkçe benchmark ve kültürel/hukuki bağlam uyarlamasını ele alan eğitim.
- Canlı Kurs
- 5 modül
-
Çoklu GPU ve çoklu sunucu kümelerinde büyük dil modellerini eğitmek için Data/Tensor/Pipeline/Context paralelliği, DeepSpeed ZeRO-1/2/3, PyTorch FSDP2 ve iletişim darboğazı optimizasyonu eğitimi.
- Canlı Kurs
- 5 modül
-
DeepSeek-R1 tarzı akıl yürütme modellerini doğrulanabilir ödüllerle (RLVR) ve kritik modelsiz Group Relative Policy Optimization (GRPO) algoritmasıyla eğitmeyi öğreten ileri seviye uygulama eğitimi.
- Canlı Kurs
- 5 modül
-
LLM eğitim veri setlerinde MinHash ve embedding tabanlı tekilleştirme (deduplication), test/benchmark sızıntısı (contamination) temizliği, kalite puanlama ve PII maskeleme boru hatları kurma eğitimi.
- Canlı Kurs
- 5 modül
-
Bir iş probleminde context engineering, RAG ve fine-tuning seçeneklerini bilgi güncelliği, davranış/stil uyumu, gecikme ve maliyet kriterleriyle değerlendirip hibrit yol haritası çıkaran uygulamalı eğitim.
- Canlı Kurs
- 5 modül
-
Model uyarlama öncesinde açık ağırlıklı ve ticari temel modelleri boyut, lisans, dil/tokenizer ve donanım açısından seçme; kurumsal verinin hacim, kalite ve gizlilik uygunluğunu denetleme eğitimi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
