Eğitimin Amacı ve Kapsamı
Kurumsal fine-tuning projelerinde en büyük darboğaz binlerce uzman etiketli soru-cevap veya muhakeme örneğini elle üretmenin aylar sürmesidir. Sentetik veri üretimi, kurum içi dokümanları ve az sayıdaki altın örneği (seed data) güçlü teacher modellerle çoğaltarak haftalar yerine saatler içinde zengin eğitim setleri oluşturmayı sağlar.
Eğitimde doküman tabanlı soru-cevap sentezi, Evol-Instruct ve persona odaklı çeşitlendirme, kod/şema/RAG doğrulayıcılarıyla (rejection sampling) hatalı sentetik çıktıları eleme ve Distilabel ile ölçeklenebilir veri üretim hatları uygulanır. Katılımcılar kurum dokümanlarından doğrulanmış bir sentetik fine-tuning veri seti üretir.
Kimler Katılmalı?
- Sınırlı etiketli veriyle özel model eğiten veri bilimciler ve yapay zeka mühendisleri
- Büyük model yeteneklerini küçük modellere aktaran (knowledge distillation) ML mühendisleri
- Eğitim ve değerlendirme veri boru hatları kuran veri mühendisleri
- Ön koşul: Python ve LLM API kullanımı
Kazanımlar
- Ham kurumsal PDF, bilgi tabanı ve log'lardan kaynaklı (grounded) soru-cevap ve görev çiftleri üretmek
- Tekdüze sentetik çıktıları önlemek için konu, zorluk ve persona matrisleriyle çeşitlilik sağlamak
- Teacher modelden düşünce zinciri (reasoning trace) ve tercih çiftleri (chosen/rejected) sentezlemek
- Rejection sampling, kod çalıştırma ve LLM-as-a-judge filtreleriyle halüsinasyonlu sentetik örnekleri ayıklamak
- Distilabel veya asenkron batch API'lerle düşük maliyetli ve tekrarlanabilir sentetik veri boru hattı kurmak
Konular
Sentetik Veri Paradigmaları ve Model Collapse Riski
- Seed-based büyütme (Self-Instruct), doküman tabanlı sentez ve knowledge distillation
- Sentetik veride çeşitlilik çökmesi (lexical/semantic tekdüzelik) ve model lisans kuralları
Çeşitlilik Mühendisliği: Evol-Instruct, Magpie ve Persona Matrisleri
- Alt konu ağacı (taxonomy), zorluk seviyesi ve kullanıcı personası kombinasyonlarıyla prompt üretimi
- Kurumsal doküman parçalarından çok adımlı muhakeme ve negatif (cevaplanamaz) sorular türetme
Reasoning İzleri ve Tercih Verisi (DPO) Sentezi
- Teacher modelden adım adım çözüm gerekçesi üretip yalnızca doğru sonuç verenleri tutma (STaR / Rejection Sampling)
- Kasıtlı zorlayıcı hatalar veya zayıf model çıktılarıyla DPO için chosen/rejected çiftleri kurma
Doğrulama, Filtreleme ve Distilabel Boru Hatları
- Deterministik doğrulayıcılar (JSON şema, SQL/Python çalıştırma, kaynak metin örtüşmesi)
- Kalibre edilmiş yargıç modellerle doğruluk, sadakat (faithfulness) ve eğitici değer puanlama
- Distilabel ve vLLM/Batch API ile yüksek hacimli üretim ve maliyet optimizasyonu
Atölye: Kurum Dokümanlarından SFT Veri Seti Üretimi
- Örnek bir kurumsal doküman setinden uçtan uca sentetik veri üretim ve filtreleme hattı kurma
- Üretilen verinin çeşitlilik (embedding dağılımı) ve kalite denetimi
Bu Kategorideki Diğer Eğitimler
-
Az ama yüksek etkili örneklerle (LIMA ilkesi) SFT ve çok turlu konuşma veri seti tasarlama; görev karışım oranları, uzman etiketleme kılavuzları ve veri versiyonlamayı kapsayan uygulamalı eğitim.
- Canlı Kurs
- 5 modül
-
İnce ayar yapılmış modellerde görev başarısını, catastrophic forgetting regresyonlarını, halüsinasyon ve güvenlik kaymalarını lm-evaluation-harness, özel görev testleri ve ikili kıyaslamalarla ölçme eğitimi.
- Canlı Kurs
- 5 modül
-
Llama, Qwen, Mistral, Gemma ve DeepSeek gibi açık ağırlıklı modelleri kurumsal ortama uyarlama; mimari farklar, özel kontrol token'ları, nicemleme (AWQ/GGUF/FP8) ve self-hosted dağıtıma hazırlama eğitimi.
- Canlı Kurs
- 5 modül
-
Sondan eklemeli Türkçe yapısının BPE tokenizer verimliliğine etkisini, kelime dağarcığı genişletme ve continual pre-training yöntemlerini, Türkçe benchmark ve kültürel/hukuki bağlam uyarlamasını ele alan eğitim.
- Canlı Kurs
- 5 modül
-
Çoklu GPU ve çoklu sunucu kümelerinde büyük dil modellerini eğitmek için Data/Tensor/Pipeline/Context paralelliği, DeepSpeed ZeRO-1/2/3, PyTorch FSDP2 ve iletişim darboğazı optimizasyonu eğitimi.
- Canlı Kurs
- 5 modül
-
DeepSeek-R1 tarzı akıl yürütme modellerini doğrulanabilir ödüllerle (RLVR) ve kritik modelsiz Group Relative Policy Optimization (GRPO) algoritmasıyla eğitmeyi öğreten ileri seviye uygulama eğitimi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
