Eğitimin Amacı ve Kapsamı
Kurumsal NLP projelerinde en büyük engel model mimarisi değil; hukuki sözleşmeler, tıbbi notlar, teknik arıza kayıtları veya finansal raporlar gibi uzmanlık jargonu içeren uzun metinler ve binlerce temiz etiketin bulunmayışıdır. Bu ileri seviye program; kurum korpusu üzerinde sürekli ön eğitim (Domain-Adaptive Pretraining / MLM), DeBERTa-v3 ve Türkçe/çok dilli encoder modellerin ileri fine-tuning tekniklerini (katman bazlı learning rate decay, R-Drop, multi-sample dropout), SetFit ile 8-64 örnekle few-shot sınıflandırmayı ve LoRA/PEFT adaptörlerini kapsar.
Etiket gürültüsünü Cleanlab ile temizleme, LLM'leri öğretmen olarak kullanıp küçük ve hızlı encoder modellere damıtma (synthetic labelling + distillation) ve 512 token sınırını aşan uzun belgeleri işleme stratejileri kurum vakası üzerinde uygulanır.
Kimler Katılmalı?
- Üretimde NLP modelleri geliştiren kıdemli veri bilimciler ve ML mühendisleri
- Hukuk, finans, sağlık, sigorta ve müşteri operasyonlarında uzmanlık metinleri işleyen ekipler
- Büyük LLM maliyetini küçük, hızlı ve yüksek doğruluklu uzman NLP modellerine indirmek isteyen mühendisler
- Ön koşul: Python, PyTorch ve temel NLP / Hugging Face deneyimi
Kazanımlar
- Kurum içi etiketsiz metinlerle Masked Language Modeling (DAPT/TAPT) yaparak domain adaptasyonu sağlamak
- Az sayıda etiketli örnekle SetFit ve contrastive fine-tuning kullanarak yüksek doğruluklu modeller kurmak
- LLM ile üretilen gürültülü etiketleri Cleanlab (confident learning) ile filtreleyip kompakt bir encoder modele damıtmak
- 512 token sınırını aşan sözleşme ve raporları sliding window, hiyerarşik dikkat ve ModernBERT/Longformer ile modellemek
- Çok etiketli (multi-label), aşırı dengesiz ve çok dilli (zero-shot cross-lingual) görevlerde eşik ve kayıp optimizasyonu yapmak
Konular
Domain Adaptasyonu ve Sürekli Ön Eğitim (DAPT/TAPT)
- Kurum jargonu için tokenizer genişletme ve Masked Language Modeling (MLM)
- Türkçe (BERTurk, ConvBERT) ve çok dilli (XLM-R, mDeBERTa) model seçimi
İleri Fine-Tuning ve Kararlılık Teknikleri
- Layer-wise learning rate decay (LLRD), warmup, R-Drop ve adversarial (FGM) eğitim
- LoRA/DoRA ile parametre verimli ince ayar ve çok görevli başlıklar
Az Etiketli (Few-Shot) Öğrenme ve SetFit
- Contrastive cümle çiftleriyle SetFit eğitimi
- Aktif öğrenme (uncertainty sampling) ile hangi örneklerin etiketleneceğini seçme
Zayıf Denetim, Sentetik Etiketleme ve Cleanlab
- LLM öğretmen ile veri etiketleme ve küçük öğrenci modele (encoder) distillation
- Cleanlab (Confident Learning) ile yanlış etiketlenmiş örnekleri bulma ve düzeltme
Uzun Belgeler ve Çok Etiketli (Extreme Multi-Label) Problemler
- Chunk-pooling, hiyerarşik Transformer ve 8k+ bağlamlı ModernBERT
- Asymmetric/Focal loss ve sınıf bazlı kalibre edilmiş karar eşikleri
Bu Kategorideki Diğer Eğitimler
-
Sinir ağlarıyla uçtan uca NLP: alt-kelime tokenizasyonu, BiLSTM-CRF ve Transformer (BERT, DeBERTa, T5) mimarileri; Hugging Face Transformers ve PyTorch ile dizi etiketleme, seq2seq özetleme ve soru yanıtlama.
- Canlı Kurs
- 5 modül
-
NLP modellerini yüksek trafikte düşük maliyet ve gecikmeyle çalıştırma: ONNX/Optimum niceleme, Triton/FastAPI servis, dinamik batching, PII maskeleme (Presidio), davranışsal test (CheckList) ve metin drift izleme.
- Canlı Kurs
- 5 modül
-
Yapılandırılmamış belgelerden yapılandırılmış tablo/JSON üretimi: hiyerarşik ve çok etiketli sınıflandırma, GLiNER ve Transformer NER, ilişki ve olay çıkarımı, OCR/PDF düzen (layout) işleme ve şema doğrulamalı çıkarım.
- Canlı Kurs
- 5 modül
-
Kelime eşleşmesinin ötesinde kurumsal arama: Sentence-Transformers (bi-encoder), çok dilli embedding'ler, BM25/SPLADE + yoğun vektör hibrit arama, RRF, Cross-Encoder reranking, Qdrant/pgvector ve NDCG@k ölçümü.
- Canlı Kurs
- 5 modül
-
PyTorch ile Derin Öğrenme
PyTorch 2.x ile tensor işlemleri ve autograd temellerinden CNN, Transformer, LLM ince ayarı (LoRA/QLoRA), difüzyon modelleri, GNN ve üretim ortamı model dağıtımına uzanan kapsamlı derin öğrenme eğitimi.
- Canlı Kurs
- 12 modül
-
Yapay sinir ağları, ileri yayılım, backpropagation, aktivasyon ve loss fonksiyonları, AdamW, dropout ve batch normalization; PyTorch ile ilk derin öğrenme modellerini doğru kurma ve eğitme becerisi kazandırır.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
