Eğitimin Amacı ve Kapsamı
Verilen bir kararın bir sonraki durumu ve gelecekteki ödülleri değiştirdiği dinamik fiyatlama, envanter yenileme, teklif optimizasyonu, enerji yönetimi ve robotik/kontrol senaryolarında standart supervised öğrenme yetersiz kalır. Bu program; Markov Karar Süreçleri (MDP), Bellman denklemleri, değer tabanlı yöntemler (Q-Learning, Double/Dueling DQN), politika gradyanı ve aktör-kritik algoritmalar (PPO, SAC) ile düşük riskli başlangıç noktası olan Contextual Bandit yapılarını kapsar.
Canlı sistemde rastgele deneme yapmanın tehlikeli olduğu kurumsal ortamlar için geçmiş loglardan öğrenen Offline RL (CQL, IQL) ve simülatör tasarımı üzerinde özellikle durulur. Katılımcılar Gymnasium ve Stable-Baselines3 ile kurum senaryosuna uyarlanmış bir ortam ve politika değerlendirme raporu üretir.
Kimler Katılmalı?
- Kıdemli veri bilimciler, ML ve kontrol/otomasyon mühendisleri
- Dinamik fiyatlama, kampanya/öneri sıralama ve kaynak yönetimi ekipleri
- Tedarik zinciri, enerji şebekesi ve simülasyon tabanlı optimizasyon uzmanları
- Ön koşul: Python, olasılık ve temel derin öğrenme (PyTorch) bilgisi
Kazanımlar
- Bir iş problemini durum (state), aksiyon, geçiş ve ödül fonksiyonu ile MDP veya contextual bandit olarak kurgulamak
- Gymnasium arayüzüyle kurum kurallarını ve kısıtlarını yansıtan simülasyon ortamı yazmak
- Stable-Baselines3 ile DQN, PPO ve SAC ajanlarını eğitip ödül şekillendirme (reward shaping) tuzaklarını önlemek
- Canlı keşfin maliyetli olduğu durumlarda geçmiş kayıtlarla Offline RL ve Off-Policy Evaluation (OPE) uygulamak
- Öğrenilen politikayı sezgisel baz kurallarla (heuristics) güvenlik kısıtları altında kıyaslamak
Konular
MDP, Bellman Denklemleri ve Contextual Bandits
- Durum, aksiyon, ödül, indirim faktörü ve keşif-kullanım (LinUCB, Thompson Sampling)
- Ne zaman bandit yeterli, ne zaman tam RL gerekli?
Değer Tabanlı Derin RL: DQN Ailesi
- Tablo Q-Learning'den Deep Q-Network'e: experience replay ve hedef ağ
- Double DQN, Dueling DQN ve ayrık aksiyon uzayları
Politika Gradyanı ve Aktör-Kritik: PPO ve SAC
- REINFORCE, avantaj tahmini (GAE) ve Proximal Policy Optimization (PPO)
- Sürekli aksiyon uzaylarında Soft Actor-Critic (SAC)
Simülatör Tasarımı ve Ödül Mühendisliği
- Gymnasium ile özel kurumsal ortam (env) geliştirme
- Seyrek ödüller, reward hacking ve aksiyon maskeleme ile güvenli kısıtlar
Offline RL ve Off-Policy Evaluation (OPE)
- Geçmiş loglardan öğrenmede dağılım dışı (OOD) aksiyon tehlikesi ve CQL/IQL
- Canlıya çıkmadan önce IPS ve Doubly Robust ile politika değerlendirme
Bu Kategorideki Diğer Eğitimler
-
İşlem dizileri, oturum akışları ve işlem ağları üzerinde derin sahtekarlık modelleri: Transformer/RNN dizi modelleri, autoencoder anomali skorları, GNN ile sahtekarlık halkaları ve GBDT+DL hibrit mimarileri.
- Canlı Kurs
- 5 modül
-
Üretim hattı görüntüleri, akustik/titreşim sinyalleri ve sistem loglarında derin hata tespiti: PatchCore/PaDiM, Anomalib, YOLO/segmentasyon, 1D-CNN/autoencoder ve sadece sağlam örneklerle (one-class) eğitim.
- Canlı Kurs
- 5 modül
-
N-BEATS, N-HiTS, Temporal Fusion Transformer (TFT), PatchTST, DeepAR ve TCN ile çok değişkenli, uzun ufuklu ve olasılıksal zaman serisi tahmini; NeuralForecast ve PyTorch Forecasting ile uygulama.
- Canlı Kurs
- 5 modül
-
Büyük ölçekli derin öneri mimarileri: Two-Tower vektör arama (FAISS/Qdrant), SASRec/BERT4Rec ile oturum dizisi önerileri, DeepFM/DCN-v2/DLRM ile CTR/CVR sıralama ve çok hedefli (MMoE) öğrenme.
- Canlı Kurs
- 5 modül
-
Türkçe ve çok dilli metinlerde ön işleme, morfoloji, regex, tokenizasyon, TF-IDF, kelime/cümle embedding'leri, spaCy ve scikit-learn/Hugging Face ile ilk metin sınıflandırma, NER ve duygu analizi modelleri.
- Canlı Kurs
- 5 modül
-
Düşük etiketli ortamlarda ileri NLP: domain-adaptive pretraining (MLM), DeBERTa/RoBERTa fine-tuning, LoRA/PEFT, SetFit ile few-shot öğrenme, zayıf denetimli etiketleme (Cleanlab/LLM-destekli), uzun belge ve çok dilli modeller.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
