Eğitimin Amacı ve Kapsamı
Farklı kütüphanelerle (PyTorch, TensorFlow, scikit-learn, XGBoost) eğitilen modelleri tek bir standart çalışma zamanında, eğitim bağımlılıklarını taşımadan ve donanım hızlandırmasıyla çalıştırmanın en yaygın yolu ONNX ve ONNX Runtime'dır. Bu eğitim, modellerin ONNX grafiğine dönüştürülmesinden üretimde yüksek hızlı çalıştırılmasına kadar olan süreci uygulamalı olarak kapsar.
Katılımcılar torch.onnx, tf2onnx, skl2onnx ve Hugging Face Optimum ile model dönüştürür, Netron ile grafiği inceler, sayısal farkları doğrular ve ONNX Runtime üzerinde grafik optimizasyonu ile INT8 quantization uygular. Eğitim sonunda kurumun kendi modeli için bir dönüşüm ve doğrulama script'i teslim edilir.
Kimler Katılmalı?
- Modellerini düşük gecikmeyle ve hafif bağımlılıklarla sunmak isteyen ML mühendisleri
- Farklı framework'lerden gelen modelleri ortak bir altyapıda çalıştıran MLOps ekipleri
- Python dışı ortamlara (C++, C#, Java, edge/tarayıcı) model entegre eden yazılım geliştiriciler
- Ön koşul: Python ve en az bir ML framework'ü (PyTorch, TensorFlow veya scikit-learn) bilgisi
Kazanımlar
- PyTorch, TensorFlow, scikit-learn ve Hugging Face modellerini dinamik eksenlerle ONNX'e aktarmak
- ONNX opset sürümlerini yönetmek ve Netron ile operatör grafiğini incelemek
- Orijinal model ile ONNX çıktıları arasındaki sayısal eşdeğerliği otomatik test etmek
- ONNX Runtime Execution Provider'larını (CPU, CUDA, TensorRT, OpenVINO) yapılandırmak
- Graph optimization ve FP16/INT8 quantization ile model boyutunu ve latency'yi düşürmek
Konular
ONNX Ekosistemi ve Grafik Yapısı
- IR (Intermediate Representation), operatörler, tensörler ve opset kavramı
- Netron ve
onnx.checkerile model grafiğini görselleştirme ve doğrulama
Framework'lerden ONNX'e Model Dönüştürme
- PyTorch'tan
torch.onnx.exportile dışa aktarma vedynamic_axestanımı tf2onnx,skl2onnxve Hugging Face Optimum ile transformer dönüşümü
Sayısal Doğrulama ve Dönüşüm Sorunlarını Giderme
numpy.testing.assert_allcloseile çıktı tolerans kontrolü- Desteklenmeyen operatörler, sabitlenen (frozen) şekiller ve kontrol akışı sorunları
ONNX Runtime ve Execution Provider Mimarisi
InferenceSession,SessionOptions, thread ayarları ve I/O binding- CPU, CUDA, TensorRT ve OpenVINO Execution Provider seçimi
Grafik Optimizasyonu ve Quantization
- Constant folding, operator fusion (ORT_ENABLE_ALL) ve çevrimdışı optimize model kaydetme
- Dynamic/static INT8 quantization ve hız-doğruluk karşılaştırması
Bu Kategorideki Diğer Eğitimler
-
NVIDIA Triton Inference Server ile yüksek performanslı model sunumu: Model Repository dizin yapısı, config.pbtxt, dynamic batching, concurrent model execution, HTTP/gRPC istemcileri ve Perf Analyzer. ML ve MLOps mühendisleri için.
- Canlı Kurs
- 5 modül
-
Triton Inference Server'da Model Analyzer ile otomatik tuning, Ensemble ve Business Logic Scripting (BLS), stateful/sequence batcher, paylaşımlı bellek (IPC) ve TensorRT-LLM/vLLM backend ile LLM sunumu. Kıdemli ML mühendisleri için.
- Canlı Kurs
- 5 modül
-
PyTorch, TensorFlow, ONNX, TensorRT, OpenVINO ve scikit-learn/XGBoost (FIL) modellerini ve özel Python backend'lerini tek bir Triton sunucusunda birleştirme. Heterojen model portföyünü yöneten ML ve MLOps mühendisleri için.
- Canlı Kurs
- 5 modül
-
FastAPI ile üretime hazır ML ve LLM inference servisleri geliştirme: lifespan ile model yükleme, Pydantic v2 şemaları, async/threadpool yönetimi, SSE streaming, Gunicorn/Uvicorn ayarları ve Prometheus izleme. Geliştiriciler ve ML mühendisleri için.
- Canlı Kurs
- 5 modül
-
Flask ve WSGI mimarisi ile hafif ML tahmin servisleri geliştirme: Application Factory, Blueprint, Marshmallow/Pydantic doğrulama, Gunicorn worker/thread ayarları ve Docker paketleme. Veri bilimciler ve Python geliştiricileri için.
- Canlı Kurs
- 5 modül
-
Ray Serve ile Python-native dağıtık model ve LLM sunumu: DeploymentGraph kompozisyonu, kesirli GPU paylaşımı, dynamic batching, replica autoscaling, vLLM entegrasyonu ve KubeRay. ML ve platform mühendisleri için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
