Eğitimin Amacı ve Kapsamı
Veri hatlarında yalnızca iş akışının hatasız bitmiş olması (yeşil çalışması), üretilen verinin doğru olduğu anlamına gelmez; boş gelen kolonlar, bozulan kur dönüşümleri veya kayan dağılımlar sessizce canlı tablolara sızar. Bu odaklanmış program, veri mühendisliği ve analitik ekiplerine yazılım test disiplinini veri tablolarına ve AI girdi setlerine uygulama becerisi kazandırır.
Birim (unit) testleri ile veri doğrulama testlerinin farkı, dbt unit ve data testleri, SodaCL ile okunabilir kalite kontrolleri, Great Expectations ile profil çıkarma ve istatistiksel dağılım/drift kontrolleri uygulamalı olarak işlenir. Katılımcılar kendi tabloları için katmanlı bir test stratejisi ve karantina (dead-letter) akışı kurgular.
Kimler Katılmalı?
- Dönüşüm ve ETL/ELT hatları geliştiren veri mühendisleri ve analytics engineer'lar
- Veri ambarı ve BI test süreçlerinden sorumlu veri QA uzmanları
- Model eğitim ve çıkarım verisini doğrulamak isteyen ML mühendisleri
- Ön koşul: iyi seviyede SQL ve temel Python bilgisi
Kazanımlar
- Dönüşüm mantığını sahte (mock) girdilerle doğrulayan dbt unit testleri yazar
- Soda Core ve Great Expectations ile şema, aralık, tekillik ve tazelik kontrollerini otomatikleştirir
- Makine öğrenmesi ve RAG girdileri için dağılım kayması (drift), boş metin ve aykırı değer testleri kurar
- Testleri önem derecesine (warn vs fail) göre sınıflandırarak gereksiz pipeline durmalarını önler
- CI/CD pull request aşamasında çalışan hızlı veri kalite kapıları (quality gates) oluşturur
Konular
Veri Test Piramidi: Unit Test, Kontrat ve Veri Doğrulama
- Kod mantığı testi (unit test) ile canlı veri testi (assertion) ayrımı
- Bronze, Silver ve Gold katmanlarında hangi testlerin nerede koşacağı
dbt ile Dönüşüm ve Unit Testleri
- Generic, singular ve dbt-expectations test paketleri
- Mock verilerle karmaşık SQL/Jinja mantığını unit test etme
Soda Core ve Great Expectations ile Kalite Kapıları
- SodaCL ile okunabilir kalite kuralları, tazelik ve satır sayısı karşılaştırmaları
- Great Expectations ile otomatik veri profilleme ve expectation suite yönetimi
AI ve ML Verisi İçin İstatistiksel ve Semantik Testler
- Feature dağılım kayması (PSI, KS testi) ve kategori değişimleri
- Doküman/chunk uzunluğu, dil, bozuk encoding ve boş embedding kontrolleri
CI/CD Entegrasyonu ve Karantina Desenleri
- Pull request aşamasında örneklem üzerinde hızlı doğrulama
- Write-Audit-Publish (WAP), hatalı satırları ayırma ve bildirim yönetimi
Bu Kategorideki Diğer Eğitimler
-
Yazılım ekipleri ile veri/AI ekipleri arasındaki veri alışverişini OpenDataContractStandard (ODCS), Schema Registry ve CI/CD kontrolleriyle güvenceye alan uygulamalı data contract eğitimi.
- Canlı Kurs
- 5 modül
-
OpenMetadata ve DataHub ile kurumsal veri kataloğu kurulumu, iş terimleri sözlüğü, otomatik metadata hasadı ve OpenLineage ile kaynaktan BI/AI çıktısına kadar kolon bazlı lineage takibi.
- Canlı Kurs
- 5 modül
-
Veri hatlarında tazelik, hacim, şema ve dağılım anomalilerini otomatik yakalama, alert yorgunluğunu önleme, kök neden analizi ve veri olay (incident) yönetimi; veri ve AI platform ekipleri için.
- Canlı Kurs
- 5 modül
-
Karmaşık PDF tabloları, taranmış formlar, ses kayıtları ve görselleri OCR, Docling, Whisper ve vision-language modellerle yüksek doğrulukta yapısal metin ve metadata'ya dönüştürme.
- Canlı Kurs
- 5 modül
-
dbt Core/Cloud ile modüler SQL dönüşümü, staging-intermediate-mart katmanları, Jinja ve makrolar, incremental modeller, snapshot'lar, testler ve CI/CD iş akışları; veri ve analitik mühendisleri için.
- Canlı Kurs
- 5 modül
-
Apache Airflow ile üretim seviyesinde DAG geliştirme: TaskFlow API, dynamic task mapping, dataset/asset-aware zamanlama, Kubernetes üzerinde izole çalıştırma, hata yönetimi ve AI/RAG pipeline orkestrasyonu.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
