Eğitimin Amacı ve Kapsamı
Uygulama veri tabanlarında yapılan habersiz bir kolon değişikliği veya bozulan bir enum değeri, saatler sonra analitik raporları ve yapay zeka modellerini sessizce yanıltır. Bu eğitim, veri kalitesini sonradan yapılan bir temizlik işi olmaktan çıkarıp, veri üreticisi ile tüketicisi arasında kodla denetlenen bir mühendislik pratiğine dönüştürür.
Katılımcılar Great Expectations, Soda Core ve dbt testleriyle şema, aralık, referans bütünlüğü ve dağılım testleri yazar; ardından OpenDataContractStandard (ODCS) yapısında YAML tabanlı data contract tanımlayarak CI/CD ve ingestion katmanında doğrulama uygular. Eğitim sonunda kurumun kritik bir veri kaynağı için uygulanabilir bir data contract örneği ve test paketi üretilir.
Kimler Katılmalı?
- Veri hatlarının güvenilirliğinden sorumlu veri mühendisleri ve analytics engineer'lar
- Olay (event) ve tablo üreten yazılım/backend geliştiriciler
- Veri yönetişimi ve platform standartlarını belirleyen veri mimarları
- Ön koşul: SQL, Python ve temel CI/CD kavramlarına aşinalık
Kazanımlar
- Eksiklik, tekillik, referans bütünlüğü, tazelik ve dağılım kayması için otomatik testler yazar
- Write-Audit-Publish (WAP) deseniyle bozuk verinin canlı tablolara ulaşmasını engeller
- Şema, semantik kurallar, SLA ve sahiplik bilgilerini içeren bir data contract tanımlar
- CI/CD hattına şema kırılması (breaking change) kontrolleri entegre eder
- Veri üreticisi uygulama ekipleriyle tüketici veri ekipleri arasında net sorumluluk modeli kurar
Konular
Veri Kalitesi Boyutları ve Hata Modları
- Tamlık, doğruluk, tutarlılık, güncellik ve geçerlilik
- BI ve AI sistemlerini bozan sessiz veri hataları
Otomatik Veri Kalitesi Testleri (dbt, Soda, Great Expectations)
- Şema, aralık, regex ve özel SQL/Python kuralları yazma
- İstatistiksel eşikler ve dinamik anomali testleri
Write-Audit-Publish (WAP) ve Devre Kesiciler
- Staging katmanında doğrulama ve dead-letter / karantina tabloları
- Kritik ve uyarı seviyesi hataları ayırma
Data Contracts Tasarımı ve Standartları
- OpenDataContractStandard (ODCS), JSON Schema ve Protobuf/Avro
- Şema, iş kuralları, SLA, tazelik ve sahiplik tanımları
Sözleşme Doğrulama, Versiyonlama ve Organizasyonel Süreç
- Git ve CI/CD üzerinde breaking change yakalama
- Üretici-tüketici iş akışı ve şema evrimi (schema evolution)
Bu Kategorideki Diğer Eğitimler
-
OpenLineage, DataHub/OpenMetadata ve veri gözlemlenebilirliği araçlarıyla veri varlıklarını keşfetme, kolon bazlı lineage çıkarma ve veri hatlarındaki gecikme veya dağılım kaymalarını erken yakalama.
- Canlı Kurs
- 5 modül
-
PDF, Word, taranmış belge, çağrı merkezi ses kaydı ve görüntülerden RAG ve multimodal yapay zeka sistemleri için ölçeklenebilir veri hazırlama, parçalama, metadata zenginleştirme ve indeksleme hatları.
- Canlı Kurs
- 5 modül
-
Apache Iceberg tabanlı lakehouse depolama, dbt ile modüler ve testli veri dönüşümü ve Apache Airflow ile orkestrasyon; ölçeklenebilir ve açık standartlı veri platformu kuran mühendisler için.
- Canlı Kurs
- 5 modül
-
Analitik, klasik ML, RAG ve otonom agent iş yüklerini aynı çatı altında destekleyen kurumsal veri mimarisi: lakehouse, semantic layer, feature store, vektör indeksleri ve yönetişim katmanı tasarımı.
- Canlı Kurs
- 5 modül
-
dbt tests, Soda Core ve Great Expectations ile veri hatlarında şema, iş kuralı, referans bütünlüğü ve istatistiksel dağılım testleri yazma; hatalı veriyi CI/CD ve staging aşamasında yakalama.
- Canlı Kurs
- 5 modül
-
Yazılım ekipleri ile veri/AI ekipleri arasındaki veri alışverişini OpenDataContractStandard (ODCS), Schema Registry ve CI/CD kontrolleriyle güvenceye alan uygulamalı data contract eğitimi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
