Eğitimin Amacı ve Kapsamı
Kapalı veri ambarı kilitlenmeleri (vendor lock-in), spagettiye dönmüş saklı yordamlar (stored procedure) ve zamanlayıcılarla yönetilen kırılgan script'ler modern analitik ve AI taleplerine yetişemez. Bu program, açık tablo formatı Apache Iceberg, dönüşüm katmanı dbt ve orkestrasyon standardı Apache Airflow'u bir arada kullanarak uçtan uca modern bir veri platformu kurmayı öğretir.
Nesne depolama üzerinde Iceberg tabloları oluşturma, Trino/Spark veya DuckDB ile sorgulama, dbt ile Bronze-Silver-Gold modelleri ve kalite testleri yazma ve tüm bu akışı Airflow DAG'larıyla yönetme uygulamalı laboratuvarlarla işlenir. Katılımcılar kurumun bir veri akışını bu üçlü üzerinde çalışan referans bir mimariye dönüştürür.
Kimler Katılmalı?
- Veri ambarı ve veri gölü altyapılarını modernize eden veri mühendisleri
- SQL dönüşümlerini yazılım mühendisliği disiplinleriyle yönetmek isteyen analytics engineer'lar
- Kurumsal veri platformu mimarisinden sorumlu platform mühendisleri ve mimarlar
- Ön koşul: iyi seviyede SQL, temel Python ve Git bilgisi
Kazanımlar
- Apache Iceberg, dbt ve Airflow'un modern lakehouse mimarisindeki görev sınırlarını doğru kurgular
- Iceberg üzerinde ACID işlemler, time travel, schema evolution ve hidden partitioning özelliklerini kullanır
- dbt ile incremental modeller, makro, test ve dokümantasyon içeren modüler bir dönüşüm projesi yazar
- Airflow ile veri alımı, dbt çalıştırma ve kalite kontrollerini bağımlılıklarıyla orkestre eder
- Maliyet, performans ve tablo bakım (compaction, snapshot expiration) süreçlerini planlar
Konular
Modern Lakehouse Mimarisi ve Araçların Rolü
- Depolama, açık tablo formatı, sorgu motoru, dönüşüm ve orkestrasyon ayrımı
- Medallion (Bronze-Silver-Gold) katmanlarının uçtan uca tasarımı
Apache Iceberg ile Açık Tablo Katmanı
- Metadata ağacı, snapshot'lar, time travel ve şema evrimi
- Hidden partitioning, dosya boyutu yönetimi ve katalog entegrasyonu
dbt ile Modüler Veri Dönüşümü ve Test
- Staging, intermediate ve mart modelleri; view, table ve incremental materialization
- Kaynak (source) tazelik kontrolleri, şema testleri ve otomatik lineage
Apache Airflow ile Uçtan Uca Orkestrasyon
- TaskFlow API, sensörler ve veri odaklı (dataset-aware) zamanlama
- Airflow içinden dbt modellerini ve Iceberg bakım görevlerini tetikleme
CI/CD, Ortam Yönetimi ve Operasyonel Bakım
- Dev/staging/prod ayrımı, Slim CI ve izole test şemaları (WAP)
- Compaction, orphan file temizliği ve maliyet/performans izleme
Bu Kategorideki Diğer Eğitimler
-
Analitik, klasik ML, RAG ve otonom agent iş yüklerini aynı çatı altında destekleyen kurumsal veri mimarisi: lakehouse, semantic layer, feature store, vektör indeksleri ve yönetişim katmanı tasarımı.
- Canlı Kurs
- 5 modül
-
dbt tests, Soda Core ve Great Expectations ile veri hatlarında şema, iş kuralı, referans bütünlüğü ve istatistiksel dağılım testleri yazma; hatalı veriyi CI/CD ve staging aşamasında yakalama.
- Canlı Kurs
- 5 modül
-
Yazılım ekipleri ile veri/AI ekipleri arasındaki veri alışverişini OpenDataContractStandard (ODCS), Schema Registry ve CI/CD kontrolleriyle güvenceye alan uygulamalı data contract eğitimi.
- Canlı Kurs
- 5 modül
-
OpenMetadata ve DataHub ile kurumsal veri kataloğu kurulumu, iş terimleri sözlüğü, otomatik metadata hasadı ve OpenLineage ile kaynaktan BI/AI çıktısına kadar kolon bazlı lineage takibi.
- Canlı Kurs
- 5 modül
-
Veri hatlarında tazelik, hacim, şema ve dağılım anomalilerini otomatik yakalama, alert yorgunluğunu önleme, kök neden analizi ve veri olay (incident) yönetimi; veri ve AI platform ekipleri için.
- Canlı Kurs
- 5 modül
-
Karmaşık PDF tabloları, taranmış formlar, ses kayıtları ve görselleri OCR, Docling, Whisper ve vision-language modellerle yüksek doğrulukta yapısal metin ve metadata'ya dönüştürme.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
