Eğitimin Amacı ve Kapsamı
Analistlerin ve yapay zeka geliştiricilerinin doğru tabloyu bulmak ve kolonların ne anlama geldiğini öğrenmek için haftalarca farklı ekiplere soru sorması, kurumsal veri üretkenliğini düşürür. Bu program, yaşayan ve otomatik güncellenen bir veri kataloğu ile kolon bazlı veri soy ağacını (lineage) kurma yöntemlerini uygulamalı olarak ele alır.
DataHub ve OpenMetadata mimarileri, veri ambarı/dbt/BI araçlarından metadata konektörleriyle veri toplama, OpenLineage ile çalışma zamanı lineage kaydı, iş sözlüğü (business glossary) ve sahiplik ataması işlenir. Katılımcılar kurumun seçilen bir iş alanı için çalışan bir katalog prototipi ve lineage/ownership modeli oluşturur.
Kimler Katılmalı?
- Veri platformu ve metadata altyapısını kuran veri mühendisleri
- Veri yönetişimi (data governance) uzmanları, veri mimarları ve data steward'lar
- Self-servis analitik ve AI veri keşfini hızlandırmak isteyen BI ve analitik liderleri
- Ön koşul: SQL, veri ambarı mimarisi ve temel veri hattı kavramları
Kazanımlar
- Veri tabanları, dbt, Airflow ve BI araçlarından otomatik metadata ve kullanım istatistiklerini toplar
- OpenLineage ve SQL ayrıştırıcılarla tablo ve kolon seviyesinde uçtan uca lineage grafiği çıkarır
- İş terimleri sözlüğü, domain yapısı, veri sahipliği ve PII etiketlerini katalog üzerinde standartlaştırır
- Şema değişiklikleri öncesinde lineage üzerinden aşağı akış (downstream) etki analizi yapar
- Text-to-SQL ve kurumsal AI asistanlarının doğru tabloyu bulması için zenginleştirilmiş katalog metadata'sı sunar
Konular
Modern Veri Kataloğu Mimarisi (OpenMetadata & DataHub)
- Metadata modeli, indeksleme, graf veri tabanı ve arama mimarisi
- Push ve pull tabanlı metadata ingestion konektörleri
OpenLineage ve Kolon Bazlı Soy Ağacı Çıkarımı
- Run, Job ve Dataset olaylarıyla çalışma zamanı lineage toplama
- SQL sorgu logları (query logs) ve dbt manifest dosyalarından kolon lineage'ı üretme
İş Sözlüğü, Domain Yapısı ve Sahiplik (Ownership) Modeli
- Teknik tablo adlarını iş kavramlarıyla (Business Glossary) eşleştirme
- Domain bazlı yetkilendirme, teknik/iş sahibi rolleri ve sertifikalı veri setleri
Etki Analizi, Kullanım Analitiği ve Temizlik
- Popüler tabloları, kullanılmayan (orphan) varlıkları ve maliyetli sorguları tespit etme
- Breaking change öncesi etkilenen dashboard, model ve ekip listesini çıkarma
AI ve RAG Sistemleri İçin Katalog Entegrasyonu
- LLM ve Text-to-SQL agent'larına katalog API'si üzerinden şema ve iş bağlamı sağlama
- Model eğitim setlerinin ve RAG doküman kaynaklarının katalogda izlenmesi
Bu Kategorideki Diğer Eğitimler
-
Veri hatlarında tazelik, hacim, şema ve dağılım anomalilerini otomatik yakalama, alert yorgunluğunu önleme, kök neden analizi ve veri olay (incident) yönetimi; veri ve AI platform ekipleri için.
- Canlı Kurs
- 5 modül
-
Karmaşık PDF tabloları, taranmış formlar, ses kayıtları ve görselleri OCR, Docling, Whisper ve vision-language modellerle yüksek doğrulukta yapısal metin ve metadata'ya dönüştürme.
- Canlı Kurs
- 5 modül
-
dbt Core/Cloud ile modüler SQL dönüşümü, staging-intermediate-mart katmanları, Jinja ve makrolar, incremental modeller, snapshot'lar, testler ve CI/CD iş akışları; veri ve analitik mühendisleri için.
- Canlı Kurs
- 5 modül
-
Apache Airflow ile üretim seviyesinde DAG geliştirme: TaskFlow API, dynamic task mapping, dataset/asset-aware zamanlama, Kubernetes üzerinde izole çalıştırma, hata yönetimi ve AI/RAG pipeline orkestrasyonu.
- Canlı Kurs
- 5 modül
-
Kirli Veri Temiz CV: Gerçek Hayat, Mülakat ve Kariyer
Gerçek dünyadaki eksik ve kirli verilerle uçtan uca regresyon modelleme, iş paydaşlarına model sunumu, teknik mülakat simülasyonları ve dikkat çeken Data Science CV/GitHub portföy stratejileri.
- Canlı Kurs
- 4 modül
-
Nesne depolama üzerinde veri ambarı güvenilirliği: Apache Iceberg tablo formatı, metadata ağacı, hidden partitioning, time travel, REST Catalog, çoklu sorgu motoru (Trino, Spark, DuckDB) ve tablo bakımı.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
