Eğitimin Amacı ve Kapsamı
Yüzlerce tablonun bulunduğu bir veri platformunda her kolon için elle test kuralı yazmak imkansızdır; üstelik kaynak sistemdeki gecikmeler veya beklenmedik hacim düşüşleri çoğu zaman el yazısı testlerden kaçar. Bu eğitim, yazılım dünyasındaki APM ve gözlemlenebilirlik prensiplerini veri ve yapay zeka hatlarına uyarlayarak bilinmeyen veri sorunlarını proaktif biçimde yakalamayı öğretir.
Metadata tabanlı hafif izleme (lightweight monitoring), derin veri profilleme, zaman serisi tabanlı hacim ve tazelik anomali tespiti, dağılım kayması (drift) metrikleri, Elementary/açık kaynak araçlar ve olay müdahale süreçleri uygulamalı işlenir. Katılımcılar kendi kritik veri tabloları için izleme katmanı, SLI/SLO hedefleri ve olay müdahale (runbook) taslağı hazırlar.
Kimler Katılmalı?
- Veri platformu, veri mühendisliği ve DataOps ekipleri
- Canlıdaki ML ve RAG sistemlerinin veri sağlığını izleyen MLOps/LLMOps mühendisleri
- Veri güvenilirliği ve SLA yönetiminden sorumlu analitik ekip liderleri
- Ön koşul: SQL, veri ambarı/lakehouse mimarisi ve temel orkestrasyon bilgisi
Kazanımlar
- Information schema ve tablo metadata'sını kullanarak sorgu maliyeti yaratmadan tazelik ve hacim izler
- Mevsimsellik ve hafta içi/hafta sonu örüntülerini dikkate alan dinamik anomali eşikleri kurar
- NULL oranı sıçramalarını, kardinallik değişimlerini ve sayısal dağılım kaymalarını tespit eder
- Kritik tablolar için veri SLI/SLO metrikleri tanımlar ve gürültüsüz uyarı yönlendirmesi yapar
- Olay anında etki analizi, kök neden bulma ve post-mortem süreçlerini standart bir runbook ile yürütür
Konular
Data Testing vs Data Observability
- Bilinen kuralları doğrulama (testing) ile bilinmeyen anomalileri keşfetme (observability) farkı
- Veri güvenilirliği metrikleri: MTTD (tespit süresi) ve MTTR (çözüm süresi)
Düşük Maliyetli Metadata İzleme: Freshness, Volume ve Schema
- Tablo logları, Iceberg/Delta snapshot metadata'sı ve information_schema kullanımı
- Mevsimsel zaman serisi modelleriyle gecikme ve satır sayısı anomalilerini yakalama
Derin Profilleme ve Dağılım Kayması (Distribution Drift)
- NULL oranı, tekillik, min/max/quantiles ve kategori frekansı takibi
- Örnekleme ve parçalı (partitioned) tarama ile profilleme maliyetini sınırlama
Veri SLI/SLO Tanımları ve Akıllı Uyarı Yönetimi
- Tier-1 analitik ve AI tabloları için tazelik ve tamlık SLO'ları
- İlişkili hataları gruplama (alert deduplication) ve Slack/PagerDuty yönlendirmesi
Veri Olay (Incident) Müdahalesi ve Kök Neden Analizi
- Kod değişikliği, kaynak veri bozulması ve altyapı hatasını birbirinden ayırma
- Backfill stratejileri, tüketici bilgilendirme ve post-mortem kültürü
Bu Kategorideki Diğer Eğitimler
-
Karmaşık PDF tabloları, taranmış formlar, ses kayıtları ve görselleri OCR, Docling, Whisper ve vision-language modellerle yüksek doğrulukta yapısal metin ve metadata'ya dönüştürme.
- Canlı Kurs
- 5 modül
-
dbt Core/Cloud ile modüler SQL dönüşümü, staging-intermediate-mart katmanları, Jinja ve makrolar, incremental modeller, snapshot'lar, testler ve CI/CD iş akışları; veri ve analitik mühendisleri için.
- Canlı Kurs
- 5 modül
-
Apache Airflow ile üretim seviyesinde DAG geliştirme: TaskFlow API, dynamic task mapping, dataset/asset-aware zamanlama, Kubernetes üzerinde izole çalıştırma, hata yönetimi ve AI/RAG pipeline orkestrasyonu.
- Canlı Kurs
- 5 modül
-
Kirli Veri Temiz CV: Gerçek Hayat, Mülakat ve Kariyer
Gerçek dünyadaki eksik ve kirli verilerle uçtan uca regresyon modelleme, iş paydaşlarına model sunumu, teknik mülakat simülasyonları ve dikkat çeken Data Science CV/GitHub portföy stratejileri.
- Canlı Kurs
- 4 modül
-
Nesne depolama üzerinde veri ambarı güvenilirliği: Apache Iceberg tablo formatı, metadata ağacı, hidden partitioning, time travel, REST Catalog, çoklu sorgu motoru (Trino, Spark, DuckDB) ve tablo bakımı.
- Canlı Kurs
- 5 modül
-
Kurumsal metriklerin ve iş boyutlarının tek merkezde tanımlanması: dbt Semantic Layer (MetricFlow) ve Cube ile BI araçları, Text-to-SQL ve analitik AI agent'ları için tutarlı veri erişimi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
