Eğitimin Amacı ve Kapsamı
Sadece işin çalışıp çalışmadığını gösteren yeşil-kırmızı durum ışıkları, yavaşlayan sorguların veya sessizce bozulan veri akışlarının nedenini açıklamaz. Bu eğitim, veri platformları ve dağıtık servislerde tam görünürlük sağlayan observability mimarisini ele alır.
Katılımcılar metrik, yapılandırılmış log ve dağıtık trace sinyallerini OpenTelemetry ile üretir; Prometheus ve Grafana üzerinde izler; OpenLineage ile tablo ve kolon seviyesinde veri soykütüğünü takip eder. Kurumun örnek bir veri hattı üzerinde uçtan uca izleme panosu ve alarm yorgunluğunu önleyen SLI/SLO kuralları tasarlanır.
Kimler Katılmalı?
- Veri platformu ve pipeline işleten veri mühendisleri
- Dağıtık sistemleri izleyen SRE, DevOps ve platform ekipleri
- Üretim sorunlarının kök neden analizinden sorumlu yazılım mühendisleri
- Ön koşul: temel Python veya uygulama geliştirme ve container bilgisi
Kazanımlar
- Klasik monitoring ile modern observability arasındaki farkı açıklar
- OpenTelemetry SDK ile uygulamalardan ve veri işlerinden metrik, log ve trace üretir
- OpenLineage ile bir hatanın aşağı akıştaki hangi rapor ve modelleri etkilediğini bulur
- Prometheus ve Grafana ile aksiyona dönük dashboard ve SLO alarmları kurar
- Gecikme, hacim anomalisi ve şema değişimlerinde kök neden analizini hızlandırır
Konular
Observability Sütunları: Metrik, Log, Trace ve Lineage
- Monitoring ve observability farkı
- Sistem telemetrisi ile veri gözlemlenebilirliğinin birleşimi
OpenTelemetry ile Enstrümantasyon
- OTel Collector, SDK ve context propagation
- Yapılandırılmış log ve trace korelasyonu
- Spark, Airflow ve Python servislerinden sinyal toplama
Prometheus ve Grafana ile Görselleştirme
- PromQL ile metrik sorgulama
- Altın sinyaller ve pipeline sağlık panoları
Veri Gözlemlenebilirliği ve OpenLineage
- Tazelik, hacim, dağılım, şema ve lineage sütunları
- Airflow, Spark ve dbt ile OpenLineage/Marquez entegrasyonu
- Etki analizi (impact analysis)
SLI/SLO Tasarımı ve Olay Müdahalesi
- Error budget ve semptom tabanlı alarmlar
- Alarm yorgunluğunu azaltma ve runbook hazırlama
Bu Kategorideki Diğer Eğitimler
-
Big Data (Büyük Veri)
İlişkisel ve NoSQL veritabanlarından Data Lakehouse mimarilerine, Apache Spark, Kafka, Airflow ve Terraform (IaC) ile uçtan uca bulut tabanlı veri mühendisliği eğitimi.
- Canlı Kurs
- 11 modül
-
Apache Spark
Apache Spark mimarisi, RDD ve DataFrame API'leri, Spark SQL, Structured Streaming, MLlib, GraphX ve dağıtık küme performans optimizasyonu üzerine kapsamlı büyük veri işleme eğitimi.
- Canlı Kurs
- 10 modül
-
Kafka, Apache Flink ve Spark Structured Streaming ile gerçek zamanlı veri analitiği: windowing, event time, watermark, stateful işleme ve anlık dashboard'lar. Veri mühendisleri ve analitik ekipleri için.
- Canlı Kurs
- 5 modül
-
HDFS, YARN, Hive ve HBase ile Hadoop ekosistemi: dağıtık depolama, HiveQL ile SQL analitiği, partition ve ORC/Parquet optimizasyonu, HBase ile düşük gecikmeli erişim ve modern lakehouse'a geçiş seçenekleri.
- Canlı Kurs
- 5 modül
-
Veri mühendisliğine giriş: ETL/ELT, veri modelleme, data warehouse ve lakehouse, batch ve streaming, orkestrasyon ve veri kalitesi. Örnek bir uçtan uca veri hattı tasarlanarak modern veri platformunun yapı taşları öğrenilir.
- Canlı Kurs
- 5 modül
-
Veri mühendisleri için Python: pandas ve Polars ile veri dönüşümü, API ve veri tabanından veri alma, Parquet ile çalışma, test edilebilir ve paketlenebilir pipeline kodu, logging ve hata yönetimi.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
