Eğitimin Amacı ve Kapsamı
Cron işleri ve birbirine bağlı script'ler büyüdükçe bağımlılık takibi, hata durumunda yeniden çalıştırma ve geçmişe dönük backfill işlemleri yönetilemez hâle gelir. Bu eğitim, veri ve analitik pipeline'larını Apache Airflow ile güvenilir, izlenebilir ve ölçeklenebilir biçimde orkestre etmeyi öğretir.
Katılımcılar TaskFlow API ile idempotent DAG'lar yazar; sensor, hook ve provider paketlerini kullanır; dynamic task mapping ve veri odaklı zamanlama kurgular. Kurumun kendi ETL/ELT akışına uyarlanan atölye sonunda test edilmiş bir DAG şablonu ve üretim operasyon kontrol listesi oluşturulur.
Kimler Katılmalı?
- Veri hatlarını zamanlayan ve işleten veri mühendisleri
- Model eğitim ve batch inference akışlarını otomatikleştiren MLOps ekipleri
- Kurumsal orkestrasyon altyapısını yöneten platform mühendisleri
- Ön koşul: orta seviye Python ve temel SQL bilgisi
Kazanımlar
- TaskFlow API kullanarak temiz, modüler ve idempotent DAG'lar geliştirir
- Dynamic task mapping ve asset/dataset tetikleyicileriyle esnek iş akışları kurar
- Connection, Variable ve Secrets Backend yapılarını güvenli biçimde yönetir
- pytest ile DAG bütünlük ve birim testlerini otomatikleştirir
- CeleryExecutor ve KubernetesExecutor mimarilerini karşılaştırıp darboğazları çözer
Konular
Airflow Mimarisi ve DAG Yaşam Döngüsü
- Scheduler, Webserver, Triggerer ve Executor bileşenleri
- DAG, Task, Operator ve çalışma zamanı kavramları
- Idempotency ve backfill prensipleri
TaskFlow API, XCom ve Veri Odaklı Zamanlama
- @dag ve @task dekoratörleriyle modern DAG yazımı
- XCom ve özel XCom backend kullanımı
- Dynamic task mapping ve asset/dataset tetikleyicileri
Provider'lar, Sensor'lar ve Harici Sistem Entegrasyonu
- Veri tabanı, bulut depolama, dbt ve Spark entegrasyonları
- Deferrable operator'ler ve Triggerer ile kaynak tasarrufu
- Connection, Variable ve Vault/Secrets entegrasyonu
Test, CI/CD ve Kod Kalitesi
- DAG parse süresi ve top-level kod hatalarını önleme
- pytest ile DAG doğrulama ve birim testleri
- Git tabanlı dağıtım ve ortam ayrımı
Üretimde Ölçekleme ve Gözlemlenebilirlik
- KubernetesExecutor ve KubernetesPodOperator kullanımı
- SLA, callback, retry ve alarm mekanizmaları
- Üretim kontrol listesi ve sorun giderme
Bu Kategorideki Diğer Eğitimler
-
Veri kalitesi mühendisliği ve data contract'lar: Great Expectations, Soda, dbt tests ve OpenDataContractStandard ile şema, tazelik ve iş kuralı doğrulaması; üretici ve tüketici ekipler arasında SLA yönetimi.
- Canlı Kurs
- 5 modül
-
Veri hatları ve dağıtık sistemler için observability: OpenTelemetry, Prometheus, Grafana ve OpenLineage ile metrik, log, trace ve veri soykütüğü (lineage) toplama, anomali tespiti ve kök neden analizi.
- Canlı Kurs
- 5 modül
-
Big Data (Büyük Veri)
İlişkisel ve NoSQL veritabanlarından Data Lakehouse mimarilerine, Apache Spark, Kafka, Airflow ve Terraform (IaC) ile uçtan uca bulut tabanlı veri mühendisliği eğitimi.
- Canlı Kurs
- 11 modül
-
Apache Spark
Apache Spark mimarisi, RDD ve DataFrame API'leri, Spark SQL, Structured Streaming, MLlib, GraphX ve dağıtık küme performans optimizasyonu üzerine kapsamlı büyük veri işleme eğitimi.
- Canlı Kurs
- 10 modül
-
Kafka, Apache Flink ve Spark Structured Streaming ile gerçek zamanlı veri analitiği: windowing, event time, watermark, stateful işleme ve anlık dashboard'lar. Veri mühendisleri ve analitik ekipleri için.
- Canlı Kurs
- 5 modül
-
HDFS, YARN, Hive ve HBase ile Hadoop ekosistemi: dağıtık depolama, HiveQL ile SQL analitiği, partition ve ORC/Parquet optimizasyonu, HBase ile düşük gecikmeli erişim ve modern lakehouse'a geçiş seçenekleri.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin
