Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Zamanlayıcılarla (cron) birbirine körü körüne bağlanmış veri işleri, bir kaynak geciktiğinde eksik veriyle çalışır, hata verdiğinde ise baştan sona elle yeniden tetiklenmek zorunda kalır. Bu eğitim, Apache Airflow'un modern özelliklerini kullanarak hem klasik ELT/dbt akışlarını hem de doküman indeksleme ve model eğitimi gibi yapay zeka iş yüklerini güvenilir biçimde orkestre etmeyi öğretir.

TaskFlow API, idempotent görev tasarımı ve backfill, dynamic task mapping, deferrable operatörler ve sensörler, veri varlığına duyarlı (dataset/asset-driven) tetikleme, KubernetesPodOperator ile bağımlılık izolasyonu ve DAG testleri uygulamalı olarak işlenir. Katılımcılar kurumun bir veri veya RAG indeksleme hattı için üretime hazır DAG şablonu ve operasyon kontrol listesi oluşturur.

Kimler Katılmalı?

  • ETL/ELT ve veri platformu akışlarını yöneten veri mühendisleri
  • Periyodik model eğitimi, batch inference ve RAG indeksleme hatları kuran ML/AI mühendisleri
  • Airflow altyapısını işleten platform ve DevOps mühendisleri
  • Ön koşul: orta seviye Python programlama ve temel Docker/SQL bilgisi

Kazanımlar

  • Tekrar çalıştırıldığında veri çoklaması yaratmayan idempotent ve atomik Airflow görevleri yazar
  • TaskFlow API, XCom ve dynamic task mapping ile esnek ve paralel iş akışları kurgular
  • Sabit saat beklemek yerine veri güncellendiğinde tetiklenen dataset/asset-aware DAG'lar tasarlar
  • Deferrable sensörler, havuzlar (pools) ve KubernetesPodOperator ile kaynak tüketimini ve kütüphane çakışmalarını yönetir
  • SLA izleme, otomatik retry, callback bildirimleri ve birim testleriyle kırılgan olmayan bir orkestrasyon yapısı kurar

Konular

Airflow Mimarisi ve Modern DAG Tasarım İlkeleri
  • Scheduler, Webserver, Triggerer ve Executor (Celery vs Kubernetes) bileşenleri
  • İdempotentlik, atomiklik, mantıksal tarih (data_interval) ve backfill yönetimi
TaskFlow API, XCom ve Dynamic Task Mapping
  • @dag ve @task dekoratörleriyle temiz Pythonic akışlar ve özel XCom backend kullanımı
  • Çalışma zamanında dosya veya bölüm sayısına göre paralel görev üretme (map/expand)
Sensörler, Deferrable Operatörler ve Dataset-Aware Zamanlama
  • Worker slotu işgal etmeyen async/deferrable sensör ve operatörler
  • Tablo veya S3/nesne güncellendiğinde tetiklenen üretici-tüketici (Dataset/Asset) DAG'ları
İzolasyon, dbt ve AI/RAG İş Yüklerinin Orkestrasyonu
  • Virtualenv, Docker ve KubernetesPodOperator ile farklı Python/ML bağımlılıklarını ayırma
  • Cosmos ile dbt modelleri ve vektör veri tabanı embedding/indeksleme DAG'ları
Hata Yönetimi, Gözlemlenebilirlik ve CI/CD Testleri
  • Retry, exponential backoff, SLA miss, on_failure_callback ve OpenLineage entegrasyonu
  • Parse süresi optimizasyonu, DAG bütünlük testleri ve ortamlar arası dağıtım

Bu Kategorideki Diğer Eğitimler

  • Kirli Veri Temiz CV: Gerçek Hayat, Mülakat ve Kariyer Kirli Veri Temiz CV: Gerçek Hayat, Mülakat ve Kariyer

    Gerçek dünyadaki eksik ve kirli verilerle uçtan uca regresyon modelleme, iş paydaşlarına model sunumu, teknik mülakat simülasyonları ve dikkat çeken Data Science CV/GitHub portföy stratejileri.

    Veri Bilimi ve AI-Ready Veri Mühendisliği Bireysel Workshop
    Canlı Kurs
    4 modül
    İncele
  • Lakehouse ve Apache Iceberg

    Nesne depolama üzerinde veri ambarı güvenilirliği: Apache Iceberg tablo formatı, metadata ağacı, hidden partitioning, time travel, REST Catalog, çoklu sorgu motoru (Trino, Spark, DuckDB) ve tablo bakımı.

    Veri Bilimi ve AI-Ready Veri Mühendisliği Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Semantic Layer

    Kurumsal metriklerin ve iş boyutlarının tek merkezde tanımlanması: dbt Semantic Layer (MetricFlow) ve Cube ile BI araçları, Text-to-SQL ve analitik AI agent'ları için tutarlı veri erişimi.

    Veri Bilimi ve AI-Ready Veri Mühendisliği Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Metadata for RAG ve Agents

    RAG ve agent sistemlerinde retrieval isabetini ve güvenliği artıran metadata mühendisliği: şema tasarımı, otomatik metadata çıkarımı, pre-filtering, zamansal geçerlilik ve ACL yetki filtreleme.

    Veri Bilimi ve AI-Ready Veri Mühendisliği Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Web Scraping (Web Kazıma) Web Scraping (Web Kazıma)

    BeautifulSoup, Scrapy ve Playwright ile statik ve dinamik web kaynaklarından ölçeklenebilir veri toplama, anti-bot engellerini aşma, LLM destekli veri çıkarımı ve Pandas ile veri doğrulama süreçlerini kapsayan uygulamalı Web Scraping eğitimi.

    Veri Bilimi ve AI-Ready Veri Mühendisliği Kurumsal, Bireysel
    Canlı Kurs
    13 modül
    İncele
  • Data Science (Veri Bilimi) Data Science (Veri Bilimi)

    Python, Pandas, SQL ve Scikit-learn ile veri analizi ve makine öğreniminden PyTorch/TensorFlow ile derin öğrenme, LLM'ler, Apache Spark ve MLOps süreçlerine uzanan uçtan uca Data Science eğitimi.

    Veri Bilimi ve AI-Ready Veri Mühendisliği Kurumsal, Bireysel
    Canlı Kurs
    18 modül
    İncele

Bizimle iletişime geçin