Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Raporlama, analitik ve yapay zeka projelerinin başarısı güvenilir veri hatlarına bağlıdır. Bu program, veri mühendisliğinin temel kavramlarını ve modern veri platformunun bileşenlerini bütüncül bir çerçevede tanıtır.

Kaynak sistemlerden veri alma, ETL ve ELT yaklaşımları, star schema ve dimensional modelleme, data warehouse, data lake ve lakehouse farkları, batch ve streaming işleme, Airflow ile orkestrasyon ve temel veri kalitesi kontrolleri ele alınır. Katılımcılar kurumun bir veri kaynağı üzerinden uçtan uca bir pipeline tasarımı ve tekrar kullanılabilir bir mimari kontrol listesi hazırlar.

Kimler Katılmalı?

  • Veri mühendisliğine geçiş yapan yazılım geliştiriciler ve analistler
  • Veri ekiplerine yeni katılan mühendisler
  • Veri platformu projelerini yöneten BT ve proje yöneticileri
  • Ön koşul: temel SQL bilgisi

Kazanımlar

  • Modern veri platformunun katmanlarını ve rollerini açıklar
  • ETL ile ELT arasında senaryoya göre seçim yapar
  • Fact ve dimension tablolarıyla basit bir dimensional model kurar
  • Batch ve streaming ihtiyaçlarını ayırt eder
  • Uçtan uca bir veri hattının mimari taslağını çizer

Konular

Veri Mühendisliğinin Rolü ve Veri Yaşam Döngüsü
  • Veri mühendisi, analist ve veri bilimci rolleri
  • Kaynaktan tüketime veri yaşam döngüsü
Veri Alma: ETL, ELT ve CDC
  • API, dosya ve veri tabanı kaynakları
  • Change Data Capture yaklaşımı
  • Fivetran, Airbyte gibi araçlara bakış
Veri Modelleme ve Depolama
  • Star schema ve dimensional modelleme
  • Data warehouse, data lake ve lakehouse
  • Parquet ve açık tablo formatları
Dönüşüm ve Orkestrasyon
  • SQL ve dbt ile dönüşüm katmanı
  • Airflow ile zamanlama ve bağımlılık yönetimi
Veri Kalitesi ve Uçtan Uca Tasarım Atölyesi
  • Temel kalite kontrolleri ve izleme
  • Kurum verisiyle pipeline tasarımı
  • Mimari kontrol listesi

Bu Kategorideki Diğer Eğitimler

  • Python for Data Engineering

    Veri mühendisleri için Python: pandas ve Polars ile veri dönüşümü, API ve veri tabanından veri alma, Parquet ile çalışma, test edilebilir ve paketlenebilir pipeline kodu, logging ve hata yönetimi.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • PySpark

    Python geliştiricileri için PySpark: DataFrame API, Spark SQL, UDF ve pandas API on Spark, join ve shuffle optimizasyonu, Delta Lake tablolarıyla çalışma ve Databricks veya EMR üzerinde iş çalıştırma.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Apache Kafka

    Apache Kafka ile olay akışı platformu: topic, partition ve consumer group tasarımı, producer/consumer geliştirme, Kafka Connect ve Schema Registry, KRaft mimarisi, güvenlik ve izleme. Geliştirici ve operasyon ekipleri için.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Apache Airflow

    Apache Airflow ile veri ve ML iş akışı orkestrasyonu: TaskFlow API ile DAG tasarımı, dynamic task mapping, asset/dataset tabanlı zamanlama, KubernetesExecutor, test ve üretim izleme. Veri mühendisleri için.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Data Quality ve Data Contracts

    Veri kalitesi mühendisliği ve data contract'lar: Great Expectations, Soda, dbt tests ve OpenDataContractStandard ile şema, tazelik ve iş kuralı doğrulaması; üretici ve tüketici ekipler arasında SLA yönetimi.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Observability

    Veri hatları ve dağıtık sistemler için observability: OpenTelemetry, Prometheus, Grafana ve OpenLineage ile metrik, log, trace ve veri soykütüğü (lineage) toplama, anomali tespiti ve kök neden analizi.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin