Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Gece çalışan toplu işler; dolandırıcılık tespiti, stok takibi veya kullanıcı davranışı izleme gibi anlık karar gerektiren senaryolar için yeterli değildir. Bu program, olay akışlarını saniyeler içinde metriğe ve aksiyona dönüştüren streaming analytics mimarilerini ele alır.

Katılımcılar Kafka üzerinden gelen olayları Flink ve Spark Structured Streaming ile işler; tumbling, sliding ve session window'ları, event time ile processing time farkını, watermark ve geç gelen veri yönetimini uygular. Kurumun kendi olay türlerine uyarlanan vaka sonunda çalışan bir akış pipeline'ı ve canlı dashboard elde edilir.

Kimler Katılmalı?

  • Gerçek zamanlı pipeline kuran veya kuracak veri mühendisleri
  • Anlık KPI ve alarm üreten analitik ve BI ekipleri
  • Olay tabanlı mimari tasarlayan yazılım mimarları
  • Ön koşul: SQL ve temel Python veya Java/Scala bilgisi

Kazanımlar

  • Batch, micro-batch ve gerçek zamanlı işleme arasında doğru seçimi yapar
  • Event time ve watermark kullanarak geç gelen veriyi doğru ele alır
  • Window tabanlı toplulaştırma ve stream-stream join sorguları yazar
  • Checkpoint ve exactly-once semantiğiyle hataya dayanıklı akış işleri kurar
  • Akış sonuçlarını anlık dashboard ve alarm kurallarına bağlar

Konular

Streaming Mimarisi ve Temel Kavramlar
  • Olay, akış, topic ve partition kavramları
  • Lambda ve Kappa mimarileri
  • Batch ve streaming karşılaştırması
Zaman, Window ve Watermark
  • Event time ve processing time
  • Tumbling, sliding ve session window
  • Watermark ile geç gelen veri yönetimi
Spark Structured Streaming ile Uygulama
  • Kafka kaynağından okuma ve output mode'lar
  • Stateful toplulaştırma ve stream-stream join
  • Checkpoint ve trigger ayarları
Apache Flink ile Düşük Gecikmeli İşleme
  • DataStream API ve Flink SQL
  • Keyed state ve savepoint
  • Exactly-once garantisi
Gerçek Zamanlı Dashboard ve Alarm
  • Sonuçların ClickHouse, Druid veya Elasticsearch'e yazılması
  • Grafana ile canlı görselleştirme
  • Eşik ve anomali tabanlı alarm kuralları

Bu Kategorideki Diğer Eğitimler

  • Hadoop, Hive ve HBase

    HDFS, YARN, Hive ve HBase ile Hadoop ekosistemi: dağıtık depolama, HiveQL ile SQL analitiği, partition ve ORC/Parquet optimizasyonu, HBase ile düşük gecikmeli erişim ve modern lakehouse'a geçiş seçenekleri.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Veri Mühendisliği Temelleri

    Veri mühendisliğine giriş: ETL/ELT, veri modelleme, data warehouse ve lakehouse, batch ve streaming, orkestrasyon ve veri kalitesi. Örnek bir uçtan uca veri hattı tasarlanarak modern veri platformunun yapı taşları öğrenilir.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Python for Data Engineering

    Veri mühendisleri için Python: pandas ve Polars ile veri dönüşümü, API ve veri tabanından veri alma, Parquet ile çalışma, test edilebilir ve paketlenebilir pipeline kodu, logging ve hata yönetimi.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • PySpark

    Python geliştiricileri için PySpark: DataFrame API, Spark SQL, UDF ve pandas API on Spark, join ve shuffle optimizasyonu, Delta Lake tablolarıyla çalışma ve Databricks veya EMR üzerinde iş çalıştırma.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Apache Kafka

    Apache Kafka ile olay akışı platformu: topic, partition ve consumer group tasarımı, producer/consumer geliştirme, Kafka Connect ve Schema Registry, KRaft mimarisi, güvenlik ve izleme. Geliştirici ve operasyon ekipleri için.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Apache Airflow

    Apache Airflow ile veri ve ML iş akışı orkestrasyonu: TaskFlow API ile DAG tasarımı, dynamic task mapping, asset/dataset tabanlı zamanlama, KubernetesExecutor, test ve üretim izleme. Veri mühendisleri için.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin