Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Pek çok kurumda kritik veri hâlâ on-premise Hadoop kümelerinde duruyor. Bu eğitim, mevcut Hadoop altyapısını verimli işletmek, Hive sorgularını hızlandırmak ve HBase'i doğru senaryolarda kullanmak isteyen ekipler için tasarlanmıştır.

HDFS blok yapısı ve replikasyon, YARN kaynak yönetimi, HiveQL ile tablo tasarımı, partition ve bucketing, ORC/Parquet formatları ile HBase row key tasarımı uygulamalı çalışılır. Son bölümde Hadoop iş yüklerinin Spark, Iceberg veya Delta Lake tabanlı mimarilere taşınma seçenekleri bir kontrol listesiyle değerlendirilir.

Kimler Katılmalı?

  • Hadoop kümesi işleten veri mühendisleri ve platform ekipleri
  • Hive üzerinde raporlama yapan veri analistleri
  • Hadoop'tan modern veri platformuna geçişi planlayan mimarlar
  • Ön koşul: SQL ve temel Linux komut satırı bilgisi

Kazanımlar

  • HDFS ve YARN bileşenlerinin rolünü ve birlikte çalışmasını açıklar
  • Partition, bucketing ve dosya formatı seçimiyle Hive sorgularını hızlandırır
  • Erişim desenine uygun HBase row key ve column family tasarımı yapar
  • Hive ile HBase arasında doğru kullanım senaryosunu seçer
  • Mevcut Hadoop iş yükleri için modernizasyon seçeneklerini değerlendirir

Konular

HDFS ve YARN Mimarisi
  • NameNode, DataNode, blok ve replikasyon
  • YARN ResourceManager ve kuyruk yönetimi
  • Temel HDFS komutları
Hive ile SQL Analitiği
  • Managed ve external tablolar, Metastore
  • HiveQL sorguları ve Tez motoru
  • Veri yükleme ve dönüştürme
Hive Performans Optimizasyonu
  • Partition ve bucketing stratejileri
  • ORC, Parquet ve sıkıştırma
  • EXPLAIN ile sorgu planı okuma
HBase ile NoSQL Erişim
  • Region, column family ve versiyonlama
  • Row key tasarımı ve hotspot önleme
  • Get, Put, Scan işlemleri
Hadoop Modernizasyon Yol Haritası
  • Spark, Iceberg ve Delta Lake seçenekleri
  • Bulut veya hibrit geçiş değerlendirmesi
  • Geçiş kontrol listesi

Bu Kategorideki Diğer Eğitimler

  • Veri Mühendisliği Temelleri

    Veri mühendisliğine giriş: ETL/ELT, veri modelleme, data warehouse ve lakehouse, batch ve streaming, orkestrasyon ve veri kalitesi. Örnek bir uçtan uca veri hattı tasarlanarak modern veri platformunun yapı taşları öğrenilir.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Python for Data Engineering

    Veri mühendisleri için Python: pandas ve Polars ile veri dönüşümü, API ve veri tabanından veri alma, Parquet ile çalışma, test edilebilir ve paketlenebilir pipeline kodu, logging ve hata yönetimi.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • PySpark

    Python geliştiricileri için PySpark: DataFrame API, Spark SQL, UDF ve pandas API on Spark, join ve shuffle optimizasyonu, Delta Lake tablolarıyla çalışma ve Databricks veya EMR üzerinde iş çalıştırma.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Apache Kafka

    Apache Kafka ile olay akışı platformu: topic, partition ve consumer group tasarımı, producer/consumer geliştirme, Kafka Connect ve Schema Registry, KRaft mimarisi, güvenlik ve izleme. Geliştirici ve operasyon ekipleri için.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Apache Airflow

    Apache Airflow ile veri ve ML iş akışı orkestrasyonu: TaskFlow API ile DAG tasarımı, dynamic task mapping, asset/dataset tabanlı zamanlama, KubernetesExecutor, test ve üretim izleme. Veri mühendisleri için.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Data Quality ve Data Contracts

    Veri kalitesi mühendisliği ve data contract'lar: Great Expectations, Soda, dbt tests ve OpenDataContractStandard ile şema, tazelik ve iş kuralı doğrulaması; üretici ve tüketici ekipler arasında SLA yönetimi.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin