Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Milyarlarca satırlık veri göllerinde (data lake/lakehouse) klasik ilişkisel veri tabanı alışkanlıklarıyla yazılan SQL sorguları aşırı disk/ağ trafiğine (shuffle), bellek taşmalarına (OOM) ve saatler süren işlere yol açar. Bu eğitim, Apache Spark SQL motorunun dağıtık çalışma mantığını anlayarak yüksek performanslı analitik sorgular ve ETL hatları geliştirmeyi öğretir.

Programda Spark SQL ve DataFrame birleşik mimarisi, Catalyst Optimizer ve Tungsten yürütme motoru, pencere fonksiyonları ve yarı-yapısal (JSON/Array) veri işleme, Parquet ve Lakehouse formatları (Delta Lake / Apache Iceberg), bölümleme (partitioning/Z-Ordering), Broadcast vs Sort-Merge Join, Adaptive Query Execution (AQE) ve Spark UI üzerinden darboğaz analizi uygulamalı işlenir.

Kimler Katılmalı?

  • Veri ambarı ve Lakehouse (Databricks, EMR, Fabric, Synapse, on-prem Spark) üzerinde çalışan veri mühendisleri
  • Büyük veri kümeleri üzerinde analitik sorgular geliştiren SQL geliştiricileri ve veri analistleri
  • Yavaş çalışan Spark SQL işlerini optimize etmek isteyen veri platformu ekipleri
  • Ön koşul: temel SQL sorgulama bilgisi

Kazanımlar

  • Mantıksal ve fiziksel sorgu planlarını (EXPLAIN) okuyup Catalyst Optimizer davranışını yorumlamak
  • Pencere fonksiyonları, yüksek mertebeli dizi/JSON fonksiyonları ve UDF alternatifleriyle temiz Spark SQL yazmak
  • Parquet, Delta Lake ve Iceberg üzerinde doğru partitioning, compaction ve Z-Order/liquid clustering kurgulamak
  • Shuffle maliyetini, Broadcast Join eşiklerini ve veri çarpıklığını (data skew) AQE ve ipuçlarıyla çözmek
  • Spark UI üzerinden spill, GC ve görev (task) dengesizliklerini teşhis edip sorgu süresini kısaltmak

Konular

Spark SQL Mimarisi, Catalyst Optimizer ve Tungsten
  • Driver, Executor, Job/Stage/Task hiyerarşisi ve dar/geniş dönüşümler (shuffle sınırı)
  • Unresolved, Analyzed, Optimized Logical Plan ve Physical Plan aşamaları
  • Predicate pushdown, column pruning ve Tungsten bellek/kod üretimi
İleri Analitik Spark SQL ve Yarı-Yapısal Veri İşleme
  • CTE'ler, Window fonksiyonları (ROW_NUMBER, LAG/LEAD, hareketli pencereler) ve GROUPING SETS
  • İç içe (nested) Struct, Array ve JSON verileri: EXPLODE, TRANSFORM, FILTER yüksek mertebeli fonksiyonları
  • Python/Scala UDF'lerin serileştirme maliyeti ve yerleşik fonksiyon / Pandas UDF alternatifleri
Depolama Formatları, Bölümleme ve Lakehouse Tabloları
  • Sütun bazlı Parquet formatı, row group, dictionary encoding ve istatistikler
  • Partitioning, Bucketing, küçük dosya (small files) problemi ve dosya boyutu ayarları
  • Delta Lake ve Apache Iceberg: ACID işlemler, MERGE INTO, Time Travel, OPTIMIZE ve Z-Order
Join Stratejileri, AQE ve Data Skew Optimizasyonu
  • Broadcast Hash Join, Sort-Merge Join ve Shuffle Hash Join seçim kriterleri
  • Adaptive Query Execution (AQE): dinamik partition birleştirme, join stratejisi değiştirme ve skew join çözümü
  • Önbellekleme (CACHE TABLE), depolama seviyeleri ve doğru kullanım senaryoları
Spark UI ile Darboğaz Teşhisi ve Sorgu İyileştirme Atölyesi
  • Spark UI SQL sekmesi, DAG görselleştirme, Spill (Memory/Disk) ve straggler task analizi
  • Gerçekçi yavaş sorgular üzerinde plan okuma ve adım adım performans iyileştirme çalışması

Bu Kategorideki Diğer Eğitimler

  • PostgreSQL Temelleri ve İleri Seviye Geliştirme

    PostgreSQL veri tipleri, ileri SQL (CTE, window functions, LATERAL), JSONB ile belge modelleme, tam metin arama, B-Tree/GIN/GiST/BRIN indeksleri, PL/pgSQL, MVCC/kilitler ve tablo bölümleme; uygulama geliştiricileri için.

    Veri Tabanı Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • PostgreSQL Administration (Veri Tabanı Yönetimi)

    PostgreSQL mimarisi, bellek ve WAL yapılandırması, MVCC/Autovacuum ve bloat yönetimi, PgBouncer bağlantı havuzu, pgBackRest ile PITR yedekleme, Streaming/Logical Replication ve Patroni ile yüksek erişilebilirlik.

    Veri Tabanı Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • MySQL ve MariaDB Geliştirme ve Yönetimi

    InnoDB depolama motoru ve clustered index mimarisi, sorgu ve indeks optimizasyonu, transaction ve kilit analizi, yedekleme, GTID tabanlı replikasyon ve yüksek erişilebilirlik; MySQL ve MariaDB kullanan geliştirici ve DBA ekipleri için.

    Veri Tabanı Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Oracle Veri Tabanı Mimarisi ve Yönetimi

    Oracle Multitenant (CDB/PDB) mimarisi, SGA/PGA bellek ve arka plan süreçleri, tablespace/segment yönetimi, B-Tree/Bitmap indeksler, bölümleme, AWR/ASH performans analizi, RMAN yedekleme ve Data Guard temelleri.

    Veri Tabanı Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • MongoDB ile Belge Tabanlı Veri Modelleme ve Geliştirme

    BSON ve belge tabanlı şema tasarım kalıpları (embedding vs referencing), Aggregation Pipeline, bileşik/multikey indeksler ve ESR kuralı, çok belgeli ACID işlemler, Change Streams, Replica Set ve Sharding eğitimi.

    Veri Tabanı Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Redis ile Önbellekleme ve Bellek İçi Veri Yapıları

    Redis veri yapıları (String, Hash, List, Set, Sorted Set, Stream, HyperLogLog), önbellek desenleri (cache-aside, stampede önleme), dağıtık kilitler, rate limiting, Lua/pipelining, RDB/AOF kalıcılık ve Redis Cluster.

    Veri Tabanı Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin