Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

pandas ile tek makinede işlenemeyen veri hacimlerine ulaşıldığında PySpark, Python bilgisini dağıtık işlemeye taşımanın en pratik yoludur. Bu eğitim, Spark'ı Python ekosistemi içinden verimli kullanmaya odaklanır.

DataFrame dönüşümleri, Spark SQL, pencere fonksiyonları, Python UDF ile pandas UDF farkı, pandas API on Spark, broadcast join ve partition yönetimi, Spark UI ile darboğaz analizi ve Delta Lake üzerinde MERGE işlemleri uygulanır. Katılımcılar kurumsal bir veri setine uyarlanmış bir PySpark işini yazar, optimize eder ve tekrar kullanılabilir bir kod şablonu olarak paketler.

Kimler Katılmalı?

  • Büyük veri setleriyle çalışan Python geliştiricileri ve veri mühendisleri
  • pandas'tan dağıtık işlemeye geçmek isteyen veri bilimciler
  • Databricks veya EMR kullanan analitik ekipleri
  • Ön koşul: Python ve pandas deneyimi

Kazanımlar

  • PySpark DataFrame API ile karmaşık dönüşümler yazar
  • Python UDF yerine yerleşik fonksiyon veya pandas UDF tercih ederek performans kazanır
  • Spark UI üzerinden shuffle ve skew sorunlarını tespit eder
  • Delta Lake tablolarında upsert ve time travel işlemleri yapar
  • PySpark işlerini notebook'tan üretim job'una taşır

Konular

PySpark Mimarisi ve SparkSession
  • Driver, executor ve lazy evaluation
  • Transformation ve action ayrımı
DataFrame API ve Spark SQL
  • Select, filter, join ve aggregation
  • Pencere fonksiyonları
  • Karmaşık tipler: array, struct, JSON
UDF'ler ve pandas API on Spark
  • Python UDF ve pandas UDF karşılaştırması
  • pandas API on Spark ile geçiş
  • Arrow optimizasyonu
Performans Optimizasyonu
  • Broadcast join, repartition ve coalesce
  • Adaptive Query Execution ve data skew
  • Spark UI ile analiz
Delta Lake ve Üretim Job'ları
  • MERGE, schema evolution ve time travel
  • Databricks Jobs veya spark-submit ile çalıştırma

Bu Kategorideki Diğer Eğitimler

  • Apache Kafka

    Apache Kafka ile olay akışı platformu: topic, partition ve consumer group tasarımı, producer/consumer geliştirme, Kafka Connect ve Schema Registry, KRaft mimarisi, güvenlik ve izleme. Geliştirici ve operasyon ekipleri için.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Apache Airflow

    Apache Airflow ile veri ve ML iş akışı orkestrasyonu: TaskFlow API ile DAG tasarımı, dynamic task mapping, asset/dataset tabanlı zamanlama, KubernetesExecutor, test ve üretim izleme. Veri mühendisleri için.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Data Quality ve Data Contracts

    Veri kalitesi mühendisliği ve data contract'lar: Great Expectations, Soda, dbt tests ve OpenDataContractStandard ile şema, tazelik ve iş kuralı doğrulaması; üretici ve tüketici ekipler arasında SLA yönetimi.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Observability

    Veri hatları ve dağıtık sistemler için observability: OpenTelemetry, Prometheus, Grafana ve OpenLineage ile metrik, log, trace ve veri soykütüğü (lineage) toplama, anomali tespiti ve kök neden analizi.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Big Data (Büyük Veri) Big Data (Büyük Veri)

    İlişkisel ve NoSQL veritabanlarından Data Lakehouse mimarilerine, Apache Spark, Kafka, Airflow ve Terraform (IaC) ile uçtan uca bulut tabanlı veri mühendisliği eğitimi.

    Büyük Veri (Big Data) Kurumsal, Bireysel
    Canlı Kurs
    11 modül
    İncele
  • Apache Spark Apache Spark

    Apache Spark mimarisi, RDD ve DataFrame API'leri, Spark SQL, Structured Streaming, MLlib, GraphX ve dağıtık küme performans optimizasyonu üzerine kapsamlı büyük veri işleme eğitimi.

    Büyük Veri (Big Data) Kurumsal, Bireysel
    Canlı Kurs
    10 modül
    İncele

Bizimle iletişime geçin