Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Geleneksel veri göllerinde Parquet dosyalarını klasörlerde tutmak; eşzamanlı yazma çakışmaları, bozuk şemalar ve tam tablo taramaları nedeniyle kurumsal analitik ve AI yüklerinde sürdürülemez hale gelir. Bu program, Apache Iceberg açık tablo formatının iç mimarisini ve üzerinde çok motorlu, satıcıdan bağımsız (vendor-neutral) bir lakehouse kurma adımlarını derinlemesine işler.

Catalog, metadata file, manifest list, manifest file ve Parquet veri katmanları, ACID işlemler, hidden partitioning ve partition evolution, copy-on-write vs merge-on-read güncellemeleri, REST Catalog (Polaris/Nessie/Lakekeeper) ve compaction bakımı uygulamalı olarak incelenir. Katılımcılar kendi iş yüklerine uygun Iceberg tablo tasarım ve bakım rehberi oluşturur.

Kimler Katılmalı?

  • Veri gölü ve lakehouse altyapısı kuran veri ve platform mühendisleri
  • Büyük ölçekli analitik ve AI veri depolama mimarisini tasarlayan veri mimarları
  • Spark, Trino veya Flink iş yüklerini optimize etmek isteyen büyük veri geliştiricileri
  • Ön koşul: SQL, Parquet/kolon bazlı depolama kavramları ve temel dağıtık veri işleme bilgisi

Kazanımlar

  • Iceberg metadata ağacının (manifest list, manifest file, data/delete files) sorgu planlamasını nasıl hızlandırdığını açıklar
  • Veriyi yeniden yazmadan şema evrimi (schema evolution) ve bölümleme evrimi (partition evolution) uygular
  • Güncelleme ve silme yoğunluğuna göre Copy-on-Write (CoW) ile Merge-on-Read (MoR) modlarını doğru seçer
  • Time travel ve branching/tagging ile tekrarlanabilir ML eğitim setleri ve güvenli veri denetimi (WAP) kurar
  • Küçük dosya problemini (small files) önlemek için compaction, sort order/Z-order ve snapshot temizliğini yapılandırır

Konular

Apache Iceberg İç Mimarisi ve Metadata Ağacı
  • Hive tablo formatının sınırları ve Iceberg'ün 3 katmanlı metadata yapısı
  • Snapshot izolasyonu, iyimser eşzamanlılık (optimistic concurrency) ve kolon istatistikleriyle budama (pruning)
Şema Evrimi, Hidden Partitioning ve Satır Güncellemeleri
  • Kolon ID tabanlı güvenli şema değişimi ve sorgu hatası önleyen hidden partitioning
  • Copy-on-Write (CoW) vs Merge-on-Read (positional ve equality delete files)
Katalog Ekosistemi ve Çoklu Sorgu Motoru Kullanımı
  • Iceberg REST Catalog standardı, Apache Polaris, Project Nessie ve Glue/Hive karşılaştırması
  • Aynı tablo üzerinde Spark, Trino, Flink ve DuckDB/PyIceberg ile okuma-yazma
Time Travel, Branching ve AI/ML Veri Versiyonlama
  • Snapshot ve zaman damgası bazlı sorgulama ile geçmiş model eğitim verisini yeniden üretme
  • Tablo seviyesinde branch ve tag oluşturarak Write-Audit-Publish (WAP) uygulama
Performans Optimizasyonu ve Tablo Bakım Operasyonları
  • Bin-packing, sort ve Z-order compaction ile okuma performansını artırma
  • expire_snapshots, remove_orphan_files ve rewrite_manifests görevlerinin otomasyonu

Bu Kategorideki Diğer Eğitimler

  • Semantic Layer

    Kurumsal metriklerin ve iş boyutlarının tek merkezde tanımlanması: dbt Semantic Layer (MetricFlow) ve Cube ile BI araçları, Text-to-SQL ve analitik AI agent'ları için tutarlı veri erişimi.

    Veri Bilimi ve AI-Ready Veri Mühendisliği Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Metadata for RAG ve Agents

    RAG ve agent sistemlerinde retrieval isabetini ve güvenliği artıran metadata mühendisliği: şema tasarımı, otomatik metadata çıkarımı, pre-filtering, zamansal geçerlilik ve ACL yetki filtreleme.

    Veri Bilimi ve AI-Ready Veri Mühendisliği Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Web Scraping (Web Kazıma) Web Scraping (Web Kazıma)

    BeautifulSoup, Scrapy ve Playwright ile statik ve dinamik web kaynaklarından ölçeklenebilir veri toplama, anti-bot engellerini aşma, LLM destekli veri çıkarımı ve Pandas ile veri doğrulama süreçlerini kapsayan uygulamalı Web Scraping eğitimi.

    Veri Bilimi ve AI-Ready Veri Mühendisliği Kurumsal, Bireysel
    Canlı Kurs
    13 modül
    İncele
  • Data Science (Veri Bilimi) Data Science (Veri Bilimi)

    Python, Pandas, SQL ve Scikit-learn ile veri analizi ve makine öğreniminden PyTorch/TensorFlow ile derin öğrenme, LLM'ler, Apache Spark ve MLOps süreçlerine uzanan uçtan uca Data Science eğitimi.

    Veri Bilimi ve AI-Ready Veri Mühendisliği Kurumsal, Bireysel
    Canlı Kurs
    18 modül
    İncele
  • Veri Bilimi Giriş

    Veri bilimi yaşam döngüsü (CRISP-DM), keşifsel veri analizi, temel makine öğrenmesi kavramları ve model değerlendirme; veriyle karar almak isteyen analist ve iş ekipleri için uçtan uca ilk proje deneyimi.

    Veri Bilimi ve AI-Ready Veri Mühendisliği Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Veri Bilimi İçin Python

    NumPy, pandas, Matplotlib/Seaborn ve scikit-learn ile veri okuma, temizleme, dönüştürme ve görselleştirme; Jupyter ortamında tekrar kullanılabilir analiz notebook'ları yazmak isteyen analist ve geliştiriciler için.

    Veri Bilimi ve AI-Ready Veri Mühendisliği Kurumsal
    Canlı Kurs
    5 modül
    İncele

Bizimle iletişime geçin