Big Data (Büyük Veri)

Büyük Veri Nedir?

• Büyük Veri Tanımı ve Özellikleri (5V - Hacim, Hız, Çeşitlilik, Doğruluk, Değer)

• Hangi Veri "Büyük Veri"dir?

• Hangi iş süreçlerinde kullanılır?

Büyük Veri Yaşam Döngüsü

• Veri Alımı → Depolama → İşleme → Analiz → Sunum → Yönetişim

İlişkisel Veri Tabanlarına Giriş

• İlişkisel Veri Modeli Temelleri

• SQL Temel İşlemleri (SELECT, JOIN, GROUP BY, WHERE)

• Normalizasyon (1NF, 2NF, 3NF) Kavramları ve Önemi

• ACID Özellikleri ve Önemi

Veri Mimarilerinin Evrimi

• Veritabanı → Veri Deposu →Data Lake → Lakehouse Mimarileri

• Lambda & Kappa Mimarileri (Bağlam & Önemi)

Dağıtık Sistemler Temelleri

• Tek bir süper bilgisayarda yapmak yerine neden dağıtık sistemler?

• CAP Teoremi, BASE Kavramı ve Uygulamadaki Anlamları

Bulut Geliştirme Ortamı Kurma (AWS/Azure Odaklı)

• Bulut Konsoluna Giriş & IAM Temelleri  

• CLI Kurulumu

• Kod Olarak Altyapı (IaC) Temelleri (Terraform/CloudFormation)

• Docker Temelleri

Laboratuvar 1

• Docker’da basit dağıtık (HDFS + Spark) ve MySQL ortamı kurmak

• MinIO ile yerel “S3” deneyi

• Terraform ile AWS S3 oluşturmak

• IaC ile temel bulut depolaması sağlamak

Geleneksel (On-Premise) Veri Depolama Çözümleri

• Yerel Dosya Sistemleri (HDFS - Hadoop Distributed File System)

• Hadoop Temelleri ve Ekosistemi

• Hadoop Cluster (YARN) Kurulumu ve Yönetimi

• Hadoop Ekosistem Araçları (HDFS, Hive, HBase)

Bulut Temelleri ve Altyapı Kurulumu

• AWS/Azure/GCP Temelleri, Konsol ve CLI Kullanımı

• Altyapıyı Kod Olarak Yönetme (Terraform, CloudFormation)

Bulutta Nesne Depolama Hizmetleri

• AWS S3, Azure Data Lake Storage (ADLS), Google Cloud Storage (GCS)

• Depolama Türleri, Fiyatlandırma ve Yaşam Döngüsü Yönetimi

• Erişim Yönetimi, Güvenlik (IAM, Erişim Kontrolü)

Büyük Veri için Veri Formatları

• CSV, JSON formatı ve kısıtlamaları

• Sütun-Bazlı Depolama Formatları: Parquet, ORC

• Serileştirme ve Veri Evrimi (Avro, Protobuf)

NoSQL Veritabanları

• NoSQL Nedir? Ne Zaman Tercih Edilir? (CAP ve BASE Bağlantısı)

• Anahtar-Değer Depoları (DynamoDB, Redis vb.)

  • Kullanım durumları, modelleme, ölçeklendirme

• Doküman Tabanlı Depolar (MongoDB, Cosmos DB)

  • kullanım durumları, esnek şema

• Sütun-Ailesi Depoları (Cassandra, HBase)

  • Write-heavy, zaman serisi

• Grafik ve Zaman Serisi Veritabanlarına Kısa Bakış

Lakehouse Mimarisi

• Data Lake vs Data Warehouse vs Lakehouse

• Delta Lake, Apache Iceberg, Apache Hudi Temelleri

• ACID, Schema Evolution, Time Travel

Laboratuvar 2

• Bulut depolamada verileri Parquet’e alma ve dönüştürme

• Temel NoSQL etkileşimleri

• Basit bir Delta Lake tablosu uygulaması

Veri Alımı Stratejileri (Data Ingestion)

• Batch Alım vs Streaming Alım

• ETL ve ELT Farkları

• CDC (Change Data Capture) Yaklaşımları (Debezium)

• API Tabanlı Alım

Alım Araçları ve Teknolojiler

• Sqoop, Flume

• Apache Kafka ve Kafka Connect

• Bulut Araçları (AWS Glue, Azure Data Factory, GCP Dataflow)

Veri Orkestrasyonu

• Orkestrasyon nedir?

• Neden orkestre edilmeli?

• Apache Airflow Kavramları (DAG, Operatörler, Hata Yönetimi)

• Bulut Orkestrasyon Araçları (AWS Step Functions, Azure Data Factory Pipelines)

• Bağımlılıklar, hata yönetimi, yeniden denemeler, izleme

Veri Boru Hatları için Kod Olarak Altyapı (IaC)

• Terraform / CloudFormation / ARM Şablonlarını Kullanma

• Veri kaynaklarını yönetme (Depolama, Hesaplama,

• Altyapı için sürüm kontrolü

Laboratuvar 3

• Bulut hizmetlerini (örn. ADF/Glue) kullanarak bir ELT boru hattı oluşturma

• Veri dönüşümleri yapmak

• IaC ile tanımlanan Airflow veya Step Functions ile orkestrasyon

Spark Mimarisi & Temel Kavramlar

• Temel Kavramlar (Driver, Executor, Cluster Manager)

• RDD, DataFrame ve Dataset Kavramları

• Catalyst Optimizer & Tungsten

• Lazy Evaluation

Spark SQL & DataFrame API

• Farklı kaynakları okuma/yazma (Parquet, Delta, JDBC, NoSQL)

• SQL sorguları & DataFrame işlemleri

  • Select

  • Filter

  • Join

  • GroupBy, Aggregate, Window Fonksiyonları

• Kullanıcı Tanımlı Fonksiyonlar (UDF’ler)

Spark Performans Ayarları

• Partitioning, Shuffling ve Join Stratejileri

• Cache ve Persistence Yöntemleri

• Spark UI kullanımı ve optimizasyonu

Bulutta Spark Yönetimi

• AWS EMR, Azure Databricks, GCP Dataproc Kullanımı ve Yönetimi

• Spark Cluster Ayarlama ve Optimizasyonu

Laboratuvar 4.1

• Gerçek hayat verileri üzerinde Spark SQL & DataFrame API ile kapsamlı uygulama

Laboratuvar 4.2

• Yönetilen bulut hizmetinde Spark görevlerini dağıtma, izleme ve temel ayarlamalar yapma

Gerçek Zamanlı Veri İşleme Kavramları

• Event Time, Processing Time, Windowing ve Watermarking

• Veri İşleme Garantileri (Exactly-once, At-least-once)

Streaming Platformları ve Kafka

• Apache Kafka Detaylı Bakış (Broker, Topic, Partition, Offset, Consumers)

• Bulut Platformları (AWS Kinesis, Azure Event Hubs, GCP Pub/Sub)

Spark Structured Streaming

• Spark Streaming ve Structured Streaming Kavramları

• DataFrame API

• Mikro-batch ve Continuous Processing Farkları

• Streaming Verinin Bulutta Yönetimi (Kafka → Spark → Depolama)

• Sources & Sinks (Kafka, Dosyalar, Bulut Akışları, Delta Lake)

• Checkpoint oluşturma & hata toleransı

Apache Flink’e Giriş (Karşılaştırmalı Genel Bakış)

• Düşük gecikmeli akışa odaklanma

• Spark Streaming’den temel kavramsal farklar

Laboratuvar 5.1

• Kafka veya bulut akış hizmetini (Kinesis/Event Hubs/PubSub) kurma ve etkileşim oluşturma

Laboratuvar 5.2

• Spark Yapılandırılmış Akış görevi oluşturma (okuma, dönüştürme, pencereleme, yazma)

• Watermarking & checkpointing uygulama

Veri Kalitesi Yönetimi

• Veri Kalitesi Boyutları (Doğruluk, Tutarlılık, Tamlık vb.)
• Veri Kalitesi Araçları (Great Expectations, Deequ)

Veri Yönetişimi Temelleri

• Metadata Yönetimi ve Veri Kataloğu (AWS Glue Catalog, Azure Purview)
• Veri Kökeni (Lineage) Kavramı ve Uyumluluk (GDPR, CCPA)

Büyük Veri Güvenliği

• Kimlik Doğrulama ve Yetkilendirme (IAM, RBAC)
• Veri Gizliliği Teknikleri (Anonimleştirme, Takma İsimlendirme)
• Şifreleme (Veri Saklarken ve Taşırken)

Büyük Veri Analitiği Araçları

• Dağıtık SQL Motorları (Presto, Trino, AWS Athena, Google BigQuery)

• Bulut Veri Depoları (AWS Redshift, Azure Synapse, Google BigQuery)

Modern Bulut Veri Deposusu

• AWS Redshift / Azure Synapse Dedicated SQL / Google BigQuery

• MPP mimarisi, sütun depolama, dağıtım, WLM

• Lakehouse’dan yükleme

• Veri deposu kullanımı vs. lake sorgulama zamanı

İş Zekası (BI) Araçları ile Entegrasyon

• Tableau, Power BI, Looker ve AWS QuickSight Bağlantısı

• DirectQuery ve Veri İçe Aktarma Stratejileri

• Sorgu motoru uç noktaları (Athena, Synapse, BigQuery, Databricks SQL)

Veri API’si ve Sunum Katmanlarına Giriş

• Basit veri sunumu için sunucusuz fonksiyonları (Lambda/Azure Functions) kullanma

Laboratuvar 6

• Athena/Synapse Serverless/BigQuery kullanarak Lakehouse verisini sorgulama

• Bir BI aracını bağlama

• Basit bir sunucusuz veri API’si oluşturma

İzleme, Günlükleme ve Alarm Yönetimi

• Dağıtık izleme kavramları

• Boru hatları için ana metrikler (Spark, Kafka, Depolama, Sorgu Motorları)

• Bulut İzleme Araçları (CloudWatch, Azure Monitor, Google Monitoring)

• Dağıtık Sistemlerde Loglama ve Uyarılar

Veri Boru Hatlarını Test Etme

• Birim testi (Spark)

• Entegrasyon test aşamaları

• Veri doğrulama testi (Veri kalitesi entegrasyonu)

• Test veri stratejileri & canary dağıtımlar

CI/CD Yaklaşımları

• GitHub Actions, GitLab CI, Jenkinsve ve Azure DevOps ile Sürekli Entegrasyon ve Teslimat

• Test Stratejileri ve Ortam Yönetimi (Development, Stage, Production)

Maliyet Yönetimi ve Optimizasyonu

• Bulut Hizmetleri Maliyetlendirme Modelleri

• Kaynak Optimizasyonu (Reserved Instance, Spot Instance)

• Depolama katmanı optimizasyonu

• Maliyet izleme araçları & bütçeleme

• Sorgu maliyeti optimizasyonu

Laboratuvar 7

• İşleri ve metrikler günlüklerle enstrümante etme

• Uyarılar oluşturma

• Temel bir CI/CD pipeline oluşturma

• Örnek bir iş yükü için maliyet optimizasyonlarını analiz etme ve önerme

Yeni Trendler

• Veri Mesh Konsepti ve Uygulamaları

• MLOps ve Özellik Mağazaları (Feature Store)

• Vektör Veritabanları ve Yapay Zeka Bağlantısı

Kariyer ve Sürekli Öğrenme

• Veri Mühendisliği Kariyer Yolları

• Sürekli Öğrenme Stratejileri ve Kaynakları

Uçtan Uca Büyük Veri Projesi

• Gerçek Hayat Senaryosu ile Veri Alımı, Depolama, İşleme, Analitik ve Görselleştirme

• IaC, CI/CD, Güvenlik, İzleme, Maliyet Optimizasyonu Entegrasyonu

• Proje Dokümantasyonu ve Demo/Sunum