Eğitimin Amacı ve Kapsamı
Kafka; mikroservisler arası iletişim, CDC ve gerçek zamanlı analitik için kurumsal olay omurgası hâline geldi. Ancak yanlış partition sayısı, offset yönetimi veya şema değişiklikleri üretimde veri kaybına ve gecikmeye yol açabilir.
Bu programda Kafka mimarisi (broker, KRaft, replikasyon), topic ve partition tasarımı, idempotent producer ve transaction'lar, consumer group ve rebalancing, Kafka Connect ile Debezium CDC, Schema Registry ile Avro/Protobuf şema yönetimi, ACL ve TLS güvenliği uygulamalı çalışılır. Kurum senaryosuna göre bir olay akışı tasarımı ve operasyon kontrol listesi hazırlanır.
Kimler Katılmalı?
- Olay tabanlı uygulama geliştiren backend geliştiricileri
- Kafka ile veri hattı kuran veri mühendisleri
- Kafka kümesi işleten platform ve operasyon ekipleri
- Ön koşul: temel dağıtık sistem ve Java, Python veya Go bilgisi
Kazanımlar
- İş yüküne göre topic, partition ve replikasyon ayarlarını belirler
- Teslimat garantilerine uygun producer ve consumer kodu yazar
- Kafka Connect ve Debezium ile veri tabanı değişikliklerini akışa aktarır
- Schema Registry ile geriye uyumlu şema evrimini yönetir
- Consumer lag ve broker metriklerini izleyerek sorunları teşhis eder
Konular
Kafka Mimarisi ve KRaft
- Broker, topic, partition ve replikasyon
- ZooKeeper'dan KRaft'a geçiş
- Log retention ve compaction
Producer ve Consumer Geliştirme
- acks, idempotence ve transaction'lar
- Consumer group, offset ve rebalancing
- At-least-once ve exactly-once
Kafka Connect ve CDC
- Source ve sink connector'lar
- Debezium ile veri tabanı değişiklik akışı
Şema Yönetimi ve Stream İşleme
- Schema Registry, Avro ve Protobuf
- Uyumluluk modları
- Kafka Streams ve ksqlDB'ye giriş
Güvenlik, İzleme ve Operasyon
- TLS, SASL ve ACL
- Consumer lag ve broker metrikleri
- Kapasite planlama kontrol listesi
Bu Kategorideki Diğer Eğitimler
-
Apache Airflow
Apache Airflow ile veri ve ML iş akışı orkestrasyonu: TaskFlow API ile DAG tasarımı, dynamic task mapping, asset/dataset tabanlı zamanlama, KubernetesExecutor, test ve üretim izleme. Veri mühendisleri için.
- Canlı Kurs
- 5 modül
-
Data Quality ve Data Contracts
Veri kalitesi mühendisliği ve data contract'lar: Great Expectations, Soda, dbt tests ve OpenDataContractStandard ile şema, tazelik ve iş kuralı doğrulaması; üretici ve tüketici ekipler arasında SLA yönetimi.
- Canlı Kurs
- 5 modül
-
Observability
Veri hatları ve dağıtık sistemler için observability: OpenTelemetry, Prometheus, Grafana ve OpenLineage ile metrik, log, trace ve veri soykütüğü (lineage) toplama, anomali tespiti ve kök neden analizi.
- Canlı Kurs
- 5 modül
-
Big Data (Büyük Veri)
İlişkisel ve NoSQL veritabanlarından Data Lakehouse mimarilerine, Apache Spark, Kafka, Airflow ve Terraform (IaC) ile uçtan uca bulut tabanlı veri mühendisliği eğitimi.
- Canlı Kurs
- 11 modül
-
Apache Spark
Apache Spark mimarisi, RDD ve DataFrame API'leri, Spark SQL, Structured Streaming, MLlib, GraphX ve dağıtık küme performans optimizasyonu üzerine kapsamlı büyük veri işleme eğitimi.
- Canlı Kurs
- 10 modül
-
Streaming Analytics
Kafka, Apache Flink ve Spark Structured Streaming ile gerçek zamanlı veri analitiği: windowing, event time, watermark, stateful işleme ve anlık dashboard'lar. Veri mühendisleri ve analitik ekipleri için.
- Canlı Kurs
- 5 modül
Bizimle iletişime geçin