Model Online/Fiziksel
Süre
Modüller 5 modül

Eğitimin Amacı ve Kapsamı

Notebook'ta çalışan script'ler üretim ortamında sık sık kırılır. Bu eğitim, Python'u veri hattı geliştirmek için sağlam, test edilebilir ve bakımı kolay biçimde kullanmayı hedefler.

pandas ve Polars ile büyük tablolarda dönüşüm, requests/httpx ile REST API'lerden sayfalı veri çekme, SQLAlchemy ile veri tabanı bağlantısı, Parquet ve Arrow ile verimli dosya işlemleri, pydantic ile şema doğrulama, pytest ile birim testleri ve yapılandırılmış logging uygulanır. Katılımcılar kurum senaryosuna uyarlanmış, paketlenmiş ve testleri yazılmış bir ingestion modülü geliştirir.

Kimler Katılmalı?

  • Pipeline kodu yazan veri mühendisleri
  • Script'lerini üretime taşımak isteyen veri analistleri ve veri bilimciler
  • Backend tarafında veri entegrasyonu yapan geliştiriciler
  • Ön koşul: temel Python sözdizimi bilgisi

Kazanımlar

  • pandas ve Polars ile verimli dönüşümler yazar ve performanslarını karşılaştırır
  • API ve veri tabanı kaynaklarından güvenilir ingestion kodu geliştirir
  • pydantic ile gelen veriyi şemaya göre doğrular
  • pytest ile pipeline fonksiyonları için birim testleri yazar
  • Kodunu modüler paket yapısına, logging ve retry mantığına kavuşturur

Konular

Veri Mühendisliği İçin Python Ortamı
  • Sanal ortam, uv/pip ve bağımlılık yönetimi
  • Proje yapısı ve yapılandırma dosyaları
pandas ve Polars ile Dönüşüm
  • Filtreleme, join, groupby ve pencere fonksiyonları
  • Lazy evaluation ve bellek optimizasyonu
  • Parquet ve Arrow ile dosya işlemleri
API ve Veri Tabanından Veri Alma
  • REST API, sayfalama ve rate limit
  • SQLAlchemy ile okuma ve yazma
  • Incremental yükleme
Şema Doğrulama ve Hata Yönetimi
  • pydantic ile veri modelleri
  • Retry, timeout ve exception stratejileri
  • Yapılandırılmış logging
Test, Paketleme ve Üretime Hazırlık
  • pytest ile birim ve entegrasyon testleri
  • Kodun paketlenmesi ve container'a alınması
  • Orkestratörle entegrasyon

Bu Kategorideki Diğer Eğitimler

  • PySpark

    Python geliştiricileri için PySpark: DataFrame API, Spark SQL, UDF ve pandas API on Spark, join ve shuffle optimizasyonu, Delta Lake tablolarıyla çalışma ve Databricks veya EMR üzerinde iş çalıştırma.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Apache Kafka

    Apache Kafka ile olay akışı platformu: topic, partition ve consumer group tasarımı, producer/consumer geliştirme, Kafka Connect ve Schema Registry, KRaft mimarisi, güvenlik ve izleme. Geliştirici ve operasyon ekipleri için.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Apache Airflow

    Apache Airflow ile veri ve ML iş akışı orkestrasyonu: TaskFlow API ile DAG tasarımı, dynamic task mapping, asset/dataset tabanlı zamanlama, KubernetesExecutor, test ve üretim izleme. Veri mühendisleri için.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Data Quality ve Data Contracts

    Veri kalitesi mühendisliği ve data contract'lar: Great Expectations, Soda, dbt tests ve OpenDataContractStandard ile şema, tazelik ve iş kuralı doğrulaması; üretici ve tüketici ekipler arasında SLA yönetimi.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Observability

    Veri hatları ve dağıtık sistemler için observability: OpenTelemetry, Prometheus, Grafana ve OpenLineage ile metrik, log, trace ve veri soykütüğü (lineage) toplama, anomali tespiti ve kök neden analizi.

    Büyük Veri (Big Data) Kurumsal
    Canlı Kurs
    5 modül
    İncele
  • Big Data (Büyük Veri) Big Data (Büyük Veri)

    İlişkisel ve NoSQL veritabanlarından Data Lakehouse mimarilerine, Apache Spark, Kafka, Airflow ve Terraform (IaC) ile uçtan uca bulut tabanlı veri mühendisliği eğitimi.

    Büyük Veri (Big Data) Kurumsal, Bireysel
    Canlı Kurs
    11 modül
    İncele

Bizimle iletişime geçin