Data Engineer

• Deskripsi pekerjaan Data Engineer PT DATA TEAM CONSULTANT
• Sebagai
• Data Engineer

, Anda akan bertanggung jawab dalam membangun dan mengelola pipeline data untuk kebutuhan proyek klien. Anda akan bekerja pada proses integrasi data dari berbagai sumber, membangun data warehouse, mengelola transformasi data, serta mendukung pengelolaan metrics agar data dapat digunakan secara akurat oleh tim bisnis dan analitik.

Responsibilities

• Membangun dan mengelola proses
• data ingestion
• dari berbagai sumber data.
• Mendesain dan mengembangkan struktur
• data warehouse
• yang reliable dan scalable.
• Mengembangkan pipeline ETL/ELT menggunakan tools modern.
• Membuat transformasi data menggunakan
• dbt
• Mengatur workflow dan orchestration menggunakan
• Airflow
• Menggunakan
• dlt
• untuk proses data ingestion dan integration.
• Mengelola data streaming infrastructurure seperti
• Kafka.
• Mendukung proses
• metrics management
• , termasuk definisi, validasi, dan dokumentasi metrics.
• Bekerja sama dengan tim klien, data analyst, dan stakeholder bisnis untuk memahami kebutuhan data.
• Menjaga kualitas, performa, dan reliability dari pipeline data.

Requirements

• Memiliki pengalaman
• 3–5 tahun
• sebagai Data Engineer atau posisi terkait.
• Berpengalaman dalam membangun pipeline data end-to-end.
• Menguasai
• Python
• untuk data processing dan automation.
• Memiliki pengalaman dengan
• Data Warehouse
• , ETL/ELT, dan data modeling.
• Familiar dengan
• Airflow
• untuk orchestration.
• Familiar dengan
• dbt
• untuk data transformation.
• Familiar dengan

AWS

• untuk cloud infrastructure.
• Memiliki pengalaman atau ketertarikan kuat terhadap data streaming service seperti
• Kafka
• Memahami konsep
• metrics management
• dan data mart.
• Memiliki kemampuan problem solving yang baik dan mampu bekerja secara mandiri.
• Siap bekerja untuk proyek kontrak berdurasi
• 2–4 bulan