DTNUM 92 - Data engineer d'un projet ministériel

About The Role

Rejoignez un projet ministériel sensible en tant que Data Engineer. Vous serez responsable de la conception, de l'industrialisation et de la maintenance des pipelines de données, garantissant leur disponibilité, leur qualité et leur sécurité. Vous travaillerez avec des outils tels que OTDH, Hadoop, Data Lake, et bien d'autres. Vous devrez également former les équipes aux bonnes pratiques et participer à l'animation des communautés.

Concevoir, industrialiser et maintenir les pipelines de données pour garantir la disponibilité, la qualité et la sécurité des données.
Développer des solutions de collecte de données via API, gérer le stockage des données et automatiser les traitements batch ou streaming.
Surveiller les pipelines, gérer les incidents, planifier la capacité et assurer la continuité de service.

Profil recherché
Compétences techniques
Langages et outils : Python, SQL, Scala, JavaScript, Spark, Databricks, Hadoop, Kafka, Flink, ou autre.
Orchestration et CI/CD : Airflow, Azure Data Factory, Fabric pipelines, GitHub Actions, Azure DevOps, Terraform/Bicep.
Stockage et modélisation : Delta, Parquet, Lakehouse, Data Warehouse, tests unitaires et d'intégration, data contracts.
Optimisation et monitoring : Performance, coûts (FinOps), dashboards de suivi, KPIs (latence, taux de succès, MTTR/MTBF), .
Compétences comportementales
Curiosité et veille technologique pour suivre l'évolution rapide des outils et méthodes
Capacité à collaborer avec les équipes projet et clients en transversal.
Rigueur, autonomie et sens de l'organisation pour gérer des pipelines complexes et sécurisés