Data Engineer Senior - Freelance (H/F)

Taux journalier (TJM): 700

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Senior afin de participer à la conception et au développement d'une nouvelle architecture orientée Lakehouse.

Vous interviendrez sur la collecte, la transformation, le stockage et la mise à disposition de données structurées à destination notamment d'équipes métier et analytiques.

VOS MISSIONS

• *
• Participer à la conception de l'architecture Data cible et à l'organisation d'un Lakehouse.
• *
• Concevoir et développer des pipelines de collecte et de transformation de données.
• *
• Développer les traitements en Python, Spark / PySpark et SQL.
• *
• Mettre en place les mécanismes de stockage et d'exposition des données.
• *
• Participer à l'intégration de données provenant de différentes sources.
• *
• Concevoir des jeux de données structurés à destination des équipes métier et marketing.
• *
• Participer à la mise à disposition de données pour les outils de reporting et de DataViz.
• *
• Mettre en place l'ordonnancement et le suivi des traitements.
• *
• Développer des tests unitaires afin de sécuriser les traitements.
• *
• Mettre en place les contrôles nécessaires au suivi de la qualité et de la bonne exécution des pipelines.
• *
• Participer à la maintenance corrective et évolutive des solutions développées.
• *
• Documenter les développements, flux et architectures mis en place.
• *
• Accompagner les équipes MOA et utilisateurs lors des phases de recette.
• *
• Estimer les charges et assurer le suivi de l'avancement des développements.
• *
• Collaborer avec les équipes transverses sur les problématiques d'architecture et d'intégration.
• *
• Contribuer à l'amélioration continue des pratiques de développement et d'industrialisation.

DATA SCIENCE & INTELLIGENCE ARTIFICIELLE

Vous serez également amené(e) à intervenir ponctuellement sur des sujets de valorisation avancée de la donnée

• *
• Utilisation de Machine Learning appliqué aux données.
• *
• Feature engineering et préparation des données.
• *
• Utilisation de bibliothèques telles que scikit-learn.
• *
• Contribution à l'intégration de solutions LLM / GenAI facilitant l'accès, l'exploration ou l'interrogation des données.

ENVIRONNEMENT TECHNIQUE

Data Engineering

*

Python

*

Spark / PySpark

*

SQL

*

ETL / ELT

*

Data Lake / Lakehouse

• Plateforme cible
• *

AWS S3

*

Dagster

*

Trino

Industrialisation

*

Git

*

Jenkins

*

CI/CD

*

Jira

*

Confluence

Machine Learning / IA

• *
• scikit-learn
• *

Feature Engineering

*

LLM / GenAI

• Environnement existant
• *

Informatica

*

Oracle

*

OBIEE

*

BIRT

PROFIL RECHERCHÉ

Vous disposez d'une expérience significative en Data Engineering, avec une forte maîtrise de

*

Python

*

Spark / PySpark

*

SQL

• *
• Conception et développement de pipelines de données
• *

ETL / ELT

• *
• Modélisation et structuration de données
• *

Data Lake / Lakehouse

• *
• Tests unitaires et qualité des traitements
• Une expérience sur AWS S3, Dagster ou Trino sera particulièrement appréciée.
• La connaissance d'Informatica constitue également un atout important dans le cadre de la modernisation d'environnements Data existants.
• Vous disposez par ailleurs d'une première expérience ou d'une forte appétence pour les sujets Machine Learning et GenAI / LLM appliqués à la donnée.