Data Engineer MS Fabric PySpark

À propos du poste

En tant qu’Ingénieur Data, vous rejoindrez notre équipe data afin de participer à des projets stratégiques d’analyse de données et de mise en place de solutions de traitement de données à grande échelle.

Missions principales

• Concevoir, développer et maintenir des pipelines de données à grande échelle utilisant PySpark.
• Mettre en place des flux de données avec Azure Data Factory, en intégrant des sources et destinations variées (SQL, Data Lakes, APIs, etc.).
• Assurer l'intégration de données provenant de systèmes variés dans un environnement cloud Azure.
• Optimiser les performances des traitements de données (SQL, PySpark, etc.).
• Collaborer avec les équipes métier, data analysts et data scientists pour comprendre les besoins et proposer des solutions efficaces et scalables.
• Participer à la définition de l’architecture des données et de la stratégie de gouvernance.
• Mettre en place et assurer le monitoring des jobs de traitement de données (gestion des erreurs, gestion des performances).
• Documenter les solutions mises en place et suivre les bonnes pratiques de développement.
• Participer à l'amélioration continue des processus et outils existants.

Profil recherché

• Bac +5 en informatique, data science ou domaine équivalent.
• Minimum 3 ans d’expérience sur un poste similaire.

Compétences requises

• Maîtrise de PySpark pour le traitement de données massives en environnement distribué.
• Expérience significative avec Azure Data Factory pour l’orchestration de pipelines.
• Solide expérience en bases de données relationnelles et non relationnelles (SQL, NoSQL).
• Connaissance des services Azure tels qu’Azure Data Lake, Azure SQL Database, Azure Blob Storage.
• Compétences en optimisation des performances de traitements de données.