Data Engineer MS Fabric PySpark (H/F)

À propos du poste

En tant qu’Ingénieur Data, vous rejoindrez notre équipe data pour participer à des projets stratégiques d’analyse et de mise en place de solutions de traitement de données à grande échelle.

Missions principales

• Concevoir, développer et maintenir des pipelines de données à grande échelle en utilisant PySpark.
• Mettre en place des flux de données avec Azure Data Factory, intégrant des sources variées (SQL, Data Lakes, APIs, etc.).
• Assurer l’intégration de données provenant de systèmes divers dans un environnement cloud Azure.
• Optimiser les performances des traitements (SQL, PySpark, etc.).
• Collaborer avec les équipes métier, data analysts et data scientists pour proposer des solutions scalables.
• Participer à la définition de l’architecture des données et à la stratégie de gouvernance.
• Mettre en place le monitoring des jobs (gestion des erreurs, performances).
• Documenter les solutions et suivre les bonnes pratiques de développement.

Profil recherché

• Expérience confirmée en gestion et traitement de données à grande échelle.
• Capacité à travailler en équipe et à comprendre les besoins fonctionnels.

Compétences requises

• Maîtrise de PySpark pour le traitement de données massives.
• Expérience significative avec Azure Data Factory.
• Solide connaissance des bases de données relationnelles (SQL) et non relationnelles (NoSQL).
• Connaissance des services Azure : Azure Data Lake, Azure SQL Database, Azure Blob Storage.
• Bonne compréhension de l’écosystème cloud Azure.