Data Engineer MS Fabric PySpark (H/F)

À propos du poste

En tant qu’Ingénieur Data au sein de SQLI, vous intégrerez l’équipe data pour concevoir et déployer des solutions de traitement de données à grande échelle sur Azure. Vous travaillerez sur des projets stratégiques d’analyse et d’optimisation des flux de données.

Missions principales

• Concevoir, développer et maintenir des pipelines de données massifs avec PySpark.
• Orchestrer les flux de données via Azure Data Factory en intégrant diverses sources (SQL, Data Lakes, APIs, etc.).
• Assurer l’intégration et la transformation des données dans l’environnement cloud Azure.
• Optimiser les performances des traitements (SQL, PySpark) et mettre en place le monitoring des jobs.
• Collaborer avec les équipes métier, data analysts et data scientists pour définir des solutions scalables.
• Participer à la définition de l’architecture data et à la gouvernance des données.

Profil recherché

• Bac+5 en informatique, data science ou domaine équivalent.
• Minimum 3 ans d’expérience en développement PySpark et Azure Data Factory.
• Autonomie, rigueur, sens du détail et excellente capacité à résoudre des problèmes techniques complexes.

Compétences requises

• Maîtrise de PySpark pour le traitement distribué.
• Expérience avec Azure Data Factory et l’orchestration de pipelines.
• Bonne connaissance des bases de données SQL et NoSQL.
• Maîtrise des services Azure : Data Lake, SQL Database, Blob Storage, Databricks, Synapse Analytics.
• Utilisation d’outils de versioning tels que Git ou Azure DevOps.
• Compréhension des concepts Big Data et optimisation des performances.

Ce que nous offrons

• Environnement dynamique et innovant au sein d’une équipe passionnée.
• Projets d’envergure à la pointe des technologies cloud et Big Data.
• Opportunités d’évolution et de formation continue.
• Cadre de travail flexible et avantages attractifs.