Expert Databricks – Conception et optimisation de pipelines data

À propos du poste

Au sein de la Direction des Technologies de SQLI, le pôle BI/Data pilote les projets de Business Intelligence et de Data Engineering, garantissant qualité, performance et scalabilité des solutions.

Missions principales

• Concevoir, développer et optimiser des pipelines de traitement et de transformation de données sur Azure Databricks et Azure Data Lake.
• Définir et implémenter des architectures data robustes et scalables pour supporter la croissance des volumes de données.
• Mettre en place des tests automatisés afin d’assurer la qualité et la fiabilité des pipelines.
• Participer à la définition et à l’optimisation des pipelines CI/CD via Azure DevOps.
• Appliquer les meilleures pratiques de Data Engineering et de software engineering tout au long du développement.
• Collaborer avec les Product Owners Data et les équipes métiers pour proposer des solutions innovantes.
• Superviser les traitements de données et assurer le monitoring via Datadog ou outils équivalents.
• Identifier et implémenter des optimisations pour améliorer les performances et réduire les coûts sur Databricks.

Profil recherché

• Diplôme Bac+5 en informatique, ingénierie ou domaine équivalent.
• Minimum 5 ans d’expérience en Data Engineering, idéalement sur Azure Databricks.
• Maîtrise du français et de l’anglais.

Compétences requises

• Azure Databricks
• Azure Data Lake
• Azure DevOps
• CI/CD
• Datadog (ou outil de monitoring équivalent)
• Tests automatisés