Expert Data Architect – Databricks

À propos du poste

En tant que référent Databricks, vous concevrez, développerez et optimiserez des pipelines de données sur Azure Databricks et Azure DataLake, tout en définissant des architectures data robustes et scalables.

Missions principales

• Concevoir, développer et optimiser des pipelines de traitement et de transformation de données sur Azure Databricks et Azure DataLake.
• Définir et implémenter des architectures data robustes et scalables pour supporter la croissance des volumes de données.
• Mettre en place des tests automatisés et garantir la qualité et la fiabilité des pipelines.
• Participer à la définition et à l’optimisation des pipelines CI/CD via Azure DevOps.
• Appliquer les meilleures pratiques de Data Engineering et de software engineering.
• Collaborer avec les Product Owners Data et les équipes métiers pour proposer des solutions innovantes.
• Superviser les traitements de données et assurer le monitoring via Datadog ou outils équivalents.
• Identifier et implémenter des optimisations pour améliorer les performances et réduire les coûts sur Databricks.

Profil recherché

• Diplôme Bac+5 en informatique, ingénierie ou domaine équivalent.
• Minimum 5 ans d’expérience en Data Engineering, Data Architecture ou Databricks, avec expérience de pilotage d’équipe ou de projets.
• Maîtrise avancée de Python, PySpark, Scala et SQL.
• Expertise confirmée dans le développement et l’optimisation de pipelines Databricks.
• Très bonne connaissance de l’écosystème Azure Cloud (ADF, ADLS, Databricks…).

Compétences requises

• SQL
• Python
• PySpark
• Scala
• Azure Databricks
• Azure Data Factory
• ADLS Gen2
• Git
• Azure DevOps
• Power BI
• SSIS
• SSAS
• Business Objects
• Datadog
• Snyk
• dbt ou frameworks similaires