Expert Data Architect – Databricks

À propos du poste

En tant que référent Databricks chez SQLI, vous concevrez, développerez et optimiserez des pipelines de données sur Azure Databricks et Azure Data Lake, tout en garantissant leur fiabilité et leur performance.

Missions principales

• Concevoir, développer et optimiser des pipelines de traitement et de transformation de données sur Azure Databricks et Azure Data Lake.
• Définir et implémenter des architectures data robustes et scalables.
• Mettre en place des tests automatisés et assurer la qualité des pipelines.
• Participer à la définition et à l’optimisation des pipelines CI/CD via Azure DevOps.
• Appliquer les meilleures pratiques de Data Engineering et de software engineering.
• Collaborer avec les Product Owners Data et les équipes métiers.
• Superviser le monitoring des traitements via Datadog ou outils équivalents.
• Identifier et implémenter des optimisations pour réduire les coûts et améliorer les performances.

Profil recherché

• Diplôme Bac+5 en informatique, ingénierie ou domaine équivalent.
• Minimum 5 ans d’expérience en Data Engineering, Data Architecture ou Databricks, avec expérience de pilotage d’équipes ou de projets.
• Maîtrise avancée de Python, PySpark, Scala et SQL.
• Expertise confirmée dans le développement et l’optimisation de pipelines Databricks.
• Très bonne connaissance de l’écosystème Azure Cloud (ADF, ADLS, Databricks).

Compétences requises

• SQL, Python, PySpark, Scala
• Power BI, SSIS, SSAS, Business Objects
• Datadog, Snyk
• Azure Databricks, Azure Data Factory, ADLS Gen2
• Git, Azure DevOps
• dbt ou frameworks similaires
• Spark UI pour le diagnostic de performance