Expert Data Architect – Databricks

À propos du poste

En tant que référent Databricks chez SQLI, vous interviendrez sur la conception, l’optimisation et l’évolution de la plateforme data, en contribuant à la création d’architectures robustes et performantes pour les grands comptes.

Missions principales

• Concevoir, développer et optimiser des pipelines de traitement et de transformation de données sur Azure Databricks et Azure DataLake.
• Définir et implémenter des architectures data scalables pour supporter la croissance des volumes.
• Mettre en place des tests automatisés et garantir la qualité et la fiabilité des pipelines.
• Participer à la définition et à l’optimisation des pipelines CI/CD via Azure DevOps.
• Appliquer les meilleures pratiques de Data Engineering et de software engineering.
• Collaborer avec les Product Owners Data et les équipes métiers pour proposer des solutions innovantes.
• Superviser les traitements de données et assurer le monitoring via Datadog ou outils équivalents.
• Identifier et implémenter des optimisations pour améliorer les performances et réduire les coûts sur Databricks.

Profil recherché

• Diplôme Bac+5 en informatique, ingénierie ou domaine équivalent.
• Minimum 5 ans d’expérience en Data Engineering, Data Architecture ou Databricks, avec expérience de pilotage d’équipe ou de projets.

Compétences requises

• SQL, PySpark, Python, Scala.
• Azure Databricks, Azure Data Factory, ADLS Gen2.
• Power BI, SSIS, SSAS, Business Objects.
• Git, Azure DevOps, CI/CD.
• Datadog, Snyk.
• Bonne connaissance de l’écosystème Azure Cloud (ADF, ADLS, Databricks).
• Pratique avancée de dbt ou frameworks similaires.