Expert Data Architect – Databricks

À propos du poste

SQLI, leader européen de l'expérience client et de la transformation digitale, recrute un Expert Data Architect Databricks pour renforcer son équipe de 2200 personnes réparties dans 12 pays. Vous serez référent Databricks, intervenant sur la conception, l'optimisation et l'évolution de la plateforme data.

Missions principales

• Concevoir, développer et optimiser des pipelines de traitement et de transformation de données sur Azure Databricks et Azure DataLake.
• Définir et implémenter des architectures data robustes et scalables pour supporter la croissance des volumes de données.
• Mettre en place des tests automatisés et garantir la qualité et la fiabilité des pipelines de données.
• Participer à la définition et à l'optimisation des pipelines CI/CD via Azure DevOps.
• Collaborer avec les Product Owners Data et les équipes métiers pour proposer des solutions adaptées.
• Superviser les traitements de données et assurer le monitoring via Datadog ou outils équivalents.
• Identifier et implémenter des optimisations pour améliorer les performances et réduire les coûts sur Databricks.

Profil recherché

• Diplôme Bac+5 en informatique, ingénierie ou domaine équivalent.
• Minimum 5 ans d'expérience en Data Engineering, Data Architecture ou Databricks, avec expérience dans le pilotage d'équipe ou de projets.
• Maîtrise avancée de Python, PySpark, Scala et SQL.
• Très bonne connaissance de l'écosystème Azure Cloud et de ses services orientés data (ADF, ADLS, Databricks).
• Expérience dans la mise en place de bonnes pratiques : clean code, versioning, tests unitaires, CI/CD, modélisation BI.
• Pratique avancée de dbt ou frameworks similaires pour la transformation SQL et l'orchestration de données.
• Expérience en méthodologie Agile, avec Product Owners Data et équipes projet.
• Capacité à guider et coacher une équipe, à prendre des décisions stratégiques et à s'adapter rapidement.

Compétences requises

• Langages : SQL, PySpark, Python, Scala.
• Outils : Power BI, SSIS, SSAS, Business Objects, Datadog, Snyk.
• Cloud et data : Azure Databricks, Azure Data Factory, ADLS Gen2.
• DevOps : Git, Azure DevOps.
• Spark UI pour le diagnostic des performances.
• dbt ou frameworks similaires.

Ce que nous offrons

• Un environnement dynamique et innovant, sur des projets d'envergure à la pointe du cloud et du Big Data.
• Des opportunités d'évolution et de formation continue.
• Un cadre de travail flexible et des avantages attractifs.