En tant qu’Ingénieur Data spécialisé Scala/Databricks, votre rôle sera central dans la transformation digitale de nos clients. Vous participerez à toutes les phases du cycle de vie des données, depuis la collecte et le nettoyage jusqu’à l’analyse et la visualisation. Vous utiliserez les technologies Apache Spark et Databricks pour créer des pipelines de données évolutifs, capables de traiter des volumes massifs en temps réel. Vous écrirez du code Scala performant, en suivant les meilleures pratiques de développement et en veillant à la maintenabilité du code.

Vous travaillerez en étroite collaboration avec les équipes Data Science, les chefs de projet et les parties prenantes métier pour comprendre leurs besoins et traduire ces exigences en solutions techniques. Vous participerez à la conception d’architectures de données, à la définition de schémas, et à la mise en place de tests unitaires et d’intégration afin de garantir la fiabilité des flux de données.

Vous serez également chargé de la mise en place d’outils de monitoring et de la création de dashboards pour suivre la performance des pipelines. Vous participerez à l’optimisation continue des jobs Spark, en identifiant les goulots d’étranglement et en appliquant des techniques d’optimisation telles que le partitionnement, le caching et le tuning des paramètres de cluster.

En plus de vos compétences techniques, vous devrez démontrer une forte capacité d’analyse, une excellente communication et une aptitude à travailler en équipe. Vous serez amené à documenter vos solutions, à rédiger des rapports techniques et à former les utilisateurs finaux sur les outils et processus mis en place.

Nous recherchons un profil ayant une solide expérience en Scala, Spark et Databricks, ainsi qu’une connaissance approfondie des concepts de data engineering tels que l’ETL, le data lake, le data warehouse et le streaming. Une expérience avec les services cloud (Azure, AWS ou GCP) et la gestion de clusters Spark est un plus.

Vous rejoindrez une équipe dynamique et innovante, au sein d’une entreprise reconnue pour son expertise en transformation digitale. Vous aurez l’opportunité de travailler sur des projets variés, de contribuer à l’amélioration continue des processus et de développer vos compétences techniques dans un environnement stimulant.