Vous êtes passionné par le traitement de données massives et maîtrisez les technologies Scala et Databricks. Dans ce rôle, vous serez responsable de la conception, du développement et de la maintenance de pipelines de données performants, capables de gérer des volumes importants et de garantir une qualité élevée. Vous travaillerez en étroite collaboration avec les équipes data science, les chefs de projet et les parties prenantes métiers pour comprendre leurs besoins, transformer les exigences fonctionnelles en solutions techniques et assurer la livraison de données fiables et accessibles.

Vos missions principales incluront :

• Concevoir et développer des pipelines de données Scala sur la plateforme Databricks, en appliquant les meilleures pratiques de programmation et de gestion de données.
• Optimiser les performances des jobs Spark, en identifiant et corrigeant les goulots d’étranglement, en ajustant les paramètres de cluster et en appliquant des techniques de partitionnement et de cache.
• Garantir la qualité des données en mettant en place des tests unitaires, des validations de schéma et des contrôles de conformité.
• Collaborer avec les data scientists pour transformer les modèles prédictifs en pipelines de production, en veillant à la reproductibilité et à la traçabilité des processus.
• Documenter les flux de données, les transformations et les dépendances, afin de faciliter la maintenance et la montée en compétence des équipes.
• Participer à la veille technologique et proposer des améliorations d’architecture, de performance ou de sécurité.

Profil recherché :

• Expérience confirmée en développement Scala et en utilisation de Databricks / Spark.
• Connaissance approfondie des concepts de data engineering : ingestion, transformation, stockage, gouvernance.
• Maîtrise des bonnes pratiques de versionning, de test et de CI/CD pour les pipelines de données.
• Capacité à travailler en mode agile, à gérer plusieurs tâches simultanément et à respecter les délais.
• Excellentes compétences en communication, tant à l’écrit qu’à l’oral, pour expliquer des concepts techniques à des non-spécialistes.
• Esprit d’équipe, curiosité et volonté d’apprendre de nouvelles technologies.

Nous offrons un environnement stimulant, des projets variés, une culture d’innovation et un cadre de travail flexible. Vous aurez l’opportunité de travailler sur des problématiques réelles, d’apporter votre expertise et de contribuer à la transformation digitale de nos clients.

Si vous êtes prêt à relever ce défi et à évoluer dans un contexte où la technologie rencontre le business, envoyez votre candidature dès maintenant. Nous sommes impatients de découvrir votre profil et de vous accueillir au sein de notre équipe.