Vous rejoindrez une équipe dynamique au sein de la Direction des Technologies de SQLI, un leader européen de l’expérience client et de la transformation digitale. Le pôle BI/Data est responsable de la pilotage et de la réalisation des projets de Business Intelligence pour nos clients internes et externes. Votre rôle principal sera de concevoir, développer et maintenir des pipelines de données robustes et performants, en utilisant les technologies Azure Data Factory, Azure Databricks, et Azure DevOps pour automatiser les déploiements CI/CD.
Les missions clés incluent :
- Développer et maintenir des pipelines d’ingestion de données avec Azure Data Factory, en assurant la connectivité à diverses sources de données.
- Concevoir des pipelines de transformation de données sur Azure Databricks, en utilisant Scala, PySpark et Python pour transformer, nettoyer et enrichir les données.
- Implémenter des tests unitaires et des validations de qualité pour garantir la robustesse du code et la conformité des données.
- Définir et appliquer des règles de qualité des données, en collaboration avec les équipes métier.
- Participer à la conception des pipelines CI/CD via Azure DevOps pour automatiser les déploiements et les tests.
- Appliquer les bonnes pratiques de software engineering, y compris le clean code, le versioning, les tests unitaires et la documentation.
- Collaborer étroitement avec les Product Owners Data pour comprendre les besoins métiers et proposer des solutions adaptées.
- Assurer la supervision des traitements de données avec Datadog, en identifiant et résolvant les problèmes de performance.
- Contribuer à la définition et à l’optimisation des architectures de données, en tenant compte des exigences de scalabilité et de sécurité.
Vous serez également amené à travailler avec d’autres outils et technologies, notamment SSIS, SSAS, Business Object, Power BI, Snyk, Git, et le framework dbt pour la transformation de données en SQL. Vous devrez maîtriser l’environnement Azure et ses services cloud orientés data, ainsi que le Spark UI pour diagnostiquer et optimiser les traitements.
Profil recherché :
- Diplôme en informatique (Bac+5) ou équivalent, idéalement en ingénierie ou dans un domaine connexe.
- Minimum 3 ans d’expérience dans un poste similaire, avec une expertise démontrée dans le développement de pipelines de données sur Databricks.
- Maîtrise de Python, PySpark, Scala et SQL.
- Bonne connaissance du Spark UI et capacité à diagnostiquer et optimiser les traitements.
- Expérience confirmée dans l’utilisation du framework dbt pour la transformation de données en SQL.
- Familiarité avec les bonnes pratiques de développement : clean code, versioning, tests unitaires, et principes de modélisation BI.
- Pratique du travail en méthodologie Agile, en lien étroit avec les Product Owners Data et l’équipe projet.
- Force de proposition, capable de s’adapter rapidement dans un environnement technique en constante évolution.
Pourquoi rejoindre SQLI ?
- Un environnement dynamique et innovant, au sein d’une équipe passionnée par les technologies de données.
- La possibilité de travailler sur des projets d’envergure, à la pointe des technologies cloud et Big Data.
- Des opportunités d’évolution et de formation continue pour développer vos compétences.
- Un cadre de travail flexible et des avantages attractifs.
Nous recherchons des candidats motivés, curieux et désireux de contribuer à la transformation digitale de nos clients. Si vous êtes prêt à relever ce défi, n’hésitez pas à postuler dès maintenant.