SQLI, acteur majeur de la transformation digitale, recherche un Ingénieur Qualité & Validation des Données pour renforcer son équipe à Rabat. Le poste, en CDI hybride, combine expertise technique, rigueur qualité et collaboration interfonctionnelle.
Contexte du poste
Vous serez responsable de la conception, du développement et de la maintenance de pipelines ETL performants, en utilisant Azure Data Factory et Databricks. Vous appliquerez l’architecture en médailles (Bronze / Silver / Gold) pour structurer les données, et vous orchestrerez des flux batch et streaming. Vous optimiserez les performances, réduirez les coûts et garantirez la fiabilité des traitements.
Responsabilités principales
1. Conception & Développement Data
- Concevoir, développer et maintenir des pipelines ETL robustes et scalables.
- Implémenter l’architecture médaille (tables Bronze, Silver, Gold) dans Databricks.
- Développer des workflows d’ingestion batch et streaming à partir de sources variées.
- Réaliser la transformation des données à grande échelle via PySpark.
- Optimiser les pipelines Databricks (performances, coûts, fiabilité).
2. Orchestration & Intégration
- Concevoir et orchestrer les pipelines via Azure Data Factory.
- Mettre en place les Jobs Databricks batch et streaming.
- Assurer la gestion des environnements, clusters, notebooks et configurations Azure.
3. Qualité & Validation (QA Data)
- Concevoir et exécuter des cas de tests et plans de tests pour les pipelines data.
- Rédiger et exécuter des requêtes SQL avancées pour les contrôles de cohérence, qualité et validation.
- Utiliser Xray pour la gestion des campagnes de tests et le suivi qualité.
- Documenter les anomalies et assurer le suivi des correctifs.
4. Collaboration & Support
- Collaborer avec les équipes Data Science, BI, Développeurs et Product Owners.
- Fournir une expertise technique et mentorat pour les profils plus juniors.
- Garantir les bonnes pratiques de développement, sécurité et gouvernance cloud.
Profil recherché
- Minimum 5 ans d’expérience en Data Engineering.
- Expertise avancée en PySpark et pipelines big data.
- Maîtrise de Databricks, Azure Data Factory et architecture en médailles.
- Solide connaissance des bonnes pratiques DataOps.
- Excellentes compétences en SQL (analytique, optimisation, validations).
- Connaissance des frameworks de tests et gestion via Xray.
- Capacité à travailler dans un environnement agile et multi-projets.
- Bonus : Connaissances Azure Synapse, Delta Lake, CI/CD, Git, Terraform, gouvernance et sécurité des données.
Pourquoi rejoindre SQLI
- Environnement dynamique et innovant, au cœur des technologies de données.
- Projets d’envergure, pointe des technologies cloud et Big Data.
- Opportunités d’évolution et de formation continue.
- Cadre de travail flexible (mode hybride) et avantages attractifs.
Compétences techniques requises
- Data Engineering, Databricks, PySpark, Azure Data Factory, ETL, DataOps.
- SQL avancé, Xray, Azure Synapse, Delta Lake, CI/CD, Git, Terraform.
- Data Quality, Testing, Validation.
Ce poste est une occasion unique de contribuer à des projets de transformation digitale majeurs, de travailler avec des technologies de pointe et de développer vos compétences dans un environnement stimulant. Si vous êtes passionné par les données, la qualité et l’innovation, rejoignez SQLI et faites partie d’une équipe qui façonne l’avenir du digital.
