Senior Data Engineer – plateformes Big Data et streaming

À propos du poste

Devoteam Maroc recherche un Senior Data Engineer pour concevoir, industrialiser et optimiser des plateformes de données massives, tant en batch qu’en temps réel, au sein d’environnements distribués basés sur Cloudera.

Missions principales

• Développer des pipelines de traitement de données massives en PySpark (batch et streaming).
• Mettre en place des flux temps réel avec Kafka et assurer l’ingestion via NiFi.
• Modéliser et optimiser les schémas NoSQL sur Cassandra et Hive.
• Intégrer et transformer des données provenant d’APIs, bases de données, streams et fichiers.
• Déployer des mécanismes de Data Quality, monitorer les traitements Spark et assurer la supervision en production.
• Industrialiser les développements via des chaînes CI/CD et documenter les flux et bonnes pratiques.
• Collaborer avec les équipes métiers, les Data Scientists et contribuer à la gouvernance des données.

Profil recherché

• Minimum 4 ans d’expérience dans des environnements distribués et architectures Big Data.
• Forte appétence pour les infrastructures on‑premise.
• Capacité à travailler en autonomie et à résoudre les incidents en production.

Compétences requises

• Maîtrise de PySpark, Spark (batch & streaming) et Python.
• Excellente connaissance de Kafka et NiFi.
• Expérience confirmée sur Cassandra et/ou Hive.
• Bonne compréhension de l’écosystème Hadoop/HDFS et de Cloudera.
• Compétences en CI/CD, data quality, monitoring et gouvernance des données.