Senior Data Engineer – Pipelines Cloudera & Spark

À propos du poste

inwi, opérateur digital global couvrant les services de télécommunications au Maroc, recrute un Senior Data Engineer au sein de sa direction Transformation Digitale & Data. Vous rejoindrez une équipe agile dédiée à la conception de produits Data pour les métiers de l'opérateur, dans un environnement distribué basé sur Cloudera CDH et Spark. Votre rôle consiste à construire et optimiser les pipelines de données, en assurant leur qualité, leur observabilité et leur fiabilité, et à collaborer avec les Product Owners et les équipes métiers.

Missions principales

• Concevoir, développer et optimiser des pipelines de données robustes et scalables sur une plateforme on-premise Cloudera CDH et Spark.
• Assurer la qualité des données en définissant et en implémentant des tests unitaires et de validation.
• Mettre en place des systèmes d'observabilité pour surveiller la qualité et la fiabilité des data assets.
• Gérer et optimiser l'orchestration des workflows avec Apache Airflow.
• Participer à la montée en compétence des data engineers de l'équipe, en partageant les bonnes pratiques.
• Collaborer avec les Product Owners pour comprendre les besoins d'analytique et valider la fiabilité des data assets avant publication.

Profil recherché

• Au moins 5 ans d'expérience dans la conception de plateformes de données et la mise en place de pipelines de données.
• Capacité à communiquer avec les Product Owners, les data engineers et les équipes de support.

Compétences requises

• Languages : Python (pandas, pytest, pandera, FastAPI), SQL, Scala/Java.
• Big Data : Hadoop, Spark, Hive, Impala.
• Orchestration et observabilité : Airflow, DBT, Docker, docker-compose, tests unitaires.
• CI/CD et versioning : GitLab.
• Nice-to-have : expérience avec le GenAI (RAG, LLM serving), cloud (AWS, GCP, Azure) et pratiques DevOps/MLOps.