Senior Data Engineer (H/F)

À propos du poste

Dans le cadre du renforcement des équipes Data, Devoteam recherche un Senior Data Engineer capable de concevoir, industrialiser et optimiser des plateformes de données batch et temps réel au sein d’environnements distribués basés sur Cloudera.

Missions principales

• Développer des pipelines de traitement de données massives en PySpark (Batch et Real‑Time/Streaming).
• Mettre en place des flux temps réel via Kafka et assurer l’ingestion avec NiFi.
• Modéliser et optimiser les schémas NoSQL sur Cassandra et Hive.
• Intégrer et transformer des données provenant de multiples sources (APIs, bases, streams, fichiers).
• Déployer des mécanismes de Data Quality, optimiser les traitements Spark et assurer la supervision en production.

Profil recherché

• Environ 4 ans d’expérience dans des environnements distribués et architectures Big Data.
• Forte appétence pour les infrastructures On‑Premise.
• Maîtrise du traitement Batch et Streaming avec Spark/PySpark.
• Expérience confirmée sur Cassandra et/ou Hive.
• Très bonne maîtrise de Kafka et NiFi.

Compétences requises

• PySpark, Spark (Batch & Streaming)
• Kafka, NiFi
• Cassandra, Hive (NoSQL)
• Git, CI/CD (GitLab CI), Airflow/Luigi/Prefect
• Connaissances Hadoop/HDFS (nice‑to‑have)

Ce que nous offrons

• Projets stratégiques autour de la donnée.
• Accompagnement personnalisé pour le développement de compétences et certifications.
• Environnement stimulant, collaboratif et bienveillant.