Senior Data Engineer (H/F)

À propos du poste

Nous recherchons un Senior Data Engineer pour renforcer nos équipes Data et concevoir, industrialiser et optimiser des plateformes de données batch et temps réel au sein d’environnements distribués basés sur Cloudera.

Missions principales

• Développer des pipelines de traitement en PySpark et des flux temps réel via Kafka.
• Modéliser et optimiser les schémas Cassandra.
• Intégrer et transformer des données provenant de multiples sources (APIs, bases de données, streams, fichiers).
• Déployer des mécanismes de Data Quality, monitoring et alerting.
• Optimiser les traitements Spark (partitioning, tuning, formats).
• Assurer la supervision et la résolution des incidents en production.
• Industrialiser les développements via des chaînes CI/CD et documenter les flux.
• Contribuer à la gouvernance des données (catalogue, traçabilité, sécurité).

Profil recherché

• Minimum 4 ans d’expérience dans des environnements distribués et architectures Big Data.
• Bonne maîtrise de Spark/PySpark (batch & streaming) et de Python.
• Expérience avec Kafka (producers/consumers, partitions) et Cassandra (modélisation, optimisation).
• Solide connaissance de SQL et notions NoSQL.
• Connaissance d’un outil d’orchestration (Airflow, Luigi, Prefect).
• Familiarité avec les environnements Cloudera/Hadoop.
• Compétences en Git, CI/CD (GitLab CI) et pratiques DevOps/MLOps appréciées.

Compétences requises

• PySpark
• Python
• Kafka
• Cassandra
• SQL
• NoSQL
• Airflow (ou Luigi, Prefect)
• Cloudera / Hadoop
• Git
• CI/CD (GitLab CI)

Ce que nous offrons

• Projets stratégiques autour de la donnée.
• Accompagnement personnalisé pour le développement de compétences et certifications.
• Environnement de travail stimulant au sein d’une entreprise leader du Cloud, de la cybersécurité et de la Data en EMEA.