Data Engineer – Conception de pipelines sur Azure

À propos du poste

Le Data Engineer (H/F) assure la collecte, le traitement et le stockage des données sur la plateforme Cloud Azure. Il conçoit et optimise des pipelines de données afin de répondre aux besoins des équipes métiers et des projets data.

Missions principales

• Concevoir, développer et maintenir des pipelines ELT pour l’extraction, le chargement et la transformation des données.
• Créer et gérer des bases de données et des entrepôts de données, tant relationnels que non relationnels.
• Implémenter l’architecture de données et les modèles de stockage sur Azure.
• Automatiser les processus de gestion des données pour améliorer l’efficacité et la productivité.
• Optimiser les performances des pipelines et garantir un traitement efficace des volumes importants.
• Assurer la sécurité et la protection des données sensibles.
• Collaborer avec les métiers, Data Scientists, Data Analysts et développeurs pour soutenir les initiatives data.
• Documenter les processus, les normes et les bonnes pratiques liées à la donnée.

Profil recherché

• Bac+5 d’une école d’ingénierie.
• Minimum 2 ans d’expérience en data engineering ou poste similaire.
• Capacité à travailler en équipe et à communiquer avec les parties prenantes.

Compétences requises

• Bonne connaissance des services Data sur Azure.
• Maîtrise des langages Python et SQL.
• Expérience avec les outils Big Data : Hadoop, Spark, Kafka.
• Compétences en conception et développement de pipelines ELT.
• Modélisation de données et gestion des schémas.
• Connaissance des bases de données relationnelles et non relationnelles.