Dans le cadre de notre expansion continue dans le domaine des systèmes d’information et de l’innovation digitale, Novancy lance un appel à candidature pour un poste de Data Engineer freelance confirmé. Le projet, d’une durée de trois mois, est structuré en mode hybride, avec un engagement de deux jours par semaine sur site à Casablanca, afin de favoriser la collaboration directe avec les équipes locales tout en offrant la flexibilité du travail à distance.
Vous serez chargé de concevoir, développer et maintenir des pipelines de données robustes, capables de traiter des volumes importants et de garantir la qualité et la conformité des données. Vous devrez également assurer la mise en place d’une architecture de données évolutive, sécurisée et conforme aux meilleures pratiques de l’industrie.
Apache Airflow sera votre principal outil d’orchestration. Vous créerez des DAGs (Directed Acyclic Graphs) pour automatiser les tâches de collecte, de transformation et de chargement des données. Vous devrez gérer les dépendances, les retries, les alertes et les logs, tout en optimisant les performances et la résilience des workflows.
Great Expectations vous permettra de définir des attentes (expectations) sur les jeux de données, assurant ainsi la qualité et la cohérence des données à chaque étape du pipeline. Vous configurerez des tests automatisés qui s’exécutent en parallèle avec les tâches Airflow, garantissant que les données respectent les règles métier et les contraintes de conformité.
MinIO sera utilisé comme solution de stockage d’objets, offrant une compatibilité S3 et une haute disponibilité. Vous configurerez les buckets, les politiques d’accès et les stratégies de versioning, tout en assurant la sécurité et la performance du stockage.
Vous développerez des APIs RESTful pour exposer les données transformées aux applications internes et aux partenaires externes. FastAPI, grâce à sa performance et à son support natif de la documentation OpenAPI, sera votre framework de choix pour créer des endpoints rapides, sécurisés et bien documentés.
Vous conteneuriserez les services (Airflow, MinIO, FastAPI, etc.) à l’aide de Docker, en créant des images optimisées et en les orchestrant via Docker Compose pour un déploiement local et un test en environnement de staging.
Vous utiliserez VS Code comme IDE principal, bénéficiant de l’intégration d’extensions pour Python, Docker, Git, et des workflows d’assistance par IA (par exemple, GitHub Copilot ou équivalent) pour accélérer le développement et réduire les erreurs.
Vous êtes un Data Engineer confirmé, avec une expérience démontrée dans la mise en place de pipelines complexes. Vous maîtrisez Python, FastAPI, Docker, et avez une connaissance approfondie d’Apache Airflow et de Great Expectations. Vous êtes autonome, capable de travailler en mode freelance, et vous appréciez le travail hybride qui combine collaboration sur site et flexibilité à distance.
Le poste est basé à Casablanca, avec un mode hybride (2 jours sur site, 3 jours à distance). Vous travaillerez en étroite collaboration avec l’équipe locale, tout en bénéficiant de la flexibilité du travail à distance pour optimiser votre productivité.
Novancy est un leader dans les systèmes d’information et la consulting en gestion, offrant un environnement stimulant où l’innovation digitale est au cœur de nos projets. En rejoignant notre équipe, vous aurez l’opportunité de travailler sur des projets de pointe, d’utiliser des technologies modernes, et de contribuer à la transformation digitale de nos clients.
Pour postuler, veuillez soumettre votre CV et une lettre de motivation détaillant votre expérience avec les technologies mentionnées. Nous examinerons votre candidature et vous contacterons rapidement pour un entretien technique.
