Vous êtes passionné par la manipulation de données massives et vous maîtrisez les outils modernes de data engineering. Dans le cadre de ce projet, vous serez amené à :
- Conception de pipelines : Utiliser Apache Airflow pour orchestrer des tâches complexes, planifier des jobs, gérer les dépendances et surveiller les exécutions.
- Qualité des données : Implémenter des tests de qualité avec Great Expectations, automatiser les validations et produire des rapports détaillés.
- Stockage et gestion : Configurer et maintenir des buckets MinIO pour le stockage d’objets, assurer la réplication et la sauvegarde des données.
- Développement d’APIs : Créer des services RESTful robustes avec FastAPI, exposer des endpoints sécurisés, gérer l’authentification et la documentation Swagger.
- Conteneurisation : Dockeriser les applications, écrire des Dockerfiles, orchestrer les services avec Docker Compose, et déployer sur des environnements cloud ou on‑premise.
- Collaboration : Travailler avec les data scientists, les analystes métier et les chefs de projet pour transformer les besoins métier en solutions techniques.
- Meilleures pratiques : Suivre les standards de codage Python, appliquer le versioning Git, écrire des tests unitaires, et documenter les processus.
- Environnement de travail : Contrat freelance, travail hybride (2 jours sur site à Casablanca, 3 jours en télétravail), rémunération à négocier selon expérience.
Compétences requises :
- Langages : Python, FastAPI, REST APIs.
- Outils : Apache Airflow, Great Expectations, MinIO, Docker, Docker Compose.
- Environnements : VS Code, Git, CI/CD.
- Soft skills : esprit d’équipe, communication claire, autonomie.
Nous offrons un environnement stimulant, des projets à forte valeur ajoutée, et la possibilité de travailler sur des problématiques de données innovantes. Si vous êtes prêt à relever ce défi, rejoignez Novancy et contribuez à la transformation digitale de nos clients.