Prefect est la réponse moderne aux frustrations d'Airflow. Définition des workflows en Python pur (décorateurs), déploiement simplifié, interface plus moderne. Prefect Cloud gère l'orchestration, le compute reste local ou dans le cloud.
Orchestration Python native sans YAML
Prefect permet de transformer n'importe quelle fonction Python en tâche orchestrée avec un simple décorateur @task, sans configuration YAML complexe, réduisant la courbe d'apprentissage.
Observabilité et retry automatique des pipelines
Prefect track l'état de chaque run en temps réel dans une UI, avec retry automatique configurable par tâche et notifications Slack/email en cas d'échec.
Déploiement de pipelines data sur Kubernetes
Via les work pools et workers Prefect, les équipes déploient des flows sur Kubernetes ou des agents cloud avec une gestion automatique de la scalabilité.
Tests et développement local des workflows
Prefect permet d'exécuter et de déboguer les flows localement avec le même code qu'en production, accélérant le développement et les tests des pipelines.
✓ Points forts
✗ Limites
✓ Fait pour vous si…
Data engineers Python cherchant une alternative plus agréable à Airflow. Pipelines ML et data science.
✗ Pas fait pour vous si…
Environnements avec investissement Airflow fort. Besoins de centaines d'opérateurs natifs.
Prefect Documentation & Tutorials
DocumentationPrefect
Orchestrating Python with Prefect
MOOCUdemy
Prefect Crash Course
DocumentationPrefect (YouTube)