Avis et détails du produit Apache Airflow

Pour moi, la fonctionnalité qui se démarque est définitivement l'interface Web. En tant qu'ingénieur de données, je me retrouve souvent à résoudre des problèmes, et la vue en grille dans Airflow rend remarquablement simple l'identification exacte de l'endroit où un pipeline a échoué. Je peux rapidement accéder aux journaux pour n'importe quelle tâche spécifique et déterminer ce qui a mal tourné en quelques secondes. Ce niveau de transparence est quelque chose que les tâches cron traditionnelles ou les scripts de base n'offrent tout simplement pas. Avoir un tableau de bord central pour tous vos flux de travail procure vraiment une tranquillité d'esprit. Avis collecté par et hébergé sur G2.com.

Le principal défi est la facilité de mise en œuvre pour les débutants. Mettre en place l'infrastructure (comme le serveur web, le planificateur et la base de données) nécessite une bonne dose de connaissances en DevOps, ce qui peut être un obstacle pour une petite équipe.

Étant donné qu'il est open-source, vous n'avez pas de support client traditionnel, vous dépendez donc fortement de la communauté. Bien que la communauté soit active, la documentation peut parfois être un peu écrasante lorsque vous essayez de résoudre un problème de configuration très spécifique. C'est un outil puissant, mais la facilité d'utilisation du point de vue de l'installation pourrait certainement être améliorée. Avis collecté par et hébergé sur G2.com.

l'ensemble du processus est très extensible, car il y a tellement d'utilisateurs, nous avons beaucoup d'opérateurs/plugins intégrés. L'interface utilisateur est très propre et intuitive. Avis collecté par et hébergé sur G2.com.

Je ne pense pas qu'il y ait une fonctionnalité où nous pouvons regarder les journaux de tous les travaux en un seul endroit. Disons que nous avons 20-30 étapes, donc nous devons aller à chaque étape et vérifier les journaux. Je voudrais donc que tous les journaux soient consolidés. Avis collecté par et hébergé sur G2.com.

J'aime les DAGs clairs d'Apache Airflow car ils rendent les flux de travail faciles à comprendre et à maintenir. La fonctionnalité de planification garantit que les pipelines s'exécutent automatiquement sans effort manuel, ce qui est vraiment utile. J'apprécie également les tentatives de réexécution et la surveillance, car elles aident à détecter et à récupérer rapidement des échecs. De plus, sa scalabilité est un avantage significatif, me permettant de gérer de manière fiable des charges de travail de données croissantes, rendant Airflow fiable pour les pipelines de production. Dans l'ensemble, ces fonctionnalités améliorent vraiment mon expérience avec Apache Airflow. Avis collecté par et hébergé sur G2.com.

Certaines choses dans Apache Airflow ne fonctionnent pas très bien pour moi. L'installation et la configuration initiale sont un peu complexes et prennent du temps. L'interface utilisateur semble parfois lente lorsque beaucoup de DAGs sont en cours d'exécution. Déboguer les tâches échouées n'est pas toujours clair, les journaux sont dispersés. De plus, les mises à niveau de version peuvent casser les DAGs existants, la compatibilité rétroactive devrait être meilleure. Avis collecté par et hébergé sur G2.com.

Apache Airflow rend incroyablement facile la conception, la planification et la surveillance de flux de travail complexes en utilisant Python. J'aime la façon dont il permet de construire des DAGs de manière très lisible et modulaire, ce qui aide à gérer des pipelines de données à grande échelle. L'interface utilisateur est intuitive et offre une visibilité complète sur l'exécution des tâches, les réessais et les journaux. Sa capacité à s'intégrer parfaitement avec les bases de données, les fournisseurs de cloud et les services externes le rend très flexible pour des cas d'utilisation réels. Le support de la communauté et les plugins disponibles facilitent également l'extension des fonctionnalités selon les besoins. Le support client est également bon. Avis collecté par et hébergé sur G2.com.

Airflow peut être un peu difficile à installer et à configurer au départ, surtout lors du déploiement en production avec plusieurs travailleurs et planificateurs. La gestion des ressources et la mise à l'échelle nécessitent parfois des ajustements supplémentaires, et le débogage peut être compliqué pour les nouveaux utilisateurs. La courbe d'apprentissage est plus raide par rapport à certains autres outils d'orchestration, et l'interface utilisateur, bien que utile, pourrait être plus moderne et réactive. Cependant, une fois configuré, il devient stable et très fiable. Avis collecté par et hébergé sur G2.com.

J'utilise Apache Airflow pour la gestion et la surveillance des flux de projet. Je trouve que son interface utilisateur basée sur le web et ses fonctionnalités de script en Python sont précieuses, ce qui facilite le développement et la conception des flux de processus. Python, en tant que langage de script, est plus convivial que d'autres langages complexes, ce qui aide à écrire des organigrammes complexes mieux qu'avec des langages traditionnels. Avis collecté par et hébergé sur G2.com.

Le processus d'installation d'Apache Airflow est assez complexe et fortement dépendant de PIP, ce qui le rend très difficile à gérer sur des serveurs bloqués par la cybersécurité. La configuration initiale est difficile, surtout dans un environnement basé sur un proxy, car elle nécessite de nombreuses autorisations et installations manuelles. Avis collecté par et hébergé sur G2.com.

Ce que j'aime le plus chez Apache Airflow, c'est sa flexibilité et ses puissantes capacités de planification. En tant que développeur, je peux concevoir des flux de travail complexes sous forme de code en utilisant Python, ce qui facilite le contrôle de version et la collaboration avec les coéquipiers. L'interface utilisateur est intuitive pour surveiller les exécutions de DAG et résoudre les problèmes, et le vaste écosystème d'intégrations d'Airflow me permet de me connecter à presque n'importe quel outil ou base de données. Avis collecté par et hébergé sur G2.com.

La courbe d'apprentissage est assez raide, en particulier lors de la configuration du planificateur et de la gestion des dépendances des tâches. Parfois, l'interface web d'Airflow semble lente, et le dépannage des problèmes peut devenir compliqué avec des DAGs complexes. De plus, bien qu'il y ait beaucoup d'intégrations, maintenir les dépendances compatibles lors des mises à jour n'est pas toujours facile. Avis collecté par et hébergé sur G2.com.

Airflow améliore l'observabilité des pipelines - à la fois des processus et des données - au plus haut niveau.

Il permet la distribution de l'exécution des pipelines parmi une équipe de parties prenantes ayant des niveaux techniques variés dans un environnement sûr et convivial. Avis collecté par et hébergé sur G2.com.

L'installation, la configuration et l'exécution ne sont pas simples, et un certain ajustement est nécessaire. Avis collecté par et hébergé sur G2.com.

Ce que j'aime le plus chez Apache Airflow, c'est la façon dont il me permet d'orchestrer des pipelines de données complexes de manière très structurée. Dans la planification de la demande de la chaîne d'approvisionnement, nous traitons de multiples sources de données – ventes, inventaire, production, voire des signaux externes comme les jours fériés ou la météo. Airflow facilite la planification, la surveillance et la réexécution de ces flux de travail sans trop de tracas manuels. J'apprécie également la visibilité qu'il offre à travers l'interface utilisateur, cela aide à détecter rapidement quand une tâche échoue et pourquoi. Pour moi, cela permet de gagner beaucoup de temps par rapport à l'écriture de scripts ad hoc et de tâches cron. Avis collecté par et hébergé sur G2.com.

Parfois, Airflow peut sembler un peu lourd, surtout lors de la première configuration. Pour des flux de travail plus petits, cela peut presque sembler excessif, mais dans les projets de planification de la chaîne d'approvisionnement plus importants, cela en vaut la peine. L'interface utilisateur est bonne mais peut être lente lorsque vous avez trop de DAGs en cours d'exécution. De plus, la courbe d'apprentissage n'est pas triviale – il faut un certain temps pour se familiariser avec les opérateurs, les connexions et la gestion des backfills. J'aimerais aussi que la documentation contienne plus de cas d'utilisation réels de la chaîne d'approvisionnement au lieu de simples exemples génériques d'ETL. Avis collecté par et hébergé sur G2.com.

La configuration des pipelines ETL et l'orchestration des flux de travail sont simples, grâce à la large gamme d'intégrations disponibles avec presque toutes les sources de données et applications d'entreprise. Avis collecté par et hébergé sur G2.com.

Bien qu'il existe une large gamme d'intégrations possibles, le planificateur intégré n'est pas particulièrement avancé en ce qui concerne la gestion des exigences de planification complexes. Avis collecté par et hébergé sur G2.com.

Apache Airflow est très utile pour orchestrer des flux de travail complexes. J'aime vraiment l'orchestration de flux de travail basée sur DAG, cela m'a aidé à décomposer de grandes tâches en tâches plus petites, ce qui a facilité le débogage. Ce que je préfère dans Airflow, c'est son mécanisme de réessai. Si je veux exécuter une tâche spécifique d'un DAG ou si un DAG échoue à une tâche particulière, je peux simplement réessayer à la tâche spécifique au lieu de relancer tout le DAG depuis le début, ce qui m'a vraiment fait gagner beaucoup de temps. Une autre excellente chose à propos d'Airflow est son approche de DAG dynamique. Lorsqu'il est nécessaire de créer plusieurs DAGs similaires, nous pouvons créer un modèle spécifique et utiliser ce modèle pour tous les DAGs similaires, ce qui est vraiment une fonctionnalité incroyable. Cela m'a beaucoup aidé et a réduit l'écriture manuelle. J'utilise Airflow depuis un an et je pense qu'Airflow est la meilleure plateforme pour l'orchestration des flux de travail. Le support client est très réactif et utile. Avis collecté par et hébergé sur G2.com.

Il n'y a pas de documentation adéquate pour certains opérateurs, ce qui rend difficile pour les nouveaux utilisateurs. Avis collecté par et hébergé sur G2.com.