Avis et détails du produit Google Cloud Dataflow

Dataflow peut facilement s'adapter automatiquement à plusieurs instances s'il traite beaucoup de données. Avis collecté par et hébergé sur G2.com.

Il est parfois difficile de déboguer un problème dans votre pipeline. Avis collecté par et hébergé sur G2.com.

C'est une offre basée sur PaaS qui repose sur l'open source. Elle peut également être utilisée pour traiter des flux de données et des données par lots. Cela prend seulement quelques minutes à quelques heures pour déplacer une grande quantité de données vers la base de données des utilisateurs. Avis collecté par et hébergé sur G2.com.

le déploiement initial était risqué et a rencontré quelques problèmes

Un excellent outil pour déplacer une grande quantité de données, mais une documentation médiocre a rendu l'implémentation une expérience problématique Avis collecté par et hébergé sur G2.com.

Dans le backend, l'outil utilise le cadre Apache Beam. Les pipelines peuvent être lancés localement en utilisant DirectRunner et facilement sur les machines Google Cloud. Parcourir les journaux et déboguer est bien. Suivre l'état des travaux de pipeline est excellent, et il est facile de consulter les journaux de débogage de chaque étape en utilisant l'interface utilisateur. Avis collecté par et hébergé sur G2.com.

Il est difficile de commencer pour les débutants. Mais avec plus de pratique et d'expérience, Dataflow est un bon outil pour les pipelines de données en streaming et par lots. La documentation pourrait être un peu meilleure. Avis collecté par et hébergé sur G2.com.

Dataflow est basé sur Apache Beam. Sa bibliothèque est assez facile à comprendre. Vous pouvez être opérationnel assez rapidement. Avis collecté par et hébergé sur G2.com.

Il n'y a rien que je n'aime pas à propos de Dataflow. Avis collecté par et hébergé sur G2.com.

Cloud Dataflow offre un traitement sans serveur pour gérer le Big Data. Il peut traiter des millions d'enregistrements sous n'importe quelle forme, qu'il s'agisse d'événements ou de lots, et possède un excellent débit. Avec les différents SDK qu'il propose, comme Python, Java, etc., il est également très convivial pour les développeurs. Avis collecté par et hébergé sur G2.com.

Rien de vraiment important. Il faut ajouter certaines fonctionnalités au SDK Python comme en Java, mais cela se fera au fur et à mesure que le produit évolue. Avis collecté par et hébergé sur G2.com.

Cet outil est basé sur le célèbre framework Apache Beam et peut être utilisé localement ou sur un exécuteur interne GCP dans le cloud GCP. Il dispose d'un excellent ensemble d'instruments pour travailler avec les données en flux et les données par lots de manière très rapide. Il est très facile de lancer un pipeline et de suivre la progression du travail. Bien plus puissant et facile que Dataproc avec Spark natif. Avis collecté par et hébergé sur G2.com.

Documentation pas très claire. Vous devriez beaucoup vous entraîner avec cela pour comprendre la configuration pour votre cas particulier. Avis collecté par et hébergé sur G2.com.

Google Dataflow, basé sur Apache Beam, est un moyen efficace et économique de faire de l'ETL de données dans Bigquery de Google en utilisant Java ou Python. Le chargement des données peut être effectué par lots ou en streaming, ce qui est pratique car vous pouvez répondre à vos besoins actuels en matière de traitement par lots et laisser la porte ouverte à un futur streaming. Avis collecté par et hébergé sur G2.com.

La version Python est assez en retard par rapport à Java et il y a une courbe d'apprentissage assez importante. Je ne la considérerais pas comme « clé en main ». Avis collecté par et hébergé sur G2.com.

La capacité d'automatiser le déplacement de vos données vers différents services de stockage Google. Voir le transfert de vos données en temps réel est excellent pour communiquer avec les clients. Avis collecté par et hébergé sur G2.com.

Je voudrais que Cloud Dataflow ait sa propre API qui pourrait être utilisée soit par une application tierce, soit par Google Cloud Functions. Si ces fonctionnalités sont déjà disponibles, elles devraient être mieux documentées. Avis collecté par et hébergé sur G2.com.

il est facile de développer dans Eclipse et d'exécuter depuis une machine locale ou sur le cloud Avis collecté par et hébergé sur G2.com.

pendant le test, il a utilisé seulement un nœud plusieurs fois et c'était frustrant Avis collecté par et hébergé sur G2.com.

C'est une plateforme hyper-extensible pour faire ETL pour mon flux de travail et facile à utiliser. Avis collecté par et hébergé sur G2.com.

Cela prend du temps pour démarrer des machines virtuelles pour Google Dataflow. Avis collecté par et hébergé sur G2.com.