Avis et détails du produit Google Cloud Dataflow

La meilleure chose à propos de Dataflow est sa capacité entièrement gérée, ce qui signifie que nous n'avons pas besoin de gérer l'infrastructure et qu'il s'adapte facilement. Il offre également de nombreux modèles qui sont utiles pour les développeurs débutants et intermédiaires, et en plus de cela, ils peuvent facilement mettre à jour la configuration et le pipeline et peuvent traiter des pétaoctets de données. De plus, il prend en charge le SDK Yaml, ce qui élimine également les dépendances d'Apache Beam. Avis collecté par et hébergé sur G2.com.

Lorsque nous travaillons avec le traitement distribué, il est difficile d'obtenir une configuration correcte, surtout pour un nouvel utilisateur, c'est très complexe à mettre en place et la plupart du temps, cela coûte cher si ce n'est pas correctement configuré. Et comme cela ne prend en charge que Apache Beam, certains concepts sont très difficiles à comprendre. De plus, ils peuvent travailler sur la surveillance et la journalisation, parfois ce n'est pas clair. Avis collecté par et hébergé sur G2.com.

Google Cloud Dataflow est extrêmement facile à utiliser pour traiter un flux d'événements. Construire des pipelines de streaming complexes est simple et efficace avec Dataflow. Il offre une surveillance en temps réel du pipeline de streaming avec des métriques importantes telles que le débit, l'utilisation du CPU et de la mémoire. Il est facile à intégrer avec des sources et des puits de données tels que Cloud Pub-sub, Kafka et Cloud Spanner. Avis collecté par et hébergé sur G2.com.

C'est coûteux par rapport à d'autres solutions telles qu'Apache Flink. Difficile d'implémenter des filigranes. Avis collecté par et hébergé sur G2.com.

GCP Dataflow gère sans effort les tâches de big data, unifiant le code avec Apache Beam. C'est un joueur d'équipe de Google Cloud, excellant avec des services comme BigQuery. Avis collecté par et hébergé sur G2.com.

- peu de documentation et de ressources disponibles à ce sujet

Les complexités des coûts exigent de la vigilance, et les connecteurs externes peuvent nécessiter une attention personnalisée. Bien qu'il s'harmonise au sein du domaine de Google Cloud, la dépendance à l'écosystème peut ne pas convenir à ceux dans d'autres environnements cloud. Avis collecté par et hébergé sur G2.com.

Les flux de données en nuage vous permettent d'avoir un démon qui effectue l'ETL tout en offrant une observabilité de premier ordre. Avant cela, j'étais habitué à des tâches de longue durée avec une observabilité médiocre, ou à des outils à faible code ou sans code qui ne me permettaient pas de configurer les tâches comme je le souhaitais en utilisant du code. Dataflow me permet d'utiliser Apache Beam sur Python avec un grand effet pour créer une solution répétable et facilement surveillée. Avis collecté par et hébergé sur G2.com.

Les exemples de Python pourraient être beaucoup plus complets. De plus, le modèle de concurrence est difficile à comprendre, je rencontre parfois des contentions de verrouillage avec des instances DoFn s'exécutant simultanément et il n'est pas entièrement clair combien de threads concurrents traitent ma charge de travail. Avis collecté par et hébergé sur G2.com.

Google Cloud Dataflow optimise automatiquement et gère les ressources pour vous. Cette plateforme prend en charge plusieurs langages de programmation, y compris Python, Java et SQL, et facilite la tâche des développeurs en leur permettant de se concentrer sur l'écriture de code. Avis collecté par et hébergé sur G2.com.

Jusqu'à présent, je n'ai trouvé aucun inconvénient. J'adore cela et chaque mise à jour de cette plateforme me fait retomber amoureux. Avis collecté par et hébergé sur G2.com.

La tolérance aux pannes est la meilleure chose à propos du flux de données avec la facilité de lancer le travail et de surveiller. Avis collecté par et hébergé sur G2.com.

Le SDK Python semble moins évolué. L'intégration de Kafka pour Python n'est pas prête pour la production. Avis collecté par et hébergé sur G2.com.

Visualisations de vos nœuds, et des informations pendant l'exécution concernant le nombre de nœuds qui ont été lancés. Avis collecté par et hébergé sur G2.com.

Une fois que vous déclenchez une exécution, il n'y a aucun moyen de l'annuler/la tuer. Cela signifie que si vous remarquez des problèmes pendant l'exécution, vous êtes pratiquement coincé. Avis collecté par et hébergé sur G2.com.

J'aime vraiment Apache Beam, que j'utilise avec Dataflow. Cela fonctionne bien, sur Google Cloud, pour le traitement par lots et en flux. Le calcul fonctionne simplement, et permet à nos ingénieurs de données de faire avancer les choses. Avis collecté par et hébergé sur G2.com.

Il y a quelques années, une partie du marketing était exagérée. De nos jours, il est à la hauteur du battage médiatique. Je suis attristé que plus de gens ne l'utilisent pas, car c'est tellement puissant. Avis collecté par et hébergé sur G2.com.

L'interface utilisateur est très simpliste et les horaires et tâches peuvent être créés très facilement en parallèle. De plus, le support pour les modèles en Java et Python est incroyable. Avis collecté par et hébergé sur G2.com.

Le paramètre et les modèles sont très rigides et le débogage supplémentaire est difficile car les journaux ne sont pas très riches en informations. Si un pipeline échoue souvent, les erreurs et les journaux sont médiocres. Avis collecté par et hébergé sur G2.com.

Google Dataflow est excellent car il offre l'expérience la plus simple et la plus fluide pour charger des données, que ce soit en Batch ou en Streaming. Les meilleurs aspects sont :

1. Il fournit un traitement de Big Data 100% efficace ainsi qu'une migration de données facile.

2. Capacité à créer des applications personnalisées et à concevoir des API.

3. Son interface utilisateur conviviale pour les développeurs et son fonctionnement. Avis collecté par et hébergé sur G2.com.

Je pense que c'est l'une des meilleures plateformes pour travailler sur le Big Data mais le fait qu'il soit très difficile à comprendre. Même les guides d'aide et la documentation sont limités et la communauté n'est pas très grande. Je sais que dans les années à venir cela peut être résolu et j'espère que cela sera réalisé dès que possible. Avis collecté par et hébergé sur G2.com.