Avis et détails du produit Apache Beam

Beam est génial. Le traitement par lots et le traitement en flux sont gérés via les mêmes sémantiques/code. Il suffit de changer vos E/S, par exemple : base de données ou fichiers pour le traitement par lots, ou une file de messages pour les cas d'utilisation en flux. Avis collecté par et hébergé sur G2.com.

Les gens ont parfois des difficultés à apprendre. J'aimerais que ce soit plus facile pour eux. Avis collecté par et hébergé sur G2.com.

J'ai aimé la façon dont Beam offre une abstraction pour le paradigme distribué complexe en utilisant pCollection et Transforms, etc. De plus, son approche unifiée pour traiter à la fois le traitement par lots et le traitement en flux est unique et efficace. Avis collecté par et hébergé sur G2.com.

Au moment de faire le développement, j'ai trouvé que faire une opération de jointure n'était pas si simple et nous avons dû utiliser coGroupByKey pour cela, ce qui était un peu déroutant pour nous. Peut-être que fournir une abstraction aussi simple qu'une opération de jointure aiderait la communauté des utilisateurs. Peut-être que la communauté des développeurs a déjà fourni cette option, mais elle n'était pas disponible lorsque nous faisions notre cas d'utilisation. Avis collecté par et hébergé sur G2.com.

J'ai utilisé Apache Beam pour concevoir mon pipeline sur la plateforme Google Cloud. Mon expérience a été fluide. J'ai conçu pour des données par lots et en streaming. Avis collecté par et hébergé sur G2.com.

Manque de cours disponibles sur Apache Beam qui peuvent aider les débutants à apprendre Beam. Avis collecté par et hébergé sur G2.com.

En termes de capacités et de généralité, je pense qu'Apache Beam est actuellement le cadre le plus avancé et le plus flexible pour concevoir et mettre en œuvre des applications modernes intensives en données. Parfaitement capable de spécifier à la fois des calculs par lots et en streaming, et en termes de capacités de streaming, il offre vraiment beaucoup ! Il faut un certain temps pour se familiariser avec les API, mais après cela, ça se passe assez bien. Enfin, le support de divers moteurs d'exécution grâce à l'abstraction "runner" en fait un excellent choix lorsque la portabilité entre différentes plateformes, que ce soit sur site ou dans le Cloud, devient un facteur. Définitivement recommandé. Avis collecté par et hébergé sur G2.com.

Actuellement, les API ne sont pas exactement très conviviales. Avis collecté par et hébergé sur G2.com.

Mettez à jour fréquemment et prenez en charge plusieurs langues. Avis collecté par et hébergé sur G2.com.

Plus fastidieux pour déboguer le code de l'application. De plus, les journaux d'erreurs ne sont pas très informatifs. Avis collecté par et hébergé sur G2.com.

Ce que j'aime le plus chez Apache Beam, c'est la facilité d'utilisation lors de la définition de pipelines pour ETL à la fois en traitement par lots et en traitement de flux. Étant un logiciel open-source, Beam est l'un des outils les plus puissants disponibles. Avis collecté par et hébergé sur G2.com.

C'est un peu plus lent qu'Apache Flink car Beam est principalement classé dans les outils de base de données graphiques tandis que Flink est classé dans les outils de Big Data. De plus, il ne fournit pas d'interface utilisateur pour surveiller le statut des tâches, contrairement à Flink. Fonctionne assez bien pour les petites tâches ETL dans GCP plutôt que pour les grandes tâches qui impliquent beaucoup de traitement de flux. Flink est meilleur si votre cas d'utilisation doit gérer beaucoup de flux en même temps. Avis collecté par et hébergé sur G2.com.

Avec Apache Beam, les pipelines de traitement de données sont vraiment facilités. Nous l'avons utilisé au cours des 3 derniers mois et l'avons trouvé très réussi, en particulier pour le processus ETL des données que nous produisons. Avis collecté par et hébergé sur G2.com.

C'est bon pour les petits processus, mais pas conseillé pour les grands processus rationalisés. Avis collecté par et hébergé sur G2.com.

C'est un moteur de flux de travail open-source qui vous permet de coder votre logique de flux de travail de traitement des données. Il vous permet de traiter vos données par lots et par flux. Avis collecté par et hébergé sur G2.com.

Vous devriez apprendre la fonction de base de votre flux de travail en utilisant Java. Donc, cela prend du temps (cela dépend de votre courbe d'apprentissage). Avis collecté par et hébergé sur G2.com.

Apache Beam a une bonne fonctionnalité "Pardo" et "dofn" qui aide à écrire du code personnalisé et à réaliser des opérations parallèles puissantes. Avis collecté par et hébergé sur G2.com.

Apache Beam n'a que la connectivité Jdbc et après l'opération d'écriture, vous ne pouvez pas ouvrir à nouveau une nouvelle pcollection. Avis collecté par et hébergé sur G2.com.

Liberté de choisir vos propres environnements d'exécution. Cela offre une immense flexibilité aux développeurs. Avis collecté par et hébergé sur G2.com.

les instructions de déploiement et de production ainsi que les études de cas doivent être améliorées Avis collecté par et hébergé sur G2.com.