Avis et détails du produit AWS Data Pipeline

Facile d'exécuter un travail Spark comme une étape dans le pipeline. La console AWS dispose d'une interface utilisateur de glisser-déposer pour construire le schéma du pipeline, et cela fonctionne très bien. Avis collecté par et hébergé sur G2.com.

Il y a certaines fonctionnalités manquantes. Je n'ai pas pu exécuter un travail à la demande, plutôt qu'un programme. Ne prend pas en charge plusieurs versions du même pipeline. Avis collecté par et hébergé sur G2.com.

Un moyen assez simple d'exécuter des tâches par lots, qu'il s'agisse d'ETL ou d'un autre type de tâche basée sur CRON. L'outil est assez personnalisable avec ce qui peut être fait (scripts shell arbitraires) et s'intègre bien avec S3 et EC2. Avis collecté par et hébergé sur G2.com.

Il y a des moments où quelque chose qui devrait simplement fonctionner est très difficile. Par exemple, l'AMI par défaut de l'instance EC2 était très très ancienne et donc, les outils installés dessus doivent tous être mis à jour avant d'être utilisés (comme l'AWS CLI). Tout peut être personnalisé, cependant, y compris l'image, mais cela prend un peu de temps pour fonctionner et peut être déroutant lorsque l'on débute. Cet exemple particulier a été résolu, mais il y en a d'autres qui sont similaires. Avis collecté par et hébergé sur G2.com.

service géré par Amazon pour déplacer des données d'une source à une autre très rapidement et de manière automatisée avec une haute disponibilité de manière fiable. nous pouvons modifier ou définir à quel moment nous devons l'exécuter et ne sommes facturés que lorsque nous l'utilisons, service très bon et géré par Amazon, très fiable, flexible et à faible coût à utiliser. Avis collecté par et hébergé sur G2.com.

parfois, le pipeline est bloqué en attente de dépendances, sinon tout est très bon dans ce service fourni par AWS. Avis collecté par et hébergé sur G2.com.

J'aime la façon dont AWS crée facilement des charges de travail de traitement de données complexes qui sont tolérantes aux pannes, répétables et hautement disponibles. Vous n'avez pas à vous soucier d'assurer la disponibilité des ressources, de gérer les dépendances entre les tâches, de réessayer les échecs transitoires ou les délais d'attente dans les tâches individuelles, ou de créer un système de notification de défaillance. AWS Data Pipeline vous permet également de déplacer et de traiter des données qui étaient auparavant enfermées dans des silos de données sur site. Avis collecté par et hébergé sur G2.com.

Le pipeline de données est parfois difficile à utiliser. La partie la plus difficile de l'utilisation du pipeline de données AWS est les messages d'erreur qui surviennent très facilement. Je n'aime pas le fait qu'il n'y ait pas de notifications temporelles, ce qui rend difficile l'utilisation complète de certaines fonctionnalités. Parfois, il est impossible de comprendre exactement quels sont les problèmes dans ce programme, et il est difficile de comprendre ce qui a exactement échoué puisque c'est un service d'Amazon. Avis collecté par et hébergé sur G2.com.

C'est un service très bon et bien géré fourni par Amazon pour déplacer les données d'une source à une autre avec une haute disponibilité et un processus fiable. Nous pouvons le configurer sur des sources de données et le modifier pour définir à quel intervalle nous avons besoin de l'exécuter, il fonctionne automatiquement et envoie les données. C'est un service très simple, facile à utiliser, flexible, fiable et peu coûteux. Avis collecté par et hébergé sur G2.com.

il a tous les avantages mais parfois le pipeline est bloqué en attendant un composant de dépendance. Sinon, c'est un service très utile et très bon. Avis collecté par et hébergé sur G2.com.

facilité d'utilisation avec l'interface utilisateur et le glisser-déposer Avis collecté par et hébergé sur G2.com.

Personnalisé ETL difficile à gérer et impliquait beaucoup de glisser-déposer. Avis collecté par et hébergé sur G2.com.

Le pipeline de données s'intègre très bien avec EMR, et il est facile de déployer des pipelines via CloudFormation, ce qui rend l'automatisation possible. Nous l'utilisons pour gérer des flux de travail MapReduce complexes et cela fonctionne généralement de manière assez fluide. Avis collecté par et hébergé sur G2.com.

Le fait qu'il soit en mode maintenance signifie que les bogues et les demandes de fonctionnalités ne sont pas traités de manière opportune. Avis collecté par et hébergé sur G2.com.

aws data pipeline est un service très bien géré et fiable qui nous aide à résoudre le service de données d'une source à une autre source et à résoudre les problèmes de filtrage de données, nous utilisons des problèmes de source de données et un service très utile. Avis collecté par et hébergé sur G2.com.

Son principal inconvénient est le coût et parfois les données restent bloquées dans le pipeline. Avis collecté par et hébergé sur G2.com.

amazon web service data pipeline est une fonctionnalité incroyable de l'AWS. c'est une grande commodité pour un data scientist. Avis collecté par et hébergé sur G2.com.

Je dirais qu'il n'y a rien à propos du pipeline de données d'Amazon Web Service que je n'aime pas. C'est un outil incroyable à utiliser. Avis collecté par et hébergé sur G2.com.

AWS Data Pipeline dispose d'un outil de conception basé sur une interface graphique qui facilite grandement la compréhension du flux de travail et la configuration de certains flux de travail complexes. Avis collecté par et hébergé sur G2.com.

La configuration des ressources prend un peu plus de temps à partir du pipeline de données directement. Dans mon cas, j'utilise un cluster Amazon EMR en conjonction avec une fonction Lambda. Lambda s'exécute rapidement, mais EMR prend beaucoup de temps à se configurer, même après que les ressources soient provisionnées et que le cluster soit prêt à accepter des tâches, la première tâche arrive au cluster très tard, presque 9 à 10 minutes de retard. Avis collecté par et hébergé sur G2.com.