AWS Data Pipeline Bewertungen & Produktdetails

Einfach, einen Spark-Job als Schritt in der Pipeline auszuführen. Die AWS-Konsole verfügt über eine Drag-and-Drop-Benutzeroberfläche zum Erstellen des Pipeline-Schemas, und sie funktioniert sehr gut. Bewertung gesammelt von und auf G2.com gehostet.

Es fehlen einige Funktionen. Ich konnte keinen Job auf Abruf ausführen, sondern nur nach einem Zeitplan. Unterstützt keine mehreren Versionen derselben Pipeline. Bewertung gesammelt von und auf G2.com gehostet.

Ein ziemlich einfacher Weg, um Batch-Jobs auszuführen, sei es ETLs oder eine andere Art von CRON-basiertem Job. Das Tool ist ziemlich anpassbar in Bezug auf das, was getan werden kann (beliebige Shell-Skripte) und integriert sich gut mit S3 und EC2. Bewertung gesammelt von und auf G2.com gehostet.

Es gibt Zeiten, in denen etwas, das einfach funktionieren sollte, sehr schwierig ist. Zum Beispiel war das Standard-AMI der EC2-Instanz sehr, sehr alt, und daher müssen alle darauf installierten Tools (wie die AWS CLI) aktualisiert werden, bevor sie verwendet werden können. Alles kann jedoch angepasst werden, einschließlich des Images, aber es dauert ein wenig Zeit, um es zum Laufen zu bringen, und kann verwirrend sein, wenn man gerade erst anfängt. Dieses spezielle Beispiel wurde gelöst, aber es gibt andere, die ähnlich sind. Bewertung gesammelt von und auf G2.com gehostet.

Verwalteter Dienst von Amazon, um Daten schnell und automatisiert von einer Quelle zu einer anderen zu verschieben, mit hoher Verfügbarkeit auf zuverlässige Weise. Wir können festlegen, zu welcher Zeit wir dies ausführen müssen, und werden nur belastet, wenn wir es nutzen. Sehr guter und verwalteter Dienst von Amazon, sehr zuverlässig, flexibel und kostengünstig zu verwenden. Bewertung gesammelt von und auf G2.com gehostet.

manchmal bleibt die Pipeline aufgrund von Abhängigkeiten stecken, ansonsten sind alle Dinge in diesem von AWS bereitgestellten Dienst sehr gut. Bewertung gesammelt von und auf G2.com gehostet.

Ich mag die Art und Weise, wie AWS komplexe Datenverarbeitungs-Workloads erstellt, die fehlertolerant, wiederholbar und hochverfügbar sind. Man muss sich keine Sorgen um die Sicherstellung der Ressourcenverfügbarkeit, das Management von Abhängigkeiten zwischen Aufgaben, das Wiederholen von vorübergehenden Fehlern oder Zeitüberschreitungen in einzelnen Aufgaben oder die Erstellung eines Fehlermeldesystems machen. AWS Data Pipeline ermöglicht es auch, Daten zu verschieben und zu verarbeiten, die zuvor in lokalen Datensilos eingeschlossen waren. Bewertung gesammelt von und auf G2.com gehostet.

Die Datenpipeline ist manchmal schwer zu nutzen. Der schwierigste Teil der Nutzung der AWS-Datenpipeline sind die Fehlermeldungen, die sehr leicht auftreten. Ich mag es nicht, dass es keine Zeitbenachrichtigungen gibt, was es schwierig macht, einige der Funktionen vollständig zu nutzen. Manchmal ist es unmöglich zu verstehen, was genau die Probleme in diesem Programm sind, und es ist schwierig zu verstehen, was genau fehlgeschlagen ist, da es sich um einen Amazon-Dienst handelt. Bewertung gesammelt von und auf G2.com gehostet.

Es ist ein sehr guter und verwalteter Dienst, der von Amazon bereitgestellt wird, um Daten von einer Quelle zur anderen mit hoher Verfügbarkeit und einem zuverlässigen Prozess zu übertragen. Wir können es auf Datenquellen einstellen und anpassen, in welchem Intervall wir es ausführen möchten, es funktioniert automatisch und sendet die Daten. Es ist sehr einfach, benutzerfreundlich, flexibel, zuverlässig und kostengünstig. Bewertung gesammelt von und auf G2.com gehostet.

Es hat alle Vorteile, aber manchmal bleibt die Pipeline aufgrund von Abhängigkeiten stecken. Ansonsten ist es sehr nützlich und ein sehr guter Service. Bewertung gesammelt von und auf G2.com gehostet.

Benutzerfreundlichkeit mit der Benutzeroberfläche und den Drag-and-Drop-Funktionen. Bewertung gesammelt von und auf G2.com gehostet.

Angepasste ETL schwer zu verwalten und beinhaltete viel Ziehen und Ablegen. Bewertung gesammelt von und auf G2.com gehostet.

Data Pipeline integriert sich sehr gut mit EMR, und es ist einfach, Pipelines über CloudFormation bereitzustellen, was Automatisierung möglich macht. Wir nutzen es, um komplexe Map-Reduce-Workflows zu verwalten, und es funktioniert normalerweise ziemlich reibungslos. Bewertung gesammelt von und auf G2.com gehostet.

Die Tatsache, dass es sich im Wartungsmodus befindet, bedeutet, dass Fehler und Funktionsanfragen nicht zeitnah bearbeitet werden. Bewertung gesammelt von und auf G2.com gehostet.

AWS Data Pipeline ist ein sehr gut verwalteter und zuverlässiger Dienst, der uns hilft, Daten von einer Quelle zu einer anderen zu übertragen und Probleme bei der Datenfilterung zu lösen. Wir verwenden Datenquellenprobleme und es ist ein sehr nützlicher Dienst. Bewertung gesammelt von und auf G2.com gehostet.

Sein Hauptnachteil ist der Preis, und manchmal bleiben Daten in der Pipeline stecken. Bewertung gesammelt von und auf G2.com gehostet.

Amazon Web Service Data Pipeline ist eine erstaunliche Funktion von AWS. Es ist eine großartige Annehmlichkeit für einen Datenwissenschaftler. Bewertung gesammelt von und auf G2.com gehostet.

Ich würde sagen, es gibt nichts am Amazon Web Service Data Pipeline, das mir nicht gefällt. Es ist ein erstaunliches Werkzeug. Bewertung gesammelt von und auf G2.com gehostet.

AWS Data Pipeline verfügt über ein GUI-basiertes Design-Tool, das es sehr einfach macht, den Workflow zu verstehen und einige der komplexen Workflows einfach zu konfigurieren. Bewertung gesammelt von und auf G2.com gehostet.

Ressourcen benötigen etwas mehr Zeit für die Einrichtung aus der Datenpipeline direkt. In meinem Fall verwende ich einen Amazon EMR-Cluster in Verbindung mit einer Lambda-Funktion. Lambda läuft schnell, aber EMR benötigt viel Zeit für die Einrichtung, selbst nachdem die Ressourcen bereitgestellt sind und der Cluster bereit ist, Jobs anzunehmen, kommt der erste Job sehr spät beim Cluster an, fast 9-10 Minuten zu spät. Bewertung gesammelt von und auf G2.com gehostet.