Apache Pig Bewertungen & Produktdetails

Apache Pig und seine Abfragesprache (Pig Latin) ermöglichten es uns, Datenpipelines mit Leichtigkeit zu erstellen. Die Sprache ist so konzipiert, dass sie die Art und Weise widerspiegelt, wie Datenpipelines entworfen werden, sodass sie überflüssige Daten verwirft, benutzerdefinierte Funktionen (UDFs) unterstützt und viel Kontrolle über den Datenfluss bietet. Bewertung gesammelt von und auf G2.com gehostet.

Schwein ist eine gierige Sprache und wird Daten erst auswerten, wenn sie tatsächlich benötigt werden. Daher sind Fehler nicht sichtbar, es sei denn, man versucht tatsächlich, die Daten auszugeben/zu drucken. Es gibt keine "Debug"-Funktionalität, um den Code in einem Trockenlaufmodus auszuführen. Bewertung gesammelt von und auf G2.com gehostet.

Was ich am meisten an Apache Pig mag, ist, wie effizient wir unsere komplexen MapReduce- oder Spark-Jobs schreiben können, ohne tiefgehende Kenntnisse in Java, Python oder Groovy zu haben. Außerdem ist es einfach, die Ausführung des Jobs mit Hilfe von Pig zu steuern. Bewertung gesammelt von und auf G2.com gehostet.

Was ich an Apache Pig nicht mag, ist, dass das Debuggen von Fehlern den Großteil der Entwicklungszeit in Anspruch nimmt, da es manchmal unreif/instabil sein kann. Auch die Support-Community ist im Vergleich zu der von Hadoop MapReduce oder Spark deutlich kleiner. Bewertung gesammelt von und auf G2.com gehostet.

Es kann einige der einfachen mathematischen Operationen durchführen, zusammen mit der Reduzierung der Daten. Die Aggregation der Daten ist äußerst nützlich. Das Ausführen von DateTime-Funktionalitäten in Apache Pig ist wirklich eine nützliche Funktion für schnellere Ergebnisse. Pig arbeitet mit Datensätzen von etwa 150 bis 180 GB pro Monat und reduziert sie effizient innerhalb von etwa 10 bis 12 Minuten. Ich würde Apache Pig jedem grundlegenden Programmierer im Bereich Verkehrstechnik empfehlen, insbesondere wenn man mit großen Datensätzen umgehen muss. Bewertung gesammelt von und auf G2.com gehostet.

Es kann keine sequentiellen Operationen ausführen, wie das Aufnehmen aufeinanderfolgender Zeilen und deren Vergleich. Der Workaround besteht jedoch darin, die Segmente zu bewerten, sie zusammenzuführen und dann die Aufgabe auszuführen. Der Hauptnachteil liegt immer noch in der Tatsache, dass es nicht verwendet werden kann, um Schleifen und verschachtelte Schleifen über beliebige Variable(n) auszuführen. Hive könnte aus diesem Grund in bestimmten Fällen eine bessere Wahl sein. Bewertung gesammelt von und auf G2.com gehostet.

Es ist einfach zu lernen und in die Produktion zu bringen. Es automatisiert wichtige MapReduce-Aufgaben in SQL-ähnliche Abfragen. Bewertung gesammelt von und auf G2.com gehostet.

- Nicht alle Aufgaben im Bereich Big Data können mit Pig erledigt werden. Bewertung gesammelt von und auf G2.com gehostet.

Benutzerfreundlichkeit und Vielfalt. Es ist leicht zu lesen. Bewertung gesammelt von und auf G2.com gehostet.

Es gibt andere Sprachen, die sich besser entwickelt haben als Pig. Bewertung gesammelt von und auf G2.com gehostet.

Weniger Anweisungen erledigen große Aufgaben des Sammelns, Ladens und Konsolidierens der Daten. Bewertung gesammelt von und auf G2.com gehostet.

Nicht genügend Werkzeuge zum Debuggen

Falsche/irreführende Ausnahmen Bewertung gesammelt von und auf G2.com gehostet.

Apache Pig ist ein 1st-Pass-Compiler, der am besten mit DAG arbeitet. Bewertung gesammelt von und auf G2.com gehostet.

Wenn Sie komplexe Strukturen verwenden möchten, ist es nicht der beste Weg. Bewertung gesammelt von und auf G2.com gehostet.

1. Benutzerfreundlichkeit, seine Leistung

2. MapReduce ist vollständig abstrahiert

3. Möglichkeit, mehrere MR-Jobs in ein einziges Pig-Skript zu verketten

4. Ermöglicht es Ihnen, schnell große Datenmengen zu verarbeiten, um einige Analysen durchzuführen Bewertung gesammelt von und auf G2.com gehostet.

1. Langsamer in der Leistung im Vergleich zu Spark

2. Weniger Unterstützung, z.B. erlaubt die Zeichenkettenverkettung nur 2 auf einmal, kann nicht innerhalb von Group BY sortieren und filtern, etc.

3. Kann keine anderen Eingabeformen wie CSV als Parquet lesen, was Spark kann

4. Fehlerbehandlung muss besser werden. Nicht einfach, UDFs zu debuggen Bewertung gesammelt von und auf G2.com gehostet.

- SQL-ähnliche Syntax

- leistungsstark und funktionsreich Bewertung gesammelt von und auf G2.com gehostet.

- Viel schwieriger zu verwenden als Hive

- braucht eine Weile, um sich daran zu gewöhnen und es zu lernen, im Vergleich zu Hive Bewertung gesammelt von und auf G2.com gehostet.

Erstellen von UDAFs einfach.

Verwaltbare und einfach zu schreibende Pig-Sprachen

können durch Python gestreamt und geskriptet werden im Vergleich zum Schreiben eines MR-Jobs. Bewertung gesammelt von und auf G2.com gehostet.

nicht so wirklich skalierbar wie das Schreiben eines MR-Jobs.

Joins sind einfach, aber nicht so einfach wie Hive-Abfragen.

handhabt Parquet nicht wirklich gut.

nicht so schnell und flexibel wie Spark. Bewertung gesammelt von und auf G2.com gehostet.