Spark SQL Bewertungen & Produktdetails

Erklärung zu RDD und wie wir alle Operationen in einem verteilten Worker-Knoten ausführen Bewertung gesammelt von und auf G2.com gehostet.

Sehr grundlegendes Niveau, es gab nicht viel darüber, wie man Spark mit anderen Datenquellen verbindet. Bewertung gesammelt von und auf G2.com gehostet.

Zwischenspeicherung

Verwendung temporärer Tabellen

Es kann auch für strukturierte Datenbanken verwendet werden Bewertung gesammelt von und auf G2.com gehostet.

Keine automatischen Optimierungstechniken

Hohe Lernkurve, bessere Dokumentation erforderlich Bewertung gesammelt von und auf G2.com gehostet.

Was mir an Spark SQL am meisten gefällt, ist, dass es einfach zu verwenden ist und wir problemlos normale SQL-Abfragen darauf anwenden können. Außerdem können wir es auch in einem PySpark-Notebook verwenden, indem wir %sql verwenden, nachdem wir das DataFrame als temporäre Tabelle registriert haben. Bewertung gesammelt von und auf G2.com gehostet.

Nicht unbedingt eine besondere Abneigung, manchmal habe ich Schwierigkeiten mit der Leistung und der Laufzeit der Zelle, wenn wir eine komplexe Abfrage ausführen, die viele Joins und andere Bedingungen enthält. Um dies zu reduzieren, verwende ich CTEs und teile die Abfrage in kleinere Teile auf. Bewertung gesammelt von und auf G2.com gehostet.

Spark SQL hat einige Fähigkeiten, die ich besonders mag:

Spark SQL ist ein bevorzugtes Produkt, weil Big-Data-Technologien so nahtlos damit interagieren.

Es hat eine hohe Effizienz und kann schnell eine große Menge an Daten verarbeiten.

Da seine Abfragesyntax der von Standard-SQL sehr ähnlich ist, wird das Erlernen einer neuen Sprache erleichtert. Bewertung gesammelt von und auf G2.com gehostet.

Mein Hauptkritikpunkt an Spark SQL sind seine Einschränkungen, die Latenzprobleme, kleinere Datei-Probleme und das Fehlen von Echtzeit-Datenverarbeitung umfassen. Apache Apex, eine alternative Lösung, hat bereits einige Probleme gelöst. Diese Probleme müssen jedoch bei Spark SQL gelöst werden, da eine Alternative akzeptabel ist, aber einige von Spark SQL bereitgestellte Funktionen bei Apex nicht verfügbar sind. Bewertung gesammelt von und auf G2.com gehostet.

Spark SQL ist nichts anderes als eine Abfragesprache, die dem Entwickler das Abrufen und Analysieren von Daten in HDFS ermöglicht. Spark SQL unterstützt sowohl die Indizierungsfunktionen als auch die Partitionierungsfunktionen, sodass die zu ladenden Daten in einer Weise angeordnet werden, dass sie leicht abgerufen und für die Analyse bereit sind. Spark Core bietet die Plattform oder das Terminal, auf dem wir unsere Abfragen schreiben und jede operationale Aufgabe ausführen können. So einfach zu lernen und umzusetzen. Bewertung gesammelt von und auf G2.com gehostet.

Spark Core unterstützt die Cache-Funktionen nicht, daher kann es keine Abfrageergebnisse oder eine Abfrage im Cache speichern, sodass jedes Mal, wenn ein Entwickler eine Abfrage durchführt, immer das Warehouse oder ein vollständiger Scan der Daten verwendet wird. Daher denke ich, dass es die Cache-Funktionen bieten sollte, damit die Berechnungskosten niedrig sind, wenn jemand das Spark-Framework verwendet. Bewertung gesammelt von und auf G2.com gehostet.

Da es hilft, eine große Anzahl von Datensätzen in verteilter Weise auszuführen. Spark SQL bietet eine Programmierabstraktion namens Data Frames und kann auch als verteilte SQL-Abfrage-Engine fungieren. Bewertung gesammelt von und auf G2.com gehostet.

Nichts dergleichen. Aber das Zusammenführen auf diese Weise ist schwierig, wenn Sie unausgeglichene Datensätze zusammenführen. Es entsteht ein stark verzerrter Datensatz, der für ein geeignetes Datenmodell nicht verwendet wird. Bewertung gesammelt von und auf G2.com gehostet.

Die Integration von SQL-Abfragen mit den Spark-Programmen ist eines der besten Merkmale. Die Geschwindigkeit der Verarbeitung großer Abfragen sowie die Optimierung des Speicherplatzes sind unübertroffen. Bewertung gesammelt von und auf G2.com gehostet.

Die Kosten des Werkzeugs sind im Vergleich zu dem, was es bietet, eher hoch. Wenn Sie im Intranet sind, könnte es ein Latenzproblem bei der Ausführung der Abfragen geben. Bewertung gesammelt von und auf G2.com gehostet.

Spark arbeitet effektiver im Vergleich zu anderen Datenbanken wie MySQL. Es kann mehr Daten laden im Vergleich zu anderen Datenbanken und ist besser beim Arbeiten mit großen Datensätzen. Bewertung gesammelt von und auf G2.com gehostet.

Ich würde nicht sagen, dass es ein Nachteil ist, aber die Premium-Version von Spark ist teurer im Vergleich zu anderen Datenbanken wie MySQL, SQLite, aber Spark SQL bietet ein erstklassiges Erlebnis. Bewertung gesammelt von und auf G2.com gehostet.

Das Beste ist, dass wir unsere Daten in Spark mit SQL-Code verarbeiten können. SparkSQL hat einen Catalyst-Optimierer, der den besten Ausführungsplan und DAG für die Ausführung in Spark erstellt. Bewertung gesammelt von und auf G2.com gehostet.

Es verwendet viel Speicher beim Verarbeiten der Daten, was zu Speicherproblemen führt. Bewertung gesammelt von und auf G2.com gehostet.

Spark SQL ist schneller, und zusätzliche Typinformationen machen es effizienter. Bewertung gesammelt von und auf G2.com gehostet.

Derzeit keine Unterstützung für Transaktionstabellen. Bewertung gesammelt von und auf G2.com gehostet.