Recensioni e Dettagli del Prodotto Spark SQL

Spiegazione su RDD e su come eseguiamo tutte le operazioni nel nodo di lavoro distribuito Recensione raccolta e ospitata su G2.com.

Livello molto basilare, non c'era molto su come collegare Spark con altre fonti di dati. Recensione raccolta e ospitata su G2.com.

Caching

Utilizzo di tabelle temporanee

Può essere utilizzato anche per database strutturati Recensione raccolta e ospitata su G2.com.

Nessuna tecnica di ottimizzazione automatica

Alta curva di apprendimento, è necessaria una documentazione migliore Recensione raccolta e ospitata su G2.com.

Quello che mi piace di più di Spark SQL è che è facile da usare e possiamo applicare facilmente le normali query SQL, e possiamo usarlo anche nel notebook PySpark utilizzando %sql registrando il dataframe come tabella temporanea. Recensione raccolta e ospitata su G2.com.

Non ho particolari antipatie, ma a volte ho difficoltà con le prestazioni e il tempo di esecuzione della cella se eseguiamo una query complessa che ha molte join e altre condizioni. Per ridurre questo, uso CTE e divido la query in parti. Recensione raccolta e ospitata su G2.com.

Spark SQL ha alcune capacità che mi piacciono particolarmente:

Spark SQL è un prodotto di riferimento perché le tecnologie di big data si interfacciano con esso in modo così fluido.

Ha un'elevata efficienza e può elaborare rapidamente una grande quantità di dati.

Grazie alla somiglianza della sua sintassi di query con quella del SQL standard, l'apprendimento di un nuovo linguaggio è reso più facile. Recensione raccolta e ospitata su G2.com.

Il mio principale problema con Spark SQL sono le sue limitazioni, che includono problemi di latenza, piccoli problemi con i file e la mancanza di elaborazione dei dati in tempo reale. Apache Apex, una soluzione alternativa, ha già risolto alcuni problemi. Tuttavia, questi problemi devono essere risolti in Spark SQL, poiché un'alternativa è accettabile, ma alcune funzionalità fornite da Spark SQL non sono disponibili con Apex. Recensione raccolta e ospitata su G2.com.

Spark SQL non è altro che un linguaggio di query che offre al sviluppatore la possibilità di recuperare e analizzare i dati in HDFS. Spark SQL supporta le funzionalità di indicizzazione così come le funzionalità di partizionamento, in modo che i dati che verranno caricati siano organizzati in modo tale da poter essere facilmente recuperati e pronti per l'analisi. Spark Core fornisce la piattaforma o il terminale dove possiamo scrivere le nostre query ed eseguire qualsiasi operazione. Così facile da imparare e implementare. Recensione raccolta e ospitata su G2.com.

Il core di Spark non supporta le funzionalità di cache, quindi non può memorizzare i risultati delle query o una query nella cache, quindi ogni volta che uno sviluppatore esegue una query utilizza sempre il magazzino o una scansione completa dei dati. Quindi, ritengo che dovrebbe offrire le funzionalità di cache in modo che il costo di calcolo sia ridotto quando qualcuno utilizza il framework Spark. Recensione raccolta e ospitata su G2.com.

Poiché aiuta a eseguire un gran numero di set di dati in modo distribuito. Spark SQL fornisce un'astrazione di programmazione chiamata Data Frames e può anche funzionare come un motore di query SQL distribuito. Recensione raccolta e ospitata su G2.com.

Niente di particolare.

Ma unirsi in questo modo è difficile se si stanno unendo set di dati sbilanciati.

Crea un grande set di dati distorto che non è adatto per un modello di dati adeguato. Recensione raccolta e ospitata su G2.com.

L'integrazione delle query SQL con i programmi Spark è una delle migliori caratteristiche. La velocità di elaborazione delle grandi query così come l'ottimizzazione dello spazio di archiviazione è impareggiabile. Recensione raccolta e ospitata su G2.com.

Il costo dello strumento è piuttosto elevato rispetto a ciò che offre. Se sei su intranet, potrebbe esserci un problema di latenza durante l'esecuzione delle query. Recensione raccolta e ospitata su G2.com.

Spark funziona in modo più efficace rispetto ad altri database come MySQL. Può caricare più dati rispetto ad altri database ed è migliore quando si lavora con grandi set di dati. Recensione raccolta e ospitata su G2.com.

Non direi che sia uno svantaggio, ma la versione premium di Spark è più costosa rispetto ad altri database come MySQL, SQLite, ma Spark SQL offre un'esperienza premium. Recensione raccolta e ospitata su G2.com.

La cosa migliore è che possiamo elaborare i nostri dati in Spark con codice SQL. SparkSQL ha un ottimizzatore catalyst che propone il miglior piano di esecuzione e DAG per eseguire in Spark. Recensione raccolta e ospitata su G2.com.

Utilizza molta memoria durante l'elaborazione dei dati, il che porta a problemi di esaurimento della memoria. Recensione raccolta e ospitata su G2.com.

Spark SQL è più veloce e le informazioni di tipo aggiuntive lo rendono più efficiente Recensione raccolta e ospitata su G2.com.

Al momento, nessun supporto per le tabelle delle transazioni Recensione raccolta e ospitata su G2.com.