Recensioni e Dettagli del Prodotto Spark SQL

Parlando specificamente dei pochi punti migliori che mi piacciono di Spark SQL, sono i seguenti:

- È la scelta migliore per l'analisi dei big data in collaborazione con Hadoop.

- Fornisce un accesso rapido ai dati nei carichi di lavoro SQL.

- In Spark SQL, molti tipi di elaborazione dei dati possono essere utilizzati insieme.

- È facile integrare più fonti di dati - da Spark RDD a database esterni.

- Spark SQL supporta Map-reduce, query SQL, dati in streaming, apprendimento automatico (ML) e algoritmi grafici. Recensione raccolta e ospitata su G2.com.

La mia principale avversione sono le limitazioni di Spark SQL, tra cui problemi di latenza, problemi con file minori e l'assenza di elaborazione dati in tempo reale. Apache ha già risolto alcuni di questi problemi con una soluzione alternativa di Apache Apex. Tuttavia, questi problemi devono essere risolti in Spark SQL poiché un'alternativa va bene, ma alcune funzionalità che Spark SQL offre non sono disponibili con Apex. Recensione raccolta e ospitata su G2.com.

1. Interroga i big data con la sintassi SQL.

2. Esegui aggregazioni. Recensione raccolta e ospitata su G2.com.

Impostare un cluster Spark standalone è difficile. Recensione raccolta e ospitata su G2.com.

Una caratteristica che mi piace molto come persona incline al software è che Spark è open source. Questo mi permette di approfondire il suo valore più di altri software che sono là fuori e che svolgono gli stessi compiti. È anche estremamente robusto in termini di funzionalità come software. Ancora di più, questo framework e la versione SQL sono estremamente più veloci dei suoi concorrenti grazie al modo in cui elabora i dati. Spark utilizza questa idea chiamata modalità cluster e all'interno di essa utilizza l'elaborazione distribuita e consente al calcolo nei framework di funzionare interamente internamente. Un'altra grande caratteristica è la capacità di ottenere dati da molteplici fonti diverse. L'uso principale che posso vedere all'interno di questo framework è l'apprendimento automatico e l'IA quando si utilizzano grandi quantità di dati provenienti da più fonti. Consente la migliore combinabilità e capacità di elaborazione. Recensione raccolta e ospitata su G2.com.

Una cosa che non mi piace di questo software è che non c'è supporto per l'API del dataset nella versione Python di questo software. Il motivo per cui questo è un problema è che la maggior parte dei programmi di machine learning e AI che scrivo sono nel linguaggio Python, quindi senza quel supporto, è un grosso svantaggio per me personalmente. Funziona comunque, ma senza quella funzionalità, è una piccola delusione. In termini di altri linguaggi di programmazione, funziona alla grande. Un altro potenziale problema è l'incapacità di supportare più utenti contemporanei, il che può creare potenziali ostacoli nei grandi progetti. Recensione raccolta e ospitata su G2.com.

Capacità di gestire grandi quantità di dati e visualizzare il risultato nel minor tempo possibile. Recensione raccolta e ospitata su G2.com.

Notando. Non ho riscontrato alcun problema durante l'uso. Recensione raccolta e ospitata su G2.com.

Alcune caratteristiche che mi piacciono di più di Spark SQL sono:

- Spark SQL è così ben integrato con gli strumenti di big data che lo rende un prodotto di riferimento.

- Può elaborare una grande quantità di dati in pochi secondi, questa è l'efficienza.

- La sua sintassi di query è simile a quella del SQL regolare, il che riduce gli sforzi per imparare un nuovo linguaggio. Recensione raccolta e ospitata su G2.com.

Spark SQL richiede una grande quantità di RAM per elaborare i dati, il che comporta un consumo eccessivo di memoria. Inoltre, non possiamo creare una tabella in Spark per il tipo di unione. Recensione raccolta e ospitata su G2.com.

Fattibilità smd facile comprensione delle query costruite all'interno di sparksql Recensione raccolta e ospitata su G2.com.

Un'interfaccia utente non amichevole è molto insoddisfacente, deve essere migliorata. Recensione raccolta e ospitata su G2.com.

Spark SQL è un modulo di Spark per l'elaborazione di dati strutturati Recensione raccolta e ospitata su G2.com.

Nessun sistema di gestione dei file, costoso, criteri di finestra Recensione raccolta e ospitata su G2.com.

Il suo supporto è per accedere a diverse fonti di dati come Hive, Avro, Parquet, ORC, JSON e JDBC. Recensione raccolta e ospitata su G2.com.

Non supporta l'elaborazione in tempo reale. Recensione raccolta e ospitata su G2.com.

1. Possiamo scrivere la maggior parte degli script SQL per leggere i dati massivi

2. Sono supportate tutte le funzionalità SQL

3. La caratteristica che preferisco è usare SQL nel linguaggio Python e memorizzare i dati estratti nei data frame di Python

4. Le viste SQL sono un modo molto comodo per creare l'accesso ai dati dai data lake

5. Poiché Spark SQL utilizza i cluster Spark, è molto veloce eseguire le query relative all'estrazione dei dati

6. I notebook sono un modo più facile e comodo per scrivere il codice Recensione raccolta e ospitata su G2.com.

L'unico problema è creare tabelle o viste sopra i dati JSON dal data lake. E configurare il meta store esterno invece di aggiornare il metastore attuale. Recensione raccolta e ospitata su G2.com.

Consente di eseguire query Hadoop-Hive 10 volte più velocemente rispetto a MR. Permette di interrogare data frame in Python, Scala o Java utilizzando query in SQL. Recensione raccolta e ospitata su G2.com.

Non c'è nulla che non mi piaccia di Spark SQL. È il migliore per interrogare i big data in modo rapido. Recensione raccolta e ospitata su G2.com.