Recensioni e Dettagli del Prodotto Apache Sqoop

Apache è molto utile nell'estrazione di grandi set di dati in tempi minimi. Può essere integrato e implementato con molte applicazioni simili dove i big data sono coinvolti con uso frequente. Recensione raccolta e ospitata su G2.com.

A volte la query richiede più tempo nell'esecuzione quando sono coinvolti molti join o left outer join o altri join con filtri aggiuntivi nella condizione where. Il fallimento durante l'importazione parziale è avvenuto in una query lunga. Recensione raccolta e ospitata su G2.com.

La semplicità con cui lo strumento può essere utilizzato fin dall'inizio con una configurazione minima in un ambiente distribuito e la breve curva di apprendimento. Recensione raccolta e ospitata su G2.com.

Il logging sembrava essere qualcosa con cui ho personalmente lottato per identificare anomalie nei dati quando si trattava di movimento dei dati nei miei casi d'uso. Recensione raccolta e ospitata su G2.com.

Il trasferimento dei dati avviene in parallelo, rendendolo veloce ed economico. Recensione raccolta e ospitata su G2.com.

Il fallimento durante l'importazione e l'esportazione parziale necessita di un trattamento speciale. Recensione raccolta e ospitata su G2.com.

Le importazioni incrementali sono più utili in sqoop Recensione raccolta e ospitata su G2.com.

a volte, quando lo stesso database viene utilizzato per altre applicazioni aziendali e le mie query coinvolgono più join, le prestazioni ne risentono Recensione raccolta e ospitata su G2.com.

La cosa migliore è che esegue il trasferimento dei dati in parallelo. Consente di trasferire i dati da una varietà di database strutturati. Ha una grande comunità di supporto. Recensione raccolta e ospitata su G2.com.

Sotto il cofano utilizza MapReduce, che richiede tempo anche per il trasferimento di dati di piccole dimensioni. Implementare la cattura dei dati modificati e i carichi incrementali è piuttosto complesso. Non può essere messo in pausa e ripreso. Recensione raccolta e ospitata su G2.com.

Trasferimento dei dati strutturali tra RDBMS e Cluster Recensione raccolta e ospitata su G2.com.

È un po' difficile rintracciare il registro degli errori Recensione raccolta e ospitata su G2.com.

La cosa migliore di Apache Sqoop è che offre una configurazione semplice per ottenere i dati in tempo reale dal sistema sorgente. Recensione raccolta e ospitata su G2.com.

La cosa che non mi è piaciuta di Apache Sqoop è che una volta che la pipeline è interrotta, è difficile recuperare i messaggi persi. Recensione raccolta e ospitata su G2.com.

L'uso è molto semplice. È molto intuitivo. Non è necessario scrivere molte righe di codice per ottenere i dati dal database o scrivere di nuovo nel database. Recensione raccolta e ospitata su G2.com.

Non c'è nulla che io possa vedere al momento. Se otteniamo supporto per il passaggio ai database NoSQL, sarebbe fantastico. Recensione raccolta e ospitata su G2.com.

La semplicità e l'efficacia dell'applicazione conquistano il mio cuore. Inoltre, il design incentrato sull'utente è fantastico. Sto usando Sqoop per importare dati da datastore esterni nel Hadoop Distributed File System o in ecosistemi Hadoop correlati come Hive e HBase. Il miglior vantaggio è quanto sia facile da usare e quanto sia veloce. Sqoop può facilmente integrarsi con Hadoop e scaricare dati strutturati da database relazionali su HDFS, completando la potenza di Hadoop. Questo è il motivo per cui la certificazione Big Data e Hadoop richiede una solida conoscenza di Apache Sqoop e Flume. Recensione raccolta e ospitata su G2.com.

Non ho davvero trovato nulla che non mi piacesse, ma se in futuro lo facessi, mi piacerebbe condividerlo. Ci sono alcuni problemi nell'utilizzo di Sqoop che mi hanno infastidito inizialmente ma sono facili da gestire:

Connettore Sqoop:

Problema:

Uso di un connettore errato per il database da connettere durante l'esportazione o l'importazione con Sqoop.

Driver mancante o uso del nome corretto del driver della rispettiva classe JDBC per il comando Sqoop.

Nome del gestore di connessione mancante in alcuni casi del comando Sqoop.

Approccio errato nel fornire la password o il nome utente del database da connettere.

Il formato dei dati memorizzati nelle tabelle HDFS/Hive può creare problemi. Ci sono alcuni formati come i file ORC che non permettono il trasferimento diretto dei dati utilizzando Sqoop.

Nomi non corrispondenti o errati delle colonne delle tabelle di origine e destinazione dove viene utilizzato HCatalog nel comando Sqoop possono mostrare un lavoro Sqoop riuscito senza che i dati vengano trasferiti. Recensione raccolta e ospitata su G2.com.

Replica di un database relazionale su HDFS per lavori MR Recensione raccolta e ospitata su G2.com.

I dati dovevano essere reimportati ogni volta che venivano modificati. Recensione raccolta e ospitata su G2.com.