Recensioni e Dettagli del Prodotto Apache Pig

Apache Pig e il suo linguaggio di query (Pig Latin) ci hanno permesso di creare pipeline di dati con facilità. Il linguaggio è progettato per riflettere il modo in cui sono progettate le pipeline di dati, quindi scarta i dati superflui, supporta le funzioni definite dall'utente (UDF) e offre un grande controllo sul flusso dei dati. Recensione raccolta e ospitata su G2.com.

Essendo Pig un linguaggio avido, non valuterà i dati finché non saranno effettivamente necessari. Quindi, gli errori non sono visibili a meno che non si tenti effettivamente di scaricare/stampare i dati. Non esiste una funzionalità di "debug" per eseguire il codice in modalità di prova. Recensione raccolta e ospitata su G2.com.

Quello che mi piace di più di Apache Pig è quanto efficientemente possiamo scrivere qualsiasi dei nostri complessi lavori di map reduce o spark senza avere una conoscenza approfondita di Java, Python, Groovy. Inoltre, è facile controllare l'esecuzione del lavoro con l'aiuto di pig. Recensione raccolta e ospitata su G2.com.

Quello che non mi piace di Apache Pig è che il debug degli errori consuma la maggior parte del tempo di sviluppo, poiché a volte può essere immaturo/instabile. Inoltre, la comunità di supporto è molto più ridotta rispetto a quella dei problemi di Hadoop MapReduce o Spark. Recensione raccolta e ospitata su G2.com.

Può gestire alcune delle operazioni matematiche semplici, oltre a ridurre i dati. Aggregare i dati è estremamente utile. Eseguire funzionalità DateTime in Apache Pig è davvero una caratteristica utile per risultati più veloci e rapidi. Pig lavora su set di dati di circa 150 a 180 GB al mese e li riduce in modo efficiente in, diciamo, 10-12 minuti. Consiglierei sicuramente Apache Pig a qualsiasi persona con conoscenze di base di programmazione nel campo dell'ingegneria dei trasporti per iniziare a usare Apache Pig, specialmente quando è necessario gestire enormi set di dati. Recensione raccolta e ospitata su G2.com.

Non può eseguire operazioni sequenziali, come prendere righe consecutive e poi confrontarle. Tuttavia, la soluzione alternativa è classificare i segmenti, unirli e poi eseguire il compito. Il principale svantaggio risiede ancora nel fatto che non può essere utilizzato per eseguire cicli e cicli annidati su qualsiasi variabile. Hive potrebbe essere una scelta migliore in certi casi per questo motivo. Recensione raccolta e ospitata su G2.com.

È facile da imparare e da mettere in produzione. Automatizza importanti compiti di MapReduce in query simili a SQL. Recensione raccolta e ospitata su G2.com.

- Non tutti i compiti nel Big Data possono essere completati usando pig. Recensione raccolta e ospitata su G2.com.

Facilità d'uso e diversità. È facile da leggere Recensione raccolta e ospitata su G2.com.

Ci sono altre lingue sviluppate che hanno un vantaggio rispetto al maiale. Recensione raccolta e ospitata su G2.com.

Un minor numero di istruzioni svolge grandi compiti di raccolta, caricamento e consolidamento dei dati. Recensione raccolta e ospitata su G2.com.

Non ci sono abbastanza strumenti per il debug

Eccezioni errate/fuorvianti Recensione raccolta e ospitata su G2.com.

Apache Pig è un compilatore di primo passaggio, che dà il meglio di sé utilizzando DAG. Recensione raccolta e ospitata su G2.com.

Se vuoi approfondire e utilizzare strutture complesse, non è il modo migliore. Recensione raccolta e ospitata su G2.com.

1. Facilità d'uso, le sue prestazioni

2. MapReduce è completamente astratto

3. Capacità di concatenare più lavori MR in un singolo script Pig

4. Ti permette di elaborare rapidamente grandi quantità di dati per ottenere alcune analisi Recensione raccolta e ospitata su G2.com.

1. Più lento nelle prestazioni rispetto a Spark

2. Meno supporto, ad esempio la concatenazione di stringhe consente solo 2 alla volta, non è possibile ordinare e filtrare all'interno di Group BY, ecc.

3. Non può leggere altre forme di input come csv come parquet, cosa che Spark può fare

4. La gestione degli errori deve essere migliorata. Non è facile eseguire il debug delle UDF Recensione raccolta e ospitata su G2.com.

- Sintassi simile a SQL

- potente e ricco di funzionalità Recensione raccolta e ospitata su G2.com.

- Molto più difficile da usare rispetto a Hive

- ci vuole un po' di tempo per abituarsi e imparare rispetto a Hive Recensione raccolta e ospitata su G2.com.

creare UDAF facilmente.

gestibile e facile da scrivere linguaggi Pig

può essere trasmesso tramite Python e scriptato invece di scrivere un lavoro MR Recensione raccolta e ospitata su G2.com.

non è veramente scalabile come scrivere un lavoro MR.

le join sono facili, ma non così facili come le query hive

non gestisce bene parquet

non è veloce e flessibile come spark Recensione raccolta e ospitata su G2.com.