Apache Pig Reseñas y Detalles del Producto

Apache Pig y su lenguaje de consulta (Pig Latin) nos permitieron crear flujos de datos con facilidad. El lenguaje está diseñado para reflejar la forma en que se diseñan los flujos de datos, por lo que descarta datos innecesarios, admite funciones definidas por el usuario (UDFs) y ofrece mucho control sobre el flujo de datos. Reseña recopilada por y alojada en G2.com.

El lenguaje Pig, al ser un lenguaje codicioso, no evaluará los datos hasta que realmente se necesiten. Por lo tanto, los errores no son visibles a menos que realmente intentes volcar/imprimir los datos. No hay una funcionalidad de "depuración" para ejecutar el código en un modo de prueba. Reseña recopilada por y alojada en G2.com.

Lo que más me gusta de Apache Pig es lo eficientemente que podemos escribir cualquiera de nuestros trabajos complejos de map reduce o spark sin tener un conocimiento profundo de Java, Python, Groovy. Además, es fácil controlar la ejecución del trabajo con la ayuda de pig. Reseña recopilada por y alojada en G2.com.

Lo que no me gusta de Apache Pig es que la depuración de errores consume la mayor parte de su tiempo de desarrollo, ya que a veces puede ser inmaduro/inestable. Además, la comunidad de soporte es mucho menor en comparación con la de Hadoop MapReduce o Spark. Reseña recopilada por y alojada en G2.com.

Puede manejar algunas de las operaciones matemáticas simples, junto con la reducción de los datos. Agregar los datos es extremadamente útil. Ejecutar funcionalidades de DateTime en Apache Pig es realmente una característica útil para obtener resultados más rápidos. Pig trabaja con conjuntos de datos de alrededor de 150 a 180 GB por mes y los reduce eficientemente en, digamos, 10 a 12 minutos. Recomendaría Apache Pig a cualquier persona con conocimientos básicos de codificación en el campo de la ingeniería de transporte, especialmente cuando se necesita manejar grandes conjuntos de datos. Reseña recopilada por y alojada en G2.com.

No puede realizar operaciones secuenciales, como tomar líneas consecutivas y luego compararlas. Sin embargo, la solución alternativa es clasificar los segmentos, fusionarlos y luego realizar la tarea. El principal inconveniente sigue siendo el hecho de que no se puede utilizar para realizar bucles y bucles anidados en cualquier variable(s). Hive podría ser una mejor opción en ciertos casos por esa razón. Reseña recopilada por y alojada en G2.com.

Es fácil de aprender y poner en producción. Automatiza tareas importantes de MapReduce en consultas tipo SQL. Reseña recopilada por y alojada en G2.com.

- No todas las tareas en Big Data se pueden completar usando Pig. Reseña recopilada por y alojada en G2.com.

Facilidad de uso y diversidad. Es fácil de leer. Reseña recopilada por y alojada en G2.com.

Hay otros lenguajes desarrollados que tienen ventaja sobre el cerdo. Reseña recopilada por y alojada en G2.com.

Menos instrucciones realizan grandes tareas de recopilación, carga y consolidación de datos. Reseña recopilada por y alojada en G2.com.

No hay suficientes herramientas para depurar

Excepciones incorrectas/engañosas Reseña recopilada por y alojada en G2.com.

Apache Pig es un compilador de primer paso, que es mejor utilizando DAG. Reseña recopilada por y alojada en G2.com.

Si quieres profundizar y usar estructuras complejas, no es la mejor manera. Reseña recopilada por y alojada en G2.com.

1. Facilidad de uso, su rendimiento

2. MapReduce está completamente abstraído

3. Capacidad para encadenar múltiples trabajos de MR en un solo script de Pig

4. Te permite procesar rápidamente grandes volúmenes de datos para obtener algunos análisis Reseña recopilada por y alojada en G2.com.

1. Más lento en rendimiento en comparación con Spark

2. Menos soporte, por ejemplo, la concatenación de cadenas solo permite 2 a la vez, no se puede ordenar y filtrar dentro de Group BY, etc.

3. No puede leer otras formas de entrada como csv como parquet, lo que Spark puede hacer

4. El manejo de errores necesita mejorar. No es fácil depurar UDFs Reseña recopilada por y alojada en G2.com.

- Sintaxis similar a SQL

- potente y rica en funciones Reseña recopilada por y alojada en G2.com.

- Mucho más difícil de usar que Hive

- lleva un tiempo acostumbrarse y aprender en comparación con Hive Reseña recopilada por y alojada en G2.com.

Creación de UDAF's fácilmente.

Lenguajes Pig manejables y fáciles de escribir.

Pueden ser transmitidos a través de Python y guionizados en lugar de escribir un trabajo MR. Reseña recopilada por y alojada en G2.com.

no tan verdaderamente escalable como escribir un trabajo MR.

las uniones son fáciles, pero no tan fáciles como las consultas de hive

no maneja parquet muy bien

no tan rápido y flexible como spark Reseña recopilada por y alojada en G2.com.