Spark SQL Reseñas y Detalles del Producto

Explicación sobre RDD y cómo realizamos todas las operaciones en un nodo de trabajo distribuido Reseña recopilada por y alojada en G2.com.

Nivel muy básico, no había mucho sobre cómo conectar Spark con otra fuente de datos. Reseña recopilada por y alojada en G2.com.

Caché

Uso de tablas temporales

También se puede usar para bases de datos estructuradas Reseña recopilada por y alojada en G2.com.

No hay técnicas de optimización automática

Alta curva de aprendizaje, se necesita mejor documentación Reseña recopilada por y alojada en G2.com.

Lo que más me gusta de Spark SQL es que es fácil de usar y podemos aplicar fácilmente consultas SQL normales, y también podemos usarlo en un cuaderno de PySpark utilizando %sql al registrar el dataframe como una tabla temporal. Reseña recopilada por y alojada en G2.com.

No tengo ninguna aversión particular, pero a veces enfrento dificultades en el rendimiento y el tiempo de ejecución de la celda si ejecutamos alguna consulta compleja que tiene muchas uniones y otras condiciones. Para reducir esto, uso CTE y divido la consulta en partes. Reseña recopilada por y alojada en G2.com.

Spark SQL tiene algunas capacidades que me gustan particularmente:

Spark SQL es un producto de referencia porque las tecnologías de big data se integran con él de manera tan fluida.

Tiene una alta eficiencia y puede procesar rápidamente una gran cantidad de datos.

Debido a lo similar que es su sintaxis de consulta al SQL estándar, aprender un nuevo lenguaje se hace más fácil. Reseña recopilada por y alojada en G2.com.

Mi principal queja con Spark SQL son sus limitaciones, que incluyen problemas de latencia, problemas menores de archivos y la falta de procesamiento de datos en tiempo real. Apache Apex, una solución alternativa, ya ha resuelto algunos problemas. Sin embargo, estos problemas deben resolverse en Spark SQL, ya que una alternativa es aceptable, pero algunas características proporcionadas por Spark SQL no están disponibles con Apex. Reseña recopilada por y alojada en G2.com.

Spark SQL no es más que un lenguaje de consulta que proporciona al desarrollador la capacidad de obtener y analizar los datos en HDFS. Spark SQL admite las características de indexación, así como las características de particiones, de modo que los datos que se van a cargar se organizan de una manera que se pueden obtener fácilmente y están listos para el análisis. Spark Core proporciona la plataforma o terminal donde podemos escribir nuestras consultas y realizar cualquier tarea operativa. Reseña recopilada por y alojada en G2.com.

El núcleo de Spark no admite las funciones de caché, por lo que no puede almacenar los resultados de consultas o una consulta en caché, por lo que cada vez que un desarrollador realiza una consulta, siempre utiliza el almacén o un escaneo completo de datos. Así que siento que debería ofrecer las funciones de caché para que el costo de computación sea bajo cuando alguien use el marco de Spark. Reseña recopilada por y alojada en G2.com.

Como ayuda a ejecutar un gran número de conjuntos de datos de manera distribuida. Spark SQL proporciona una abstracción de programación llamada Data Frames y también puede actuar como un motor de consulta SQL distribuido. Reseña recopilada por y alojada en G2.com.

Nada en particular.

Pero unirse de esta manera es difícil si estás uniendo conjuntos de datos desequilibrados.

Crea un conjunto de datos muy sesgado que no se utiliza para un modelo de datos adecuado. Reseña recopilada por y alojada en G2.com.

La integración de consultas SQL con los programas Spark es una de las mejores características. La velocidad de procesamiento de las grandes consultas, así como la optimización del espacio de almacenamiento, es insuperable. Reseña recopilada por y alojada en G2.com.

El costo de la herramienta es elevado en comparación con lo que ofrece. Si estás en la intranet, podría haber un problema de latencia al ejecutar las consultas. Reseña recopilada por y alojada en G2.com.

Spark funciona de manera más efectiva en comparación con otras bases de datos como MySQL. Puede cargar más datos en comparación con otras bases de datos y es mejor cuando se trabaja con grandes conjuntos de datos. Reseña recopilada por y alojada en G2.com.

No diría que es una desventaja, pero la versión premier de Spark es más costosa en comparación con otras bases de datos como MySQL, SQLite, pero Spark SQL ofrece una experiencia de primera calidad. Reseña recopilada por y alojada en G2.com.

Lo mejor es que podemos procesar nuestros datos en Spark con código SQL. SparkSQL tiene un optimizador de catalyst que propone el mejor plan de ejecución y DAG para ejecutar en Spark. Reseña recopilada por y alojada en G2.com.

Utiliza mucha memoria al procesar los datos, lo que lleva a problemas de falta de memoria. Reseña recopilada por y alojada en G2.com.

Spark SQL es más rápido, y la información de tipo adicional lo hace más eficiente. Reseña recopilada por y alojada en G2.com.

Hasta ahora, no hay soporte para tablas de transacciones. Reseña recopilada por y alojada en G2.com.