Avaliações e Detalhes do Produto Spark

O Spark é ótimo para trabalhar com grandes quantidades de dados. Ele pode lidar tanto com trabalhos em lote quanto com dados de streaming, e funciona com diferentes tipos de arquivos e fontes de dados. É muito mais rápido do que sistemas mais antigos porque pode processar dados na memória.

Também gosto que ele tenha ferramentas integradas para consultas de dados, streaming e até aprendizado de máquina, então você pode fazer muito sem mudar de plataforma. Análise coletada por e hospedada no G2.com.

O Spark não é tão "fácil" quanto as pessoas pensam. Se não for configurado ou ajustado corretamente, pode funcionar lentamente ou custar muito para operar. Um pequeno erro na forma como você escreve ou executa um trabalho pode desacelerar tudo.

Depurar problemas pode levar tempo, e o streaming não é realmente em tempo real; ainda funciona em pequenos lotes. Além disso, pode ser complicado combinar a versão certa do Spark com outras ferramentas na sua configuração. Análise coletada por e hospedada no G2.com.

É rápido quando comparado ao Hadoop, pois é um mecanismo de processamento em memória. Análise coletada por e hospedada no G2.com.

Nada por enquanto, pois é uma versão avançada da memória de disco do Hadoop. Análise coletada por e hospedada no G2.com.

Eu usei o Spark para processamento de dados, a coisa que eu mais gosto é a velocidade, ele processa uma enorme quantidade de dados devido à computação em memória, que é muito melhor em comparação com o Hadoop MapReduce. Análise coletada por e hospedada no G2.com.

A coisa que eu não gosto no Spark é que o custo de infraestrutura é muito alto quando se trata de executar os dados em um ambiente de cluster. Análise coletada por e hospedada no G2.com.

A velocidade do Spark

A funcionalidade de integração do Spark com softwares personalizados, com outras ferramentas.

A facilidade de uso e adaptabilidade do usuário. Análise coletada por e hospedada no G2.com.

Nenhum sistema de arquivos para gerenciar.

Funções/algoritmos limitados. Análise coletada por e hospedada no G2.com.

Eu amo a velocidade do processamento de dados. Também o imenso ecossistema de integração com APIs e a enorme quantidade de otimização na memória que podemos alcançar através disso. É muito fácil de usar e implementar com abordagens versáteis de processamento de dados que podemos alcançar através disso e também o suporte ao cliente com a ajuda da comunidade é ótimo! Análise coletada por e hospedada no G2.com.

Requer uma curva de aprendizado acentuada, pois pessoas não técnicas ou iniciantes podem achá-lo muito complexo. Quando a complexidade dos dados é enorme, é difícil depurar e encontrar erros nos grandes volumes de dados processados. Não é adequado para o processamento de pequenos dados. Análise coletada por e hospedada no G2.com.

Integração com linguagens de script poderosas (Python, Scala e Java). Consumo de arquivos de datastore Apache disponíveis para desenvolver modelos de ML e implantação rápida em produção. Integração com Knime proporcionou desenvolvimento sem código de pipelines ETL, e a fusão com datastores Apache nos permitiu educar rapidamente o talento tradicional (baseado em SQL e Excel) para construir insights de dados robustos. A integração da plataforma Knime com Spark não exigiu poder computacional adicional, pois realizou todo o processamento na infraestrutura Spark. Análise coletada por e hospedada no G2.com.

Fora da caixa, o Spark tem menos algoritmos para modelos de ML, mas podemos estender com outras linguagens de programação, o que envolve esforço adicional ao implementar com o Knime. Análise coletada por e hospedada no G2.com.

1. Eu realmente gosto do conceito de RDD no Spark, pois são imutáveis.

2. O Spark fornece muitos UDFs do sistema (prontos para uso) para trabalhar.

3. Podemos facilmente depurar um problema do Spark verificando a linhagem na interface do usuário do Spark. Análise coletada por e hospedada no G2.com.

1. Às vezes, erros de falta de memória no Spark tornam-se muito frequentes, e um comando SIGKILL é invocado sem qualquer rastreamento de pilha adequado pelo Spark. Dessa forma, torna-se muito difícil depurar um trabalho do Spark. Análise coletada por e hospedada no G2.com.

Spark torna possível o processamento de conjuntos de dados muito grandes e também lida com esses conjuntos de dados de maneira bastante rápida.

Spark parece ser um software que avança rapidamente.

Spark é um dos softwares em tendência nos últimos tempos.

É um ótimo mecanismo de computação para resolver lógicas complexas. Análise coletada por e hospedada no G2.com.

Spark parece ser um pouco lento em dados amplos.

Spark carece um pouco em apoiar seus usuários.

Spark precisa de alguma capacidade avançada para entender e estruturar a modelagem de big data. Análise coletada por e hospedada no G2.com.

-Incorpora com linguagens de script poderosas.

-O processamento de dados é significativamente mais rápido do que o sistema convencional de Big Data do Hadoop devido aos seus cálculos em memória e várias outras otimizações. Análise coletada por e hospedada no G2.com.

Pode haver erros de Falta de Memória como resultado de cálculos na Memória. O tempo de execução da consulta é um pouco alto, no entanto, é esperado, mas pode ser otimizado até certos níveis. Análise coletada por e hospedada no G2.com.

O processamento em memória é algo que agrada muito. Além disso, podemos usar dataframes diretamente, o que o torna muito amigável para desenvolvedores. Também gostei muito da parte de streaming... Análise coletada por e hospedada no G2.com.

Na minha opinião, não há nada que possa ser desagradável. Análise coletada por e hospedada no G2.com.