Avaliações e Detalhes do Produto Spark Streaming

Sua capacidade de lidar com grandes volumes de dados o torna escalável horizontalmente e sua tolerância a falhas através da replicação de dados e também seu suporte para streaming em lote tornam o processamento de dados mais rápido. Análise coletada por e hospedada no G2.com.

A latência de micro batching reduz a latência e também seu consumo intensivo de recursos, consumindo uma grande quantidade de recursos. Análise coletada por e hospedada no G2.com.

O que eu mais gosto no Spark Streaming é sua capacidade de lidar com o processamento de dados em tempo real de forma eficiente, mantendo uma alta taxa de transferência. Ele permite uma integração perfeita com o ecossistema Apache Spark, proporcionando acesso a uma ampla gama de bibliotecas e ferramentas. O modelo de programação é fácil de trabalhar, e seus mecanismos de tolerância a falhas garantem um processamento de dados confiável mesmo diante de falhas. Além disso, a escalabilidade do Spark Streaming e sua integração com várias fontes de dados o tornam uma escolha versátil para lidar com dados de streaming. Análise coletada por e hospedada no G2.com.

Nenhum suporte embutido para processamento de tempo de evento. Análise coletada por e hospedada no G2.com.

Com a ajuda do Spark Streaming, enormes quantidades de dados podem ser transferidas com literalmente zero latência. Scripts são fáceis de configurar e executar usando clusters Spark. Mais importante, falhas podem ser encontradas e resolvidas com os logs da interface do usuário do Spark. Análise coletada por e hospedada no G2.com.

Há muito a aprender sobre o Spark Streaming e grandes quantidades de documentação podem, às vezes, ser um pouco avassaladoras de se percorrer. A visualização de dados pode ser mais aprimorada em vez de ter a interface básica. Pode ser caro às vezes se os clusters não estiverem devidamente otimizados. Análise coletada por e hospedada no G2.com.

O streaming do Spark é muito simples e fácil de implementar, pois precisamos apenas configurar os parâmetros para o pacote existente. Análise coletada por e hospedada no G2.com.

Às vezes, quando os motoristas não estão disponíveis, perdemos a conexão facilmente e temos que fazer outra execução limpando os estados para obter uma execução adequada. Análise coletada por e hospedada no G2.com.

O Spark Streaming é uma das melhores opções para transmitir dados facilmente, depois do Kafka. Se você deseja transmitir uma quantidade pequena ou média de dados, pode usar o Spark Streaming de forma fácil e segura. Análise coletada por e hospedada no G2.com.

Kafka é melhor do que o Spark Streaming porque o Spark Streaming não funciona adequadamente com uma quantidade maior de dados, enquanto o Kafka Streaming lida com os dados muito bem. Análise coletada por e hospedada no G2.com.

Análise em tempo real e uma solução de código aberto. Análise coletada por e hospedada no G2.com.

Complexo de configurar inicialmente e não tão relevante para pequenas aplicações. Análise coletada por e hospedada no G2.com.

O Spark Streaming é um dos componentes principais que ajuda na transmissão em tempo real de dados e também oferece muitas melhorias que ajudam no processamento de conjuntos de dados maiores. Análise coletada por e hospedada no G2.com.

Não há aversão que eu sinta em geral, mas a compatibilidade importa em algum momento ou outro em diferentes plataformas. Mas ainda assim, é o melhor em streaming e processamento. Análise coletada por e hospedada no G2.com.

Eu consegui construir um pipeline de dados complexo usando o Apache Spark. Análise coletada por e hospedada no G2.com.

O Spark geralmente não é adequado quando o conjunto de dados é relativamente pequeno. Análise coletada por e hospedada no G2.com.

É evolução no mundo do Big Data. Muito na moda e em evolução. Além disso, as pessoas estão usando para processamento em tempo real, bem como para processamento em lote, o que também economiza custos. Agradecido Análise coletada por e hospedada no G2.com.

É difícil de entender e aprender. Não há muitos recursos disponíveis. Além disso, as pessoas devem ter um forte conhecimento em big data, com entendimento de map reduce e Java, para entender melhor o Spark Streaming. Análise coletada por e hospedada no G2.com.

Spark é uma estrutura muito poderosa e executamos trabalhos de streaming do Spark para múltiplos requisitos, como coletar dados de flume, kafka, sqoop, hdfs e enviá-los para outros nós.

Um dos trabalhos de streaming do Spark usados diariamente é para copiar nossos dados de produção para DR usando um trabalho de streaming do Spark. O que fazemos aqui é copiar as fsimages do cluster de produção e DR, e então executar um trabalho de streaming do Spark para achatar a imagem e calcular a diferença, após o que os dados são enviados para um banco de dados e os dados são copiados de produção para DR usando a diferença da imagem do namespace. Copiamos quase 800+ TB de dados usando este trabalho de streaming. Análise coletada por e hospedada no G2.com.

Os trabalhos de streaming do Spark são intensivos em recursos, bem como complexos, então você precisa de engenheiros que saibam bem como ajustar o trabalho, caso contrário, um trabalho de streaming do Spark pode consumir recursos suficientes para derrubar um cluster de múltiplos nós. Análise coletada por e hospedada no G2.com.