Avaliações e Detalhes do Produto Apache Beam

Beam é incrível. Tanto o processamento em lote quanto o processamento em fluxo são tratados através da mesma semântica/código. Basta trocar seus IOs, por exemplo: banco de dados ou arquivos para lote, ou uma fila de mensagens para casos de uso de streaming. Análise coletada por e hospedada no G2.com.

As pessoas às vezes têm dificuldade em aprender. Eu gostaria que fosse mais fácil para elas. Análise coletada por e hospedada no G2.com.

Gostei da maneira como o Beam fornece abstração para o complexo paradigma distribuído usando pCollection e Transforms, etc. Além disso, sua abordagem unificada para lidar com o processamento em lote e em fluxo é única e eficiente. Análise coletada por e hospedada no G2.com.

Na época em que estava desenvolvendo, descobri que fazer a operação de Join não era tão simples e tivemos que usar coGroupByKey para isso, o que foi um pouco confuso para nós. Talvez fornecer uma abstração como uma operação de join simples ajudaria a comunidade de usuários. Talvez a comunidade de desenvolvedores já tenha fornecido essa opção, mas ela não estava disponível quando estávamos fazendo nosso caso de uso. Análise coletada por e hospedada no G2.com.

Eu usei o Apache Beam para projetar meu pipeline na plataforma Google Cloud. Minha experiência foi tranquila. Eu projetei para dados em lote e em streaming. Análise coletada por e hospedada no G2.com.

Falta de cursos disponíveis sobre Apache Beam que podem ajudar iniciantes a aprender Beam. Análise coletada por e hospedada no G2.com.

Em termos de capacidades e generalidade, acho que o Apache Beam é atualmente o framework mais avançado e flexível para projetar e implementar aplicações modernas intensivas em dados. Perfeitamente capaz de especificar tanto computações em lote quanto em streaming, além de, em termos de capacidades de streaming, oferecer realmente muito! Leva algum tempo para se familiarizar com as APIs, mas depois disso, tudo flui bem. Finalmente, o suporte para vários motores de execução graças à abstração "runner" faz dele uma ótima escolha quando a portabilidade entre diferentes plataformas, seja no local ou na nuvem, se torna um fator. Definitivamente recomendado. Análise coletada por e hospedada no G2.com.

Atualmente, as APIs não são exatamente muito amigáveis. Análise coletada por e hospedada no G2.com.

Atualize frequentemente e suporte vários idiomas Análise coletada por e hospedada no G2.com.

Mais tedioso depurar o código do aplicativo. Além disso, logs de erro não muito informativos. Análise coletada por e hospedada no G2.com.

O que eu mais gosto no Apache Beam é a facilidade de uso ao definir pipelines para ETL tanto em Processamento em Lote quanto em Processamento de Fluxo. Sendo um software de código aberto, o Beam é uma das ferramentas mais poderosas disponíveis. Análise coletada por e hospedada no G2.com.

É um pouco mais lento que o Apache Flink, pois o Beam é principalmente classificado em ferramentas de banco de dados gráfico, enquanto o Flink é classificado em ferramentas de Big Data. Além disso, não fornece nenhuma interface de usuário para monitorar o status do trabalho, enquanto o Flink fornece. Funciona muito bem para pequenas tarefas de ETL no GCP, em vez de grandes tarefas que envolvem muito processamento de fluxos. O Flink é melhor se o seu caso de uso precisar lidar com muitos fluxos ao mesmo tempo. Análise coletada por e hospedada no G2.com.

Com o Apache Beam, os pipelines de processamento de dados são realmente fáceis. Temos usado isso nos últimos 3 meses e achamos muito bem-sucedido, especialmente para o processo ETL dos dados que produzimos. Análise coletada por e hospedada no G2.com.

É bom para processos menores, mas não é aconselhável para grandes processos simplificados. Análise coletada por e hospedada no G2.com.

É um motor de fluxo de trabalho de código aberto que permite codificar sua lógica de fluxo de trabalho de processamento de dados. Ele permite que você processe seus dados com base em lotes e fluxos. Análise coletada por e hospedada no G2.com.

Você deve aprender a função básica do seu fluxo de trabalho usando Java. Então, isso leva tempo (depende da sua curva de aprendizado) Análise coletada por e hospedada no G2.com.

O Apache Beam possui boas funcionalidades "Pardo" e "dofn", que ajudam a escrever código personalizado e realizar operações paralelas poderosas. Análise coletada por e hospedada no G2.com.

O Apache Beam possui apenas conectividade Jdbc e, após a operação de gravação, você não pode abrir uma nova PCollection novamente. Análise coletada por e hospedada no G2.com.

Liberdade para escolher seus próprios tempos de execução. Isso dá uma flexibilidade imensa aos desenvolvedores. Análise coletada por e hospedada no G2.com.

as instruções de implantação e produção e os estudos de caso devem ser melhorados Análise coletada por e hospedada no G2.com.