Avaliações e Detalhes do Produto Google Cloud Dataflow

A melhor coisa sobre o Dataflow é sua capacidade totalmente gerenciada, de modo que não precisamos gerenciar a infraestrutura e ele escala facilmente. Ele também fornece muitos modelos que são úteis para desenvolvedores de nível iniciante e intermediário e, além disso, eles podem facilmente atualizar a configuração e o pipeline e podem processar petabytes de dados. Além disso, ele suporta o SDK Yaml, que remove as dependências do Apache Beam também. Análise coletada por e hospedada no G2.com.

Quando estamos trabalhando com processamento distribuído, é difícil obter a configuração correta, especialmente para novos usuários, é muito complexo configurá-lo e, na maioria das vezes, custa muito se não for configurado corretamente. E como ele suporta apenas o Apache Beam, alguns dos conceitos são muito difíceis de entender. Além disso, eles podem trabalhar no monitoramento e registro, às vezes não é claro. Análise coletada por e hospedada no G2.com.

O Google Cloud Dataflow é extremamente fácil de usar para processar fluxos de eventos. Construir pipelines de streaming complexos é simples e eficiente com o Dataflow. Oferece monitoramento em tempo real do pipeline de streaming com métricas importantes, como taxa de transferência, utilização de CPU e memória. É fácil integrar com fontes e destinos de dados, como Cloud Pub/Sub, Kafka e Cloud Spanner. Análise coletada por e hospedada no G2.com.

É caro em comparação com outras soluções, como o Apache Flink. Difícil de implementar marcas d'água. Análise coletada por e hospedada no G2.com.

O GCP Dataflow gerencia tarefas de big data sem esforço, unificando o código com o Apache Beam. É um jogador de equipe do Google Cloud, destacando-se com serviços como o BigQuery. Análise coletada por e hospedada no G2.com.

- não há muita documentação e recursos disponíveis sobre isso

As complexidades de custo exigem vigilância, e conectores externos podem precisar de atenção personalizada. Embora se harmonize dentro do reino do Google Cloud, a dependência do ecossistema pode não ser adequada para aqueles em outros ambientes de nuvem. Análise coletada por e hospedada no G2.com.

O fluxo de dados em nuvem permite que você tenha um daemon que realiza ETL enquanto fornece observabilidade de alto nível. Antes disso, eu estava acostumado a trabalhos de longa duração com pouca observabilidade, ou ferramentas de baixo/nenhum código que não me permitiam configurar tarefas da maneira que eu queria usando código. O Dataflow me permite utilizar o Apache Beam em Python com grande eficácia para criar uma solução repetível e facilmente monitorada. Análise coletada por e hospedada no G2.com.

Os exemplos de python poderiam ser muito mais abrangentes. também o modelo de concorrência é difícil de entender, às vezes experimento contenção de bloqueio com instâncias DoFn executando simultaneamente e não está totalmente claro quantas threads concorrentes estão processando minha carga de trabalho. Análise coletada por e hospedada no G2.com.

Google Cloud Dataflow é otimizado automaticamente e gerencia recursos para você. Esta plataforma suporta várias linguagens de programação, incluindo Python, Java e SQL, e facilita para os desenvolvedores se concentrarem na escrita de códigos. Análise coletada por e hospedada no G2.com.

Até agora, não encontrei nenhum tipo de desvantagem. Eu simplesmente adoro isso e cada atualização desta plataforma me faz apaixonar novamente. Análise coletada por e hospedada no G2.com.

A tolerância a falhas é a melhor coisa sobre o fluxo de dados com a facilidade de lançar o trabalho e monitorar. Análise coletada por e hospedada no G2.com.

Python sdk parece menos evoluído. A integração do Kafka para Python não está pronta para produção. Análise coletada por e hospedada no G2.com.

Visualizações dos seus nós e insights durante a execução sobre quantos nós foram ativados. Análise coletada por e hospedada no G2.com.

Uma vez que você inicia uma execução, não há como cancelá-la ou interrompê-la. Isso significa que, se você notar algum problema durante a execução, estará praticamente preso. Análise coletada por e hospedada no G2.com.

Eu realmente gosto do Apache Beam, que uso com o Dataflow. Funciona bem, no Google Cloud, tanto para processamento em lote quanto em fluxo. O processamento simplesmente funciona e permite que nossos engenheiros de dados realizem suas tarefas. Análise coletada por e hospedada no G2.com.

Alguns dos esforços de marketing - anos atrás - eram exagerados. Hoje em dia, está à altura do que se promete. Fico triste que mais pessoas não usem, porque é tão poderoso. Análise coletada por e hospedada no G2.com.

A interface do usuário é muito simplista e os cronogramas e trabalhos podem ser criados com muita facilidade. Além disso, o suporte para templates em Java e Python é incrível. Análise coletada por e hospedada no G2.com.

O parâmetro e os modelos são muito rígidos e a depuração adicional é difícil, pois os logs não são muito úteis. Se um pipeline falhar, muitas vezes os erros e logs são pobres. Análise coletada por e hospedada no G2.com.

Google Dataflow é ótimo, pois oferece a experiência mais fácil e suave de carregamento de dados, seja em Batch ou Streaming. Os melhores aspectos são:

1. Ele fornece processamento de Big Data 100% eficiente, juntamente com migração de dados fácil.

2. Capacidade de criar aplicativos personalizados e projetar APIs.

3. Sua interface amigável para desenvolvedores e funcionamento. Análise coletada por e hospedada no G2.com.

Acho que é uma das melhores plataformas para trabalhar com Big Data, mas o fato é que é muito difícil de entender. Mesmo os guias de ajuda e a documentação são limitados e a comunidade não é tão grande. Sei que nos próximos anos isso pode ser resolvido e espero que seja alcançado o mais rápido possível. Análise coletada por e hospedada no G2.com.