Avaliações e Detalhes do Produto Cloudera Data Flow

Estamos aproveitando o Kafka do Cloudera Data Flow para análises de streaming. O CDF nos fornece dados em tempo real, o que é crítico para produzir painéis ao vivo, e também a quantidade de dados em streaming (em petabytes) nos ajuda a ter o CDF como uma solução completa para análise de dados ao vivo. Análise coletada por e hospedada no G2.com.

Kafka do CDF, embora seja escalável, tem muitos problemas de atraso e precisa de ajustes complexos. Quando o atraso ocorre, ou seja, o offset atual é maior do que o offset final do consumidor, pode-se observar um atraso em 6-7 dígitos, o que significa que os registros obsoletos chegam a cerca de 1 milhão às vezes, devido ao qual o painel espera pelos dados mais recentes e às vezes leva horas para buscá-los e às vezes é necessário reiniciar o serviço para corrigir isso. Análise coletada por e hospedada no G2.com.

Cloudera Data Flow (CDF) nos fornece uma única plataforma para análise de dados de streaming em tempo real. Usamos principalmente CFM, CEM para enviar dados de agentes e Kafka para enviar dados ao vivo que são então consumidos pelo Spark e, após a limpeza, os relatórios financeiros são criados. Análise coletada por e hospedada no G2.com.

Kafka, que anteriormente fazia parte do CDP (plataforma de dados Cloudera), foi movido para o CDF, o que nos obriga a comprar uma assinatura separada e, portanto, incorrer em mais custos para o projeto. Este foi um movimento inteligente da Cloudera para ganhar mais dinheiro, mas certamente nos prejudica, já que o serviço que usávamos junto com o CDP agora precisa ser adquirido, pois está sob o guarda-chuva do CDF. Análise coletada por e hospedada no G2.com.

Os dois principais pilares da Hortonworks são o HDP (Hortonworks Data Platform) e o HDF (Hortonworks Data Flow). O primeiro se aplica à infraestrutura necessária para construir e implantar um data lake, e o segundo trata da ingestão, em lote ou em tempo real. Tanto o HDP quanto o HDF dependem inteiramente de projetos de código aberto, este é um ponto distintivo sobre a Hortonworks. Análise coletada por e hospedada no G2.com.

Como uma coleção de projetos de código aberto, ela depende fortemente da atividade da comunidade. Você ainda tem a opção de contratar serviços de consultoria ou treinamento premium.

Embora esteja evoluindo rapidamente para a disponibilidade de ferramentas de Ciência de Dados (por exemplo, Tensorflow incorporado no HDP 3), pode ser complicado para um desenvolvedor que está fazendo a transição de um IDE tradicional para a metáfora de notebook vs. datalake. Análise coletada por e hospedada no G2.com.