Recensioni e Dettagli del Prodotto Cloudera Data Flow

Stiamo sfruttando Kafka di Cloudera Data Flow per l'analisi dei flussi. CDF ci fornisce dati in tempo reale, che sono fondamentali per produrre dashboard live, e anche la quantità di dati in streaming (in petabyte) ci aiuta ad avere CDF come punto di riferimento unico per l'analisi dei dati live. Recensione raccolta e ospitata su G2.com.

Kafka di CDF, sebbene sia scalabile, presenta tuttavia molti problemi di lag e necessita di una complessa ottimizzazione. Quando si verifica il lag, cioè quando l'offset corrente è maggiore dell'offset finale del consumatore, si può osservare un lag di 6-7 cifre, il che significa che i record obsoleti raggiungono a volte circa 1 milione, a causa del quale il dashboard attende i dati più recenti e a volte ci vogliono ore per recuperarli e a volte è necessario anche riavviare il servizio per risolvere il problema. Recensione raccolta e ospitata su G2.com.

Cloudera Data Flow (CDF) ci fornisce una piattaforma unica per l'analisi dei dati in streaming in tempo reale. Utilizziamo principalmente CFM, CEM per inviare i dati degli agenti e Kafka per inviare i dati in tempo reale che vengono poi consumati da Spark e, dopo la pulizia, vengono creati i rapporti finanziari. Recensione raccolta e ospitata su G2.com.

Kafka, che in precedenza faceva parte di CDP (Cloudera Data Platform), è stato spostato in CDF, il che ci obbliga ad acquistare un abbonamento separato e quindi a sostenere più costi per il progetto. Questa è stata una mossa intelligente da parte di Cloudera per guadagnare di più, ma sicuramente ci danneggia poiché il servizio che utilizzavamo insieme a CDP ora deve essere acquistato poiché rientra sotto l'ombrello di CDF. Recensione raccolta e ospitata su G2.com.

I due pilastri principali di Hortonworks sono HDP (Hortonworks Data Platform) e HDF (Hortonworks Data Flow). Il primo si applica all'infrastruttura necessaria per costruire e distribuire un data lake, mentre il secondo riguarda l'ingestione, in batch o in tempo reale. Sia HDP che HDF si basano interamente su progetti open source, questo è un punto distintivo di Hortonworks. Recensione raccolta e ospitata su G2.com.

Come collezione di progetti open source, si basa fortemente sull'attività della comunità. Hai ancora l'opzione di contrattare servizi di consulenza o formazione premium.

Sebbene stia rapidamente evolvendo nella disponibilità di strumenti di Data Science (ad esempio, Tensorflow incorporato in HDP 3), può essere complicato per uno sviluppatore che passa da un IDE tradizionale alla metafora del notebook vs. datalake. Recensione raccolta e ospitata su G2.com.