Avis et détails du produit Cloudera Data Flow

Nous exploitons Kafka de Cloudera Data Flow pour l'analyse en continu. CDF nous fournit des données en temps réel, ce qui est essentiel pour produire des tableaux de bord en direct, et la quantité de données en streaming (en pétaoctets) nous aide à avoir CDF comme guichet unique pour l'analyse de données en direct. Avis collecté par et hébergé sur G2.com.

Kafka de CDF bien qu'il soit évolutif, il a cependant beaucoup de problèmes de latence et nécessite un réglage complexe. Lorsque la latence se produit, c'est-à-dire que l'offset actuel est supérieur à l'offset de fin du consommateur, une latence de 6 à 7 chiffres peut être observée, ce qui signifie que les enregistrements obsolètes atteignent parfois environ 1 million, ce qui fait que le tableau de bord attend les dernières données et cela prend parfois des heures pour les récupérer et parfois un redémarrage du service est également nécessaire pour résoudre cela. Avis collecté par et hébergé sur G2.com.

Cloudera Data Flow (CDF) nous offre une plateforme unique pour l'analyse des données de streaming en temps réel. Nous utilisons principalement CFM, CEM pour pousser les données des agents et Kafka pour pousser les données en direct qui sont ensuite consommées par Spark et, après nettoyage, les rapports financiers sont créés. Avis collecté par et hébergé sur G2.com.

Kafka, qui faisait auparavant partie de CDP (Cloudera Data Platform), a été déplacé vers CDF, ce qui nous oblige à acheter un abonnement séparé et donc à entraîner plus de coûts pour le projet. C'était un mouvement intelligent de la part de Cloudera pour gagner plus d'argent, mais cela nous pénalise sûrement car le service que nous utilisions avec CDP doit maintenant être acheté puisqu'il est sous l'égide de CDF. Avis collecté par et hébergé sur G2.com.

Les deux principaux piliers de Hortonworks sont HDP (Hortonworks Data Platform) et HDF (Hortonworks Data Flow). Le premier concerne l'infrastructure nécessaire pour construire et déployer un lac de données, et le second concerne l'ingestion, en mode batch ou en temps réel.

HDP et HDF reposent entièrement sur des projets open source, ce qui est un point distinctif de Hortonworks. Avis collecté par et hébergé sur G2.com.

En tant que collection de projets open source, elle repose fortement sur l'activité de la communauté. Vous avez toujours la possibilité de souscrire à des services de conseil ou de formation premium. Bien qu'elle évolue rapidement vers la disponibilité d'outils de science des données (par exemple, Tensorflow intégré dans HDP 3), cela peut être fastidieux pour un développeur passant d'un IDE traditionnel à la métaphore du notebook vs. datalake. Avis collecté par et hébergé sur G2.com.