Avis et détails du produit Spark

Spark est excellent pour travailler avec de très grandes quantités de données. Il peut gérer à la fois les traitements par lots et les données en streaming, et il fonctionne avec différents types de fichiers et sources de données. Il est beaucoup plus rapide que les anciens systèmes car il peut traiter les données en mémoire.

J'aime aussi le fait qu'il dispose d'outils intégrés pour les requêtes de données, le streaming et même l'apprentissage automatique, ce qui permet de faire beaucoup de choses sans changer de plateforme. Avis collecté par et hébergé sur G2.com.

Spark n'est pas aussi « facile » que les gens le pensent. S'il n'est pas configuré ou optimisé correctement, il peut fonctionner lentement ou coûter cher à exploiter. Une petite erreur dans la façon dont vous écrivez ou exécutez un travail peut tout ralentir.

Déboguer les problèmes peut prendre du temps, et le streaming n'est pas vraiment en temps réel. Il fonctionne toujours par petits lots. De plus, il peut être difficile de faire correspondre la bonne version de Spark avec d'autres outils dans votre configuration. Avis collecté par et hébergé sur G2.com.

C'est rapide par rapport à Hadoop car c'est un moteur de traitement en mémoire. Avis collecté par et hébergé sur G2.com.

Rien pour l'instant car c'est une version avancée de la mémoire disque Hadoop Avis collecté par et hébergé sur G2.com.

J'ai utilisé Spark à des fins de traitement de données, ce que j'aime le plus, c'est la vitesse, il traite une énorme quantité de données grâce à la computation en mémoire, ce qui est bien meilleur par rapport à Hadoop MapReduce. Avis collecté par et hébergé sur G2.com.

La chose que je n'aime pas à propos de Spark est que le coût de l'infrastructure est très élevé lorsqu'il s'agit d'exécuter les données dans un environnement de cluster. Avis collecté par et hébergé sur G2.com.

La vitesse de Spark

La fonctionnalité d'intégration de Spark avec des logiciels personnalisés, avec d'autres outils.

La facilité d'utilisation et l'adaptabilité pour l'utilisateur. Avis collecté par et hébergé sur G2.com.

Pas de système de fichiers à gérer. Fonctions/algorithmes limités. Avis collecté par et hébergé sur G2.com.

J'adore la rapidité du traitement des données. Aussi l'immense écosystème d'intégration avec les API et la grande quantité d'optimisation de la mémoire que nous pouvons réaliser grâce à cela. Il est très facile à utiliser et à mettre en œuvre avec des approches de traitement de données polyvalentes que nous pouvons réaliser grâce à cela et aussi le support client avec l'aide de la communauté est excellent ! Avis collecté par et hébergé sur G2.com.

Il nécessite une courbe d'apprentissage abrupte car les personnes non techniques ou les débutants peuvent le trouver très complexe. Lorsque la complexité des données est énorme, il est difficile de déboguer et de trouver des bogues dans les grandes données traitées. Il n'est pas adapté au traitement de petites données. Avis collecté par et hébergé sur G2.com.

Intégration avec des langages de script puissants (Python, Scala et Java). Consommer les fichiers de datastore Apache disponibles pour développer des modèles d'apprentissage automatique et les déployer rapidement en production. Intégration avec Knime a fourni un développement sans code de pipelines ETL, et la fusion avec les datastores Apache nous a permis d'éduquer rapidement les talents traditionnels (basés sur SQL et Excel) pour construire des insights de données robustes. L'intégration de la plateforme Knime avec Spark n'a pas nécessité de puissance de calcul supplémentaire car elle a effectué tout le traitement sur l'infrastructure Spark. Avis collecté par et hébergé sur G2.com.

Hors de la boîte, Spark a moins d'algorithmes pour les modèles d'apprentissage automatique, mais nous pouvons étendre avec d'autres langages de programmation, ce qui implique un effort supplémentaire lors de la mise en œuvre avec Knime. Avis collecté par et hébergé sur G2.com.

1. J'aime vraiment le concept de RDD dans Spark car ils sont immuables.

2. Spark a fourni de nombreux UDF système (prêts à l'emploi) pour jouer avec.

3. Nous pouvons facilement déboguer un problème Spark en vérifiant la lignée sur l'interface utilisateur de Spark. Avis collecté par et hébergé sur G2.com.

1. Parfois, les erreurs de manque de mémoire sur Spark deviennent très fréquentes, et une commande SIGKILL est invoquée sans aucune trace de pile appropriée par Spark. De cette façon, il devient très difficile de déboguer un travail Spark. Avis collecté par et hébergé sur G2.com.

Spark rend possible le traitement de très grands ensembles de données et gère également ces ensembles de données de manière assez rapide.

Spark semble être un logiciel en rapide évolution.

Spark est l'un des logiciels à la mode ces derniers temps.

C'est un excellent moteur de calcul pour résoudre des logiques complexes. Avis collecté par et hébergé sur G2.com.

Spark semble être un peu lent sur les données larges.

Spark manque un peu de soutien à ses utilisateurs.

Spark a besoin de capacités avancées pour comprendre et structurer la modélisation des grandes données. Avis collecté par et hébergé sur G2.com.

-Il s'intègre avec des langages de script puissants.

-Le traitement des données est nettement plus rapide que le système Big Data Hadoop conventionnel grâce à ses calculs en mémoire et plusieurs autres optimisations. Avis collecté par et hébergé sur G2.com.

Il peut y avoir des erreurs de mémoire insuffisante en raison des calculs en mémoire. Le temps d'exécution de la requête est quelque peu élevé, cependant, cela est attendu, mais peut être optimisé jusqu'à certains niveaux. Avis collecté par et hébergé sur G2.com.

Le traitement en mémoire est généralement apprécié. De plus, nous pouvons utiliser directement des dataframes, ce qui le rend très convivial pour les développeurs. J'ai également beaucoup aimé la partie streaming... Avis collecté par et hébergé sur G2.com.

À mon avis, il n'y a rien qui puisse être détesté. Avis collecté par et hébergé sur G2.com.