Avis et détails du produit Spark Streaming

Sa capacité à gérer de grands volumes de données le rend évolutivement extensible horizontalement et sa tolérance aux pannes grâce à la réplication des données ainsi que son support pour le traitement par lots rendent le traitement des données plus rapide. Avis collecté par et hébergé sur G2.com.

La latence de micro-lot réduit la latence et consomme également une grande quantité de ressources, ce qui est intensif en ressources. Avis collecté par et hébergé sur G2.com.

Ce que j'aime le plus dans Spark Streaming, c'est sa capacité à gérer le traitement des données en temps réel de manière efficace tout en maintenant un débit élevé. Il permet une intégration transparente avec l'écosystème Apache Spark, offrant un accès à une large gamme de bibliothèques et d'outils. Le modèle de programmation est facile à utiliser, et ses mécanismes de tolérance aux pannes garantissent un traitement fiable des données même en cas de défaillances. De plus, l'évolutivité de Spark Streaming et son intégration avec diverses sources de données en font un choix polyvalent pour gérer les données en streaming. Avis collecté par et hébergé sur G2.com.

Pas de prise en charge intégrée pour le traitement du temps d'événement. Avis collecté par et hébergé sur G2.com.

Avec l'aide de Spark Streaming, d'énormes quantités de données peuvent être transférées avec littéralement zéro latence. Les scripts sont faciles à configurer et à exécuter en utilisant des clusters Spark. Plus important encore, les échecs peuvent être trouvés et résolus avec les journaux de l'interface utilisateur de Spark. Avis collecté par et hébergé sur G2.com.

Il y a beaucoup à apprendre sur Spark Streaming et des masses de documentation peuvent parfois être un peu accablantes à parcourir. La visualisation des données peut être plus améliorée plutôt que d'avoir l'interface de base. Cela peut être coûteux parfois si les clusters ne sont pas correctement optimisés. Avis collecté par et hébergé sur G2.com.

Spark streaming est très simple et facile à mettre en œuvre car nous devons seulement configurer les paramètres du package existant. Avis collecté par et hébergé sur G2.com.

Parfois, lorsque les conducteurs ne sont pas disponibles, nous perdons facilement la connexion et nous devons effectuer un autre essai en effaçant les états pour obtenir un essai correct. Avis collecté par et hébergé sur G2.com.

Spark streaming est l'une des meilleures choses pour diffuser des données facilement, après le kafka. Si vous souhaitez diffuser une petite ou moyenne quantité de données, vous pouvez utiliser en toute sécurité le spark streaming. Avis collecté par et hébergé sur G2.com.

Kafka est meilleur que Spark Streaming parce que Spark Streaming ne fonctionne pas correctement avec une grande quantité de données, tandis que le streaming Kafka gère très bien les données. Avis collecté par et hébergé sur G2.com.

Analytique en temps réel et une solution open-source. Avis collecté par et hébergé sur G2.com.

Complex à configurer initialement et pas très pertinent pour les petites applications. Avis collecté par et hébergé sur G2.com.

Le streaming Spark est l'un des composants clés qui aide au streaming en temps réel des données et offre également de nombreuses améliorations qui aident au traitement de grands ensembles de données. Avis collecté par et hébergé sur G2.com.

En général, je ne ressens aucune aversion, mais la compatibilité compte à un moment ou à un autre sur différentes plateformes. Mais c'est quand même le meilleur pour le streaming et le traitement. Avis collecté par et hébergé sur G2.com.

J'ai pu construire un pipeline de données complexe en utilisant Apache Spark. Avis collecté par et hébergé sur G2.com.

Spark n'est généralement pas adapté lorsque le jeu de données est relativement petit. Avis collecté par et hébergé sur G2.com.

C'est l'évolution dans le monde du Big Data. Très tendance et en évolution. De plus, les gens l'utilisent pour le traitement en temps réel ainsi que pour le traitement par lots, ce qui permet également de réduire les coûts. Reconnaissant Avis collecté par et hébergé sur G2.com.

C'est difficile à comprendre et à apprendre. Il n'y a pas beaucoup de ressources disponibles. De plus, les gens doivent avoir une solide expérience en big data avec une compréhension de map reduce et de Java pour comprendre davantage le streaming Spark. Avis collecté par et hébergé sur G2.com.

Spark est un cadre très puissant et nous exécutons des tâches de streaming Spark pour plusieurs besoins tels que la collecte de données à partir de flume, kafka, sqoop, hdfs et leur transfert vers d'autres nœuds.

L'une des tâches de streaming Spark utilisées quotidiennement consiste à copier nos données de la production vers le DR en utilisant une tâche de streaming Spark. Ce que nous faisons ici, c'est copier les fsimages du cluster de production et du cluster DR, puis exécuter une tâche de streaming Spark pour aplatir l'image et calculer la différence, après quoi les données sont ensuite transférées vers une base de données et les données sont copiées de la production vers le DR en utilisant la différence de l'image de l'espace de noms. Nous avons copié presque 800+ To de données en utilisant cette tâche de streaming. Avis collecté par et hébergé sur G2.com.

Les tâches de streaming Spark sont intensives en ressources ainsi que complexes, donc vous avez besoin d'ingénieurs qui savent bien comment ajuster la tâche sinon une tâche de streaming Spark pourrait consommer suffisamment de ressources pour faire tomber un cluster multi-nœuds. Avis collecté par et hébergé sur G2.com.