Avis et détails du produit Apache Sqoop

Apache est très utile pour extraire de grands ensembles de données en un temps minimal. Il peut être intégré et mis en œuvre avec de nombreuses applications similaires où les grandes données sont impliquées avec une utilisation fréquente. Avis collecté par et hébergé sur G2.com.

Parfois, la requête prend plus de temps à s'exécuter lorsqu'il y a de nombreux jointures ou jointures externes gauches ou d'autres jointures impliquées avec un filtre supplémentaire dans la condition where. L'échec lors de l'importation partielle s'est produit dans une longue requête. Avis collecté par et hébergé sur G2.com.

La simplicité avec laquelle l'outil peut être utilisé dès le départ avec une configuration minimale dans un environnement distribué et la courte courbe d'apprentissage. Avis collecté par et hébergé sur G2.com.

La journalisation semblait être quelque chose avec lequel j'ai personnellement eu du mal à identifier les anomalies de données lorsqu'il s'agissait du mouvement des données dans mes cas d'utilisation. Avis collecté par et hébergé sur G2.com.

Le transfert de données se fait en parallèle, ce qui le rend rapide et économique. Avis collecté par et hébergé sur G2.com.

L'échec lors de l'importation et de l'exportation partielle nécessite un traitement spécial. Avis collecté par et hébergé sur G2.com.

Les importations incrémentielles sont les plus utiles dans sqoop. Avis collecté par et hébergé sur G2.com.

parfois, lorsque la même base de données est utilisée pour d'autres applications commerciales et que mes requêtes impliquent plusieurs jointures, les performances sont affectées Avis collecté par et hébergé sur G2.com.

La meilleure chose est qu'il exécute le transfert de données en parallèle. Il permet de transférer les données à partir d'une variété de bases de données structurées. Il dispose d'une vaste communauté de soutien. Avis collecté par et hébergé sur G2.com.

Sous le capot, il utilise MapReduce, ce qui prend du temps même pour un petit transfert de données. La mise en œuvre de la capture de données modifiées et des chargements incrémentiels est assez complexe. Il ne peut pas être mis en pause et repris. Avis collecté par et hébergé sur G2.com.

Transférer les données structurelles entre RDBMS et Cluster Avis collecté par et hébergé sur G2.com.

C'est un peu difficile de tracer le journal des erreurs. Avis collecté par et hébergé sur G2.com.

La meilleure chose à propos d'Apache Sqoop est qu'il offre une configuration facile pour obtenir les données en temps réel à partir du système source. Avis collecté par et hébergé sur G2.com.

La chose que je n'ai pas aimée à propos d'Apache Sqoop est qu'une fois que le pipeline est cassé, il est difficile de récupérer les messages perdus. Avis collecté par et hébergé sur G2.com.

L'utilisation est très simple. C'est très convivial. Nous n'avons pas besoin d'écrire beaucoup de lignes de code pour obtenir les données de la base de données ou pour les y écrire. Avis collecté par et hébergé sur G2.com.

Il n'y a rien que je puisse voir pour le moment. Si nous obtenons un support pour les bases de données NoSQL, ce serait génial. Avis collecté par et hébergé sur G2.com.

La simplicité et l'efficacité de l'application me séduisent. De plus, le design centré sur l'utilisateur est génial. J'utilise Sqoop pour importer des données de magasins de données externes dans le système de fichiers distribué Hadoop ou des écosystèmes Hadoop connexes comme Hive et HBase. Le meilleur avantage est sa facilité d'utilisation et sa rapidité. Sqoop peut facilement s'intégrer à Hadoop et déverser des données structurées de bases de données relationnelles sur HDFS, complétant ainsi la puissance de Hadoop. C'est pourquoi la certification Big Data et Hadoop exige une bonne connaissance d'Apache Sqoop et Flume. Avis collecté par et hébergé sur G2.com.

Je n'ai pas vraiment trouvé quelque chose que je n'aimais pas, mais si à l'avenir je le faisais, j'aimerais le partager. Il y a quelques problèmes avec l'utilisation de Sqoop qui m'ont dérangé au début mais qui sont faciles à gérer :

Connecteur Sqoop :

Problème :

Utilisation d'un connecteur incorrect pour la base de données à connecter lors de l'exportation ou de l'importation avec Sqoop.

Pilote manquant ou utilisation du nom correct du pilote de la classe jdbc respective pour la commande Sqoop.

Nom du gestionnaire de connexion manquant dans certains cas de commande Sqoop.

Approche incorrecte pour donner le mot de passe ou le nom d'utilisateur de la base de données à connecter.

Le format des données stockées dans les tables HDFS/Hive peut créer des problèmes. Il y a quelques formats comme les fichiers ORC qui ne permettent pas le transfert direct de données avec Sqoop.

Noms non correspondants ou incorrects des colonnes des tables source et destination où HCatalog est utilisé dans la commande Sqoop peuvent montrer un travail Sqoop réussi sans que les données soient transférées. Avis collecté par et hébergé sur G2.com.

Réplication de la base de données relationnelle sur HDFS pour les travaux MapReduce Avis collecté par et hébergé sur G2.com.

Les données devaient être réimportées à chaque fois que les données étaient modifiées. Avis collecté par et hébergé sur G2.com.