Avis et détails du produit Apache Pig

Apache Pig et son langage de requête (Pig Latin) nous ont permis de créer des pipelines de données avec facilité. Le langage est conçu pour refléter la manière dont les pipelines de données sont conçus, il élimine donc les données superflues, prend en charge les fonctions définies par l'utilisateur (UDF) et offre beaucoup de contrôle sur le flux de données. Avis collecté par et hébergé sur G2.com.

Le langage Pig étant gourmand, n'évaluera pas les données tant qu'elles ne sont pas réellement nécessaires. Ainsi, les erreurs ne sont pas visibles à moins que vous n'essayiez réellement de vider/imprimer les données. Il n'y a pas de fonctionnalité "debug" pour exécuter le code en mode simulation. Avis collecté par et hébergé sur G2.com.

Ce que j'aime le plus chez Apache Pig, c'est la façon dont nous pouvons écrire efficacement n'importe lequel de nos travaux complexes de map reduce ou spark sans avoir une connaissance approfondie de Java, Python, Groovy. De plus, il est facile de contrôler l'exécution du travail avec l'aide de pig. Avis collecté par et hébergé sur G2.com.

Ce que je n'aime pas chez Apache Pig, c'est que le débogage des erreurs consomme la plupart de son temps de développement car il peut parfois être immature/instable. De plus, la communauté de support est beaucoup moins importante par rapport à celle des problèmes de Hadoop MapReduce ou Spark. Avis collecté par et hébergé sur G2.com.

Il peut gérer certaines des opérations mathématiques simples, ainsi que réduire les données. L'agrégation des données est extrêmement utile. Exécuter des fonctionnalités DateTime dans Apache Pig est vraiment une fonctionnalité utile pour des résultats plus rapides. Pig fonctionne sur des ensembles de données d'environ 150 à 180 Go par mois et les réduit efficacement en, disons, 10 à 12 minutes. Je recommanderais certainement Apache Pig à toute personne ayant des compétences de base en codage dans le domaine de l'ingénierie des transports, surtout lorsque vous devez gérer un énorme ensemble de données. Avis collecté par et hébergé sur G2.com.

Il ne peut pas effectuer d'opérations séquentielles, comme prendre des lignes consécutives et les comparer ensuite. Cependant, la solution de contournement consiste à classer les segments, à les fusionner et ensuite à effectuer la tâche. Le principal inconvénient réside toujours dans le fait qu'il ne peut pas être utilisé pour effectuer des boucles et des boucles imbriquées sur n'importe quelle variable. Hive pourrait être un meilleur choix dans certains cas pour cette raison. Avis collecté par et hébergé sur G2.com.

Il est facile à apprendre et à mettre en production. Il automatise les tâches importantes de MapReduce en requêtes de type SQL. Avis collecté par et hébergé sur G2.com.

- Toutes les tâches dans le Big Data ne peuvent pas être accomplies en utilisant Pig. Avis collecté par et hébergé sur G2.com.

Facilité d'utilisation et diversité. Il est facile à lire. Avis collecté par et hébergé sur G2.com.

Il existe d'autres langues développées qui ont l'avantage sur le cochon. Avis collecté par et hébergé sur G2.com.

Moins d'instructions effectuent de grandes tâches de collecte, de chargement et de consolidation des données. Avis collecté par et hébergé sur G2.com.

Pas assez d'outils pour déboguer

Exceptions incorrectes/trompeuses Avis collecté par et hébergé sur G2.com.

Apache Pig est un compilateur de premier passage, qui est à son meilleur en utilisant DAG. Avis collecté par et hébergé sur G2.com.

Si vous souhaitez utiliser des structures complexes, ce n'est pas la meilleure façon. Avis collecté par et hébergé sur G2.com.

1. Facilité d'utilisation, sa performance

2. MapReduce est entièrement abstrait

3. Capacité à enchaîner plusieurs tâches MR en un seul script Pig

4. Vous permet de traiter rapidement de grandes quantités de données pour effectuer des analyses Avis collecté par et hébergé sur G2.com.

1. Plus lent en performance par rapport à Spark

2. Moins de support, par exemple la concaténation de chaînes ne permet que 2 à la fois, ne peut pas trier et filtrer à l'intérieur de Group BY, etc.

3. Ne peut pas lire d'autres formes d'entrée comme csv en tant que parquet, ce que Spark peut faire

4. La gestion des erreurs doit être améliorée. Pas facile de déboguer les UDFs Avis collecté par et hébergé sur G2.com.

- Syntaxe de type SQL

- Puissant et riche en fonctionnalités Avis collecté par et hébergé sur G2.com.

- Beaucoup plus difficile à utiliser que Hive

- prend un certain temps pour s'habituer et apprendre par rapport à Hive Avis collecté par et hébergé sur G2.com.

création d'UDAF facilement.

gérable et facile à écrire des langages Pig

peut être diffusé via Python et scripté au lieu d'écrire un travail MR Avis collecté par et hébergé sur G2.com.

pas aussi véritablement évolutif que l'écriture d'un travail MR.

les jointures sont faciles, mais pas aussi faciles que les requêtes Hive

ne gère pas très bien le parquet

pas aussi rapide et flexible que Spark Avis collecté par et hébergé sur G2.com.