Avaliações e Detalhes do Produto Apache Pig

Apache Pig e sua linguagem de consulta (Pig Latin) nos permitiram criar pipelines de dados com facilidade. A linguagem é projetada para refletir a forma como os pipelines de dados são projetados, portanto, descarta dados supérfluos, suporta funções definidas pelo usuário (UDFs) e oferece muito controle sobre o fluxo de dados. Análise coletada por e hospedada no G2.com.

O Pig, sendo uma linguagem gananciosa, não avaliará os dados até que sejam realmente necessários. Portanto, os erros não são visíveis a menos que você realmente tente despejar/imprimir os dados. Não há funcionalidade de "debug" para executar o código em modo de simulação. Análise coletada por e hospedada no G2.com.

O que eu mais gosto no Apache Pig é como podemos escrever de forma eficiente qualquer um dos nossos trabalhos complexos de map reduce ou spark sem ter muito conhecimento profundo de Java, Python, Groovy. Além disso, é fácil controlar a execução do trabalho com a ajuda do pig. Análise coletada por e hospedada no G2.com.

O que eu não gosto no Apache Pig é que a depuração de erros consome a maior parte do tempo de desenvolvimento, pois às vezes pode ser imaturo/instável. Além disso, a comunidade de suporte é muito menor em comparação com a de problemas do Hadoop MapReduce ou Spark. Análise coletada por e hospedada no G2.com.

Ele pode lidar com algumas das operações matemáticas simples, além de reduzir os dados. Agregar os dados é extremamente útil. Executar funcionalidades de DateTime no Apache Pig é realmente um recurso útil para resultados mais rápidos e ágeis. O Pig trabalha com conjuntos de dados de cerca de 150 a 180 GB por mês e os reduz de forma eficiente em, digamos, 10 a 12 minutos. Eu recomendaria definitivamente o Apache Pig a qualquer pessoa com conhecimentos básicos de codificação no campo da engenharia de transportes, especialmente quando você precisa lidar com grandes conjuntos de dados. Análise coletada por e hospedada no G2.com.

Ele não pode executar operações sequenciais, como pegar linhas consecutivas e depois compará-las. No entanto, a solução alternativa é classificar os segmentos, mesclá-los e depois realizar a tarefa. A principal desvantagem ainda reside no fato de que não pode ser usado para executar loops e loops aninhados em qualquer variável. O Hive pode ser uma escolha melhor em certos casos por esse motivo. Análise coletada por e hospedada no G2.com.

É fácil de aprender e entrar em produção. Ele automatiza tarefas importantes do MapReduce em consultas do tipo SQL. Análise coletada por e hospedada no G2.com.

- Nem todas as tarefas em Big Data podem ser concluídas usando pig. Análise coletada por e hospedada no G2.com.

Facilidade de uso e diversidade. É fácil de ser lido. Análise coletada por e hospedada no G2.com.

Existem outras linguagens desenvolvidas que têm vantagem sobre o pig. Análise coletada por e hospedada no G2.com.

Menos instruções realizam grandes tarefas de coleta, carregamento e consolidação de dados. Análise coletada por e hospedada no G2.com.

Não há ferramentas suficientes para depurar

Exceções incorretas/enganosas Análise coletada por e hospedada no G2.com.

Apache Pig é um compilador de primeira passagem, que é mais eficaz ao usar DAG. Análise coletada por e hospedada no G2.com.

Se você quiser aprofundar e usar estruturas complexas, não é a melhor maneira. Análise coletada por e hospedada no G2.com.

1. Facilidade de uso, seu desempenho

2. MapReduce é totalmente abstraído

3. Capacidade de encadear múltiplos trabalhos MR em um único script Pig

4. Permite que você rapidamente processe grandes volumes de dados para realizar algumas análises Análise coletada por e hospedada no G2.com.

1. Desempenho mais lento em comparação com o Spark

2. Menos suporte, por exemplo, concatenação de strings permite apenas 2 de cada vez, não é possível ordenar e filtrar dentro do Group BY, etc.

3. Não consegue ler outras formas de entrada como csv como parquet, o que o Spark pode fazer

4. O tratamento de erros precisa ser melhor. Não é fácil depurar UDFs Análise coletada por e hospedada no G2.com.

- Sintaxe semelhante ao SQL

- poderosa e rica em recursos Análise coletada por e hospedada no G2.com.

- Muito mais difícil de usar do que o Hive

- leva um tempo para se acostumar e aprender em comparação com o Hive Análise coletada por e hospedada no G2.com.

udaf's facilmente.

gerenciável e fácil de escrever linguagens pig

pode ser transmitido através de python e roteirizado em vez de escrever um trabalho MR Análise coletada por e hospedada no G2.com.

não é tão verdadeiramente escalável quanto escrever um trabalho MR.

junções são fáceis, mas não tão fáceis quanto consultas hive

não lida muito bem com parquet

não é tão rápido e flexível quanto spark Análise coletada por e hospedada no G2.com.