# AWS Data Pipeline Reviews **Vendor:** Amazon Web Services (AWS) **Category:** [Ferramentas ETL](https://www.g2.com/pt/categories/etl-tools) **Average Rating:** 4.1/5.0 **Total Reviews:** 24 ## About AWS Data Pipeline AWS Data Pipeline é um serviço web que ajuda a processar e mover dados entre diferentes serviços de computação e armazenamento da AWS, assim como fontes de dados locais, em intervalos especificados. ## AWS Data Pipeline Reviews ### 1. Fácil de configurar pipeline para transformação de dados **Rating:** 4.5/5.0 stars **Reviewed by:** Usuário Verificado em Tecnologia da Informação e Serviços | Médio Porte (51-1000 emp.) **Reviewed Date:** December 15, 2021 **O que você mais gosta em AWS Data Pipeline?** Fácil executar um trabalho Spark como uma etapa no pipeline. O console da AWS possui uma interface de arrastar e soltar para construir o esquema do pipeline, e funciona muito bem. **O que você não gosta em AWS Data Pipeline?** Faltam alguns recursos. Não consegui executar um trabalho sob demanda, apenas um agendado. Não suporta várias versões do mesmo pipeline. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Criando trabalhos de ETL ### 2. Estável e Cumpre a Tarefa, Parece um Pouco Datar às Vezes **Rating:** 4.0/5.0 stars **Reviewed by:** Usuário Verificado em Cosméticos | Pequena Empresa (50 ou menos emp.) **Reviewed Date:** July 23, 2018 **O que você mais gosta em AWS Data Pipeline?** Uma maneira bastante direta de executar trabalhos em lote, seja ETLs ou algum outro tipo de trabalho baseado em CRON. A ferramenta é bastante personalizável com o que pode ser feito (scripts de shell arbitrários) e integra-se bem com S3 e EC2. **O que você não gosta em AWS Data Pipeline?** Há momentos em que algo que deveria simplesmente funcionar é muito difícil. Por exemplo, a AMI padrão da instância EC2 era muito, muito antiga e, portanto, as ferramentas instaladas nela precisavam ser todas atualizadas antes de serem usadas (como o AWS CLI). Tudo pode ser personalizado, no entanto, incluindo a imagem, mas isso leva um pouco de tempo para funcionar e pode ser confuso quando se está apenas começando. Este exemplo específico foi resolvido, mas há outros que são semelhantes. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Estamos realizando ETL de dados e executando trabalhos de transformação em lote. O AWS Data Pipeline nos permite fazer tudo isso, embora definitivamente haja alguns custos de configuração envolvidos. ### 3. O pipeline de dados é muito bom e fácil. **Rating:** 5.0/5.0 stars **Reviewed by:** Sakshi J. | Médio Porte (51-1000 emp.) **Reviewed Date:** July 27, 2018 **O que você mais gosta em AWS Data Pipeline?** serviço gerenciado pela Amazon para mover dados de uma fonte para outra de forma muito rápida e automatizada, com alta disponibilidade de maneira confiável. podemos modificar ou definir a que horas precisamos executar isso e só somos cobrados quando usamos, serviço muito bom e gerenciado pela Amazon, muito confiável, flexível e de baixo custo para usar. **O que você não gosta em AWS Data Pipeline?** às vezes, o pipeline fica preso aguardando dependências, caso contrário, todas as coisas são muito boas neste serviço fornecido pela AWS. **Recomendações a outras pessoas considerando AWS Data Pipeline:** Está resolvendo o principal problema do sistema bancário, que é o processamento de dados de maneira muito fácil e rápida, todos deveriam usar isso. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Sua solução de técnicas de processamento de dados com dados em tempo real, fácil de usar, rápida e flexível. ### 4. Processar e mover dados de forma confiável entre diferentes serviços de computação e armazenamento da AWS **Rating:** 4.5/5.0 stars **Reviewed by:** Usuário Verificado em Serviços Financeiros | Médio Porte (51-1000 emp.) **Reviewed Date:** July 26, 2018 **O que você mais gosta em AWS Data Pipeline?** Gosto de como a AWS cria facilmente cargas de trabalho de processamento de dados complexas que são tolerantes a falhas, repetíveis e altamente disponíveis. Você não precisa se preocupar em garantir a disponibilidade de recursos, gerenciar dependências entre tarefas, repetir falhas transitórias ou timeouts em tarefas individuais, ou criar um sistema de notificação de falhas. O AWS Data Pipeline também permite mover e processar dados que estavam anteriormente bloqueados em silos de dados locais. **O que você não gosta em AWS Data Pipeline?** O Data Pipeline às vezes é difícil de utilizar. A parte mais difícil do uso do AWS Data Pipeline são as mensagens de erro, que ocorrem muito facilmente. Não gosto do fato de não haver notificações de tempo, o que torna difícil utilizar plenamente alguns dos recursos. Às vezes, é impossível entender exatamente quais são os problemas neste programa, e é difícil entender o que exatamente falhou, já que é um serviço da Amazon. **Recomendações a outras pessoas considerando AWS Data Pipeline:** A menos que você tenha seu próprio departamento de TI para desenvolver seu próprio pipeline, a AWS é uma ótima solução terceirizada para armazenamento e uso de dados. O sistema pode ser manipulado para resolver problemas específicos de transferência de dados. O recurso de agendamento permite criar automaticamente funções que são usadas em horários pré-agendados. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** O pipeline de dados entre armazenamento e o usuário final é contínuo. Antes do AWS data pipeline, tínhamos que importar conjuntos de dados manualmente. Agora, agendamos esses processos para funcionar de forma automatizada. ### 5. o aws data pipeline é um serviço gerenciado muito bom da aws **Rating:** 5.0/5.0 stars **Reviewed by:** Usuário Verificado em Telecomunicações | Médio Porte (51-1000 emp.) **Reviewed Date:** July 26, 2018 **O que você mais gosta em AWS Data Pipeline?** É um serviço muito bom e gerenciado fornecido pela Amazon para mover dados de uma fonte para outra com alta disponibilidade e processo confiável. Podemos configurá-lo nas fontes de dados e modificá-lo para definir em qual intervalo de tempo precisamos executá-lo, ele funciona automaticamente e envia os dados. É um serviço muito simples, fácil de usar, flexível, confiável e de baixo custo. **O que você não gosta em AWS Data Pipeline?** tem todas as vantagens, mas às vezes o pipeline fica preso esperando por um componente de dependência. Caso contrário, é um serviço muito útil e muito bom. **Recomendações a outras pessoas considerando AWS Data Pipeline:** Serviço muito bom e em tempo real, principalmente utilizado por empresas, e todos deveriam usá-lo. Está resolvendo os principais problemas do nosso negócio para transferência de dados. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Está resolvendo muito nossos problemas de transferência de dados em tempo real, o AWS Data Pipeline é um serviço muito útil no qual podemos enviar dados de uma fonte para outra, como de S3, RDS, instâncias, e Lambda é como serviços de pipeline de dados que a maioria das empresas está usando hoje, o que é muito rápido e útil. ### 6. O pipeline de dados poderia ser melhorado **Rating:** 3.5/5.0 stars **Reviewed by:** Vinod Kumar S. | Data Engineer, Empresa (> 1000 emp.) **Reviewed Date:** November 29, 2018 **O que você mais gosta em AWS Data Pipeline?** facilidade de uso com a interface do usuário e o recurso de arrastar e soltar **O que você não gosta em AWS Data Pipeline?** ETL personalizado difícil de gerenciar e envolveu muito arrastar e soltar. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** ETLs personalizados ### 7. Funciona muito bem, mas está em modo de manutenção **Rating:** 4.0/5.0 stars **Reviewed by:** Usuário Verificado em Software de Computador | Médio Porte (51-1000 emp.) **Reviewed Date:** November 29, 2018 **O que você mais gosta em AWS Data Pipeline?** O Data Pipeline se integra muito bem com o EMR, e é fácil implantar pipelines via CloudFormation, tornando a automação possível. Nós o usamos para gerenciar fluxos de trabalho complexos de map-reduce e geralmente funciona de forma bastante suave. **O que você não gosta em AWS Data Pipeline?** O fato de estar em modo de manutenção significa que os bugs e pedidos de funcionalidades não são tratados de maneira oportuna. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Agendamento e orquestração de fluxos de trabalho de map-reduce. ### 8. data pipeline é fácil de usar e serviço gerenciado **Rating:** 5.0/5.0 stars **Reviewed by:** Bhupesh b. | Software Developer, Médio Porte (51-1000 emp.) **Reviewed Date:** July 28, 2018 **O que você mais gosta em AWS Data Pipeline?** aws data pipeline é um serviço gerenciado e confiável muito bom que nos ajuda a resolver o serviço de dados de uma fonte para outra e ajuda a resolver problemas de filtragem de dados, estamos usando problemas de fonte de dados e serviço muito útil. **O que você não gosta em AWS Data Pipeline?** Sua principal aversão é o custo e, às vezes, os dados ficam presos no pipeline. **Recomendações a outras pessoas considerando AWS Data Pipeline:** É resolver problemas de dados, como enviar dados de um lugar para outro. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Seu serviço resolve o principal problema de enviar dados de uma fonte para outra. ### 9. Amazon Web Service Data Pipeline **Rating:** 4.5/5.0 stars **Reviewed by:** Aishwarya S. | Data Science and Machine Learning Intern, Educação Superior, Médio Porte (51-1000 emp.) **Reviewed Date:** July 28, 2018 **O que você mais gosta em AWS Data Pipeline?** amazon web service data pipeline é um recurso incrível do AWS. é uma grande comodidade para um cientista de dados. **O que você não gosta em AWS Data Pipeline?** Eu diria que não há nada sobre o Amazon Web Service Data Pipeline que eu não goste. É uma ferramenta incrível para ser usada. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Eu sou um estudante na Columbia e eu o usei para alguns dos meus projetos. Foi uma experiência muito boa usá-lo, pois ele agiliza seu trabalho. ### 10. Conecte vários Amazon Web Services em um único fluxo de trabalho **Rating:** 5.0/5.0 stars **Reviewed by:** Usuário Verificado em Software de Computador | Pequena Empresa (50 ou menos emp.) **Reviewed Date:** July 25, 2018 **O que você mais gosta em AWS Data Pipeline?** O AWS Data Pipeline possui uma ferramenta de design baseada em GUI que facilita muito a compreensão do fluxo de trabalho e a configuração de alguns dos fluxos de trabalho complexos de forma fácil. **O que você não gosta em AWS Data Pipeline?** O recurso leva um pouco mais de tempo para configurar a partir do pipeline de dados diretamente. No meu caso, eu uso um cluster Amazon EMR em conjunto com uma função Lambda. A Lambda executa rapidamente, mas o EMR leva muito tempo para configurar, mesmo depois que os recursos são provisionados e o cluster está pronto para aceitar trabalhos, o primeiro trabalho chega ao cluster muito tarde, quase 9-10 minutos de atraso. **Recomendações a outras pessoas considerando AWS Data Pipeline:** Ótima ferramenta para automação de fluxo de trabalho **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Automação de trabalhos do Amazon EMR em uma arquitetura baseada em agendamento. Não há necessidade de interação humana uma vez que o pipeline seja testado para erros. ### 11. Boa experiência **Rating:** 4.5/5.0 stars **Reviewed by:** Usuário Verificado em Serviços Financeiros | Empresa (> 1000 emp.) **Reviewed Date:** November 27, 2018 **O que você mais gosta em AWS Data Pipeline?** Experiência de navegação e operação fácil. Não requer muita orientação dos processos existentes de construção de pipeline. **O que você não gosta em AWS Data Pipeline?** Eu não tenho nada que eu não goste sobre o produto. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Atualmente, não há pipelines em produção - apenas testando no momento. ### 12. melhor para a pilha AWS **Rating:** 4.5/5.0 stars **Reviewed by:** Usuário Verificado em Seguros | Empresa (> 1000 emp.) **Reviewed Date:** November 29, 2018 **O que você mais gosta em AWS Data Pipeline?** fácil de usar e configurar, funciona perfeitamente com todos os serviços da AWS **O que você não gosta em AWS Data Pipeline?** às vezes é preciso esperar pela aprovação e o processo com o codedeploy pode demorar uma eternidade. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** automação ci/cd, benefício para todas as tarefas de devops ### 13. Pipeline de Dados **Rating:** 5.0/5.0 stars **Reviewed by:** Usuário Verificado em Software de Computador | Empresa (> 1000 emp.) **Reviewed Date:** November 28, 2018 **O que você mais gosta em AWS Data Pipeline?** A interface de usuário/experiência do usuário é muito informativa e intuitiva. **O que você não gosta em AWS Data Pipeline?** A maioria dos modelos não está atualizada, como o de backups no DynamoDB. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Processo EMR ### 14. Orquestre trabalhos em lote **Rating:** 4.5/5.0 stars **Reviewed by:** Usuário Verificado em Marketing e Publicidade | Médio Porte (51-1000 emp.) **Reviewed Date:** November 28, 2018 **O que você mais gosta em AWS Data Pipeline?** Somos capazes de criar clusters transitórios para processamento em lote **O que você não gosta em AWS Data Pipeline?** O tempo necessário para iniciar clusters EMR leva um tempo considerável. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Orquestração de processamento em lote ### 15. Pipeline de dados **Rating:** 3.5/5.0 stars **Reviewed by:** Usuário Verificado em Serviços Financeiros | Empresa (> 1000 emp.) **Reviewed Date:** November 27, 2018 **O que você mais gosta em AWS Data Pipeline?** Se a empresa está buscando escala, então um bom produto **O que você não gosta em AWS Data Pipeline?** Não é uma ferramenta eficiente. Preciso criar alguns scripts de build personalizados. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Mova os dados ### 16. Bom ferramenta para usar **Rating:** 4.0/5.0 stars **Reviewed by:** sujeet k. | Information Technology Infrastructure, Telecomunicações, Médio Porte (51-1000 emp.) **Reviewed Date:** July 29, 2018 **O que você mais gosta em AWS Data Pipeline?** AWS é amigável ao usuário, é confiável, podemos gerenciar grandes projetos facilmente. **O que você não gosta em AWS Data Pipeline?** É difícil configurar. AWS consome espaço. Pipeline e componente geralmente travam. **Recomendações a outras pessoas considerando AWS Data Pipeline:** Code Pipeline é melhor do que data pipeline. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** O processo ETL é realizado em nossa empresa. ### 17. Apenas começou a usar o sistema **Rating:** 3.5/5.0 stars **Reviewed by:** Michael B. | Prospect Analysis and Development, Médio Porte (51-1000 emp.) **Reviewed Date:** July 26, 2018 **O que você mais gosta em AWS Data Pipeline?** A capacidade de gerenciar tarefas e dados relacionados; particularmente em projetos maiores **O que você não gosta em AWS Data Pipeline?** Recentemente trouxe a bordo, então os problemas que estamos enfrentando estão principalmente relacionados à curva de aprendizado de um novo sistema. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Dados associados ao nosso pipeline ### 18. A melhor ferramenta que conhecemos **Rating:** 4.0/5.0 stars **Reviewed by:** Suresh S. | USE SONY SPEAKER, Médio Porte (51-1000 emp.) **Reviewed Date:** June 23, 2018 **O que você mais gosta em AWS Data Pipeline?** ferramenta muito conveniente para migração de dados de um banco de dados para outro, não importa qual banco de dados estamos usando **O que você não gosta em AWS Data Pipeline?** Nada por enquanto até o momento em que possamos algo para comparar com outros serviços de fornecedores. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** É usado quando precisamos importar e exportar dados do DynamoDB através deste produto. ### 19. Coisas legais **Rating:** 5.0/5.0 stars **Reviewed by:** Jay P. | Data Scientist - Big Data and Analytics, Automotivo, Empresa (> 1000 emp.) **Reviewed Date:** July 30, 2018 **O que você mais gosta em AWS Data Pipeline?** Velocidade incrível - ferramenta super legal para trabalhar **O que você não gosta em AWS Data Pipeline?** A versão licenciada é cara e leva tempo para o usuário inicial se familiarizar. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** A integração e a simplificação de dados nunca foram tão fáceis. ### 20. Fácil de usar | Personalizável | Construtor de pipeline de dados confiável **Rating:** 4.0/5.0 stars **Reviewed by:** Usuário Verificado em Internet | Empresa (> 1000 emp.) **Reviewed Date:** July 28, 2018 **O que você mais gosta em AWS Data Pipeline?** Pode ser personalizado muito facilmente, então pode ser usado por não programadores também para realizar o trabalho. Muito confiável e tolerante a falhas. **O que você não gosta em AWS Data Pipeline?** Não tem suporte para muitos novos bancos de dados de código aberto. **Recomendações a outras pessoas considerando AWS Data Pipeline:** Recomendo a todos que experimentem. É útil, pois pode economizar muito tempo na construção do nosso próprio pipeline de dados. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** construiu um pipeline de processamento de dados para otimizar APIs que tinham um grande tráfego ### 21. Melhor opção para transferir dados entre dispositivos de armazenamento **Rating:** 4.0/5.0 stars **Reviewed by:** Usuário Verificado em Telecomunicações | Médio Porte (51-1000 emp.) **Reviewed Date:** July 17, 2018 **O que você mais gosta em AWS Data Pipeline?** Fácil de usar, confiável, pois tenta novamente em caso de falha. **O que você não gosta em AWS Data Pipeline?** Consome espaço, é difícil de configurar e apresenta atrasos em uma internet lenta. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Em caso de emergência, transferimos dados de um servidor para outro com a ajuda do AWS DP. ### 22. Uma boa alternativa de banco de dados **Rating:** 3.5/5.0 stars **Reviewed by:** Usuário Verificado em Software de Computador | Pequena Empresa (50 ou menos emp.) **Reviewed Date:** July 28, 2018 **O que você mais gosta em AWS Data Pipeline?** Simplicidade em comparação com software como SQL **O que você não gosta em AWS Data Pipeline?** A integração com algo além da AWS poderia ser mais forte. **Recomendações a outras pessoas considerando AWS Data Pipeline:** Puxe o gatilho! **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** É uma ferramenta de banco de dados mais barata e simples de usar. Não há muito mais a dizer. ### 23. Json blob é uma maneira horrível de organizar trabalhos **Rating:** 0.5/5.0 stars **Reviewed by:** Usuário Verificado em Internet | Médio Porte (51-1000 emp.) **Reviewed Date:** November 19, 2017 **O que você mais gosta em AWS Data Pipeline?** A única coisa que posso apreciar é que, uma vez configurado, está tudo bem. **O que você não gosta em AWS Data Pipeline?** Realmente deveria ser redesenhado, pois um blob JSON é uma maneira terrível de organizar trabalhos SQL. Por que as coisas não podem ser agendadas como um calendário ou solicitação de reunião? **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Nós o usamos para o nosso processo ETL. ### 24. Poderoso, mas precisa de melhores ferramentas de GUI **Rating:** 3.0/5.0 stars **Reviewed by:** Sheehan A. | Software Engineering Manager, Pro Team Services, Esportes, Médio Porte (51-1000 emp.) **Reviewed Date:** October 23, 2016 **O que você mais gosta em AWS Data Pipeline?** AWS Data Pipeline torna muito fácil começar e mover dados entre várias fontes. Se você já está usando serviços AWS como S3 ou Redshift, o Data Pipeline reduz significativamente as linhas de código/aplicações necessárias para mover dados entre fontes de dados AWS. É uma maneira boa e simples de realizar movimentações básicas de dados. Pipeline faz tentativas novamente, fornece erros e possui um painel que mostra todos os trabalhos que estão na fila. **O que você não gosta em AWS Data Pipeline?** O Data Pipeline pode ser uma caixa preta às vezes. As mensagens de erro não são boas, e é difícil entender o que exatamente falhou, já que é um serviço da Amazon. O agendador não fornece notificações oportunas às vezes, então é difícil determinar o verdadeiro estado do data pipeline. **Recomendações a outras pessoas considerando AWS Data Pipeline:** Se você é uma pequena empresa e não quer gastar recursos construindo seu próprio pipeline, use AWS. É pronto para uso, faz o trabalho e você pode aprender a contornar algumas de suas deficiências. Ele fornece uma ótima maneira de agendar o movimento de dados. **Que problemas AWS Data Pipeline está resolvendo e como isso está beneficiando você?** Temos vários trabalhos de ETL que são executados em um pipeline de dados. Movemos dados entre várias fontes para um data warehouse para relatórios finais. O pipeline de dados é usado para mover todos os dados para um único data lake e, em seguida, executar etapas de pré-processamento antes de carregar no data warehouse. ## AWS Data Pipeline Discussions - [Para que é usado o AWS Data Pipeline?](https://www.g2.com/pt/discussions/what-is-aws-data-pipeline-used-for) - [View AWS Data Pipeline pricing details and edition comparison](https://www.g2.com/pt/products/aws-data-pipeline/reviews?section=pricing&secure%5Bexpires_at%5D=2026-05-14+02%3A42%3A13+-0500&secure%5Bsession_id%5D=99ef7a44-f3b0-494f-b8ce-d8b5f64f38d2&secure%5Btoken%5D=cf0238660505165d47dfb677a18fc5cf622d887b0057f0a04bbe4b99304634b9&format=llm_user) ## AWS Data Pipeline Features **Gestão** - Relatórios - Auditoria **Funcionalidade** - Extração - Transformação - A carregar - Automação - Escalabilidade ## Top AWS Data Pipeline Alternatives - [Azure Data Factory](https://www.g2.com/pt/products/azure-data-factory/reviews) - 4.6/5.0 (94 reviews) - [Apache NiFi](https://www.g2.com/pt/products/apache-nifi/reviews) - 4.2/5.0 (26 reviews) - [Fivetran](https://www.g2.com/pt/products/fivetran/reviews) - 4.3/5.0 (776 reviews)