Avaliações e Detalhes do Produto AWS Data Pipeline

Fácil executar um trabalho Spark como uma etapa no pipeline. O console da AWS possui uma interface de arrastar e soltar para construir o esquema do pipeline, e funciona muito bem. Análise coletada por e hospedada no G2.com.

Faltam alguns recursos. Não consegui executar um trabalho sob demanda, apenas um agendado. Não suporta várias versões do mesmo pipeline. Análise coletada por e hospedada no G2.com.

Uma maneira bastante direta de executar trabalhos em lote, seja ETLs ou algum outro tipo de trabalho baseado em CRON. A ferramenta é bastante personalizável com o que pode ser feito (scripts de shell arbitrários) e integra-se bem com S3 e EC2. Análise coletada por e hospedada no G2.com.

Há momentos em que algo que deveria simplesmente funcionar é muito difícil. Por exemplo, a AMI padrão da instância EC2 era muito, muito antiga e, portanto, as ferramentas instaladas nela precisavam ser todas atualizadas antes de serem usadas (como o AWS CLI). Tudo pode ser personalizado, no entanto, incluindo a imagem, mas isso leva um pouco de tempo para funcionar e pode ser confuso quando se está apenas começando. Este exemplo específico foi resolvido, mas há outros que são semelhantes. Análise coletada por e hospedada no G2.com.

serviço gerenciado pela Amazon para mover dados de uma fonte para outra de forma muito rápida e automatizada, com alta disponibilidade de maneira confiável. podemos modificar ou definir a que horas precisamos executar isso e só somos cobrados quando usamos, serviço muito bom e gerenciado pela Amazon, muito confiável, flexível e de baixo custo para usar. Análise coletada por e hospedada no G2.com.

às vezes, o pipeline fica preso aguardando dependências, caso contrário, todas as coisas são muito boas neste serviço fornecido pela AWS. Análise coletada por e hospedada no G2.com.

Gosto de como a AWS cria facilmente cargas de trabalho de processamento de dados complexas que são tolerantes a falhas, repetíveis e altamente disponíveis. Você não precisa se preocupar em garantir a disponibilidade de recursos, gerenciar dependências entre tarefas, repetir falhas transitórias ou timeouts em tarefas individuais, ou criar um sistema de notificação de falhas. O AWS Data Pipeline também permite mover e processar dados que estavam anteriormente bloqueados em silos de dados locais. Análise coletada por e hospedada no G2.com.

O Data Pipeline às vezes é difícil de utilizar. A parte mais difícil do uso do AWS Data Pipeline são as mensagens de erro, que ocorrem muito facilmente. Não gosto do fato de não haver notificações de tempo, o que torna difícil utilizar plenamente alguns dos recursos. Às vezes, é impossível entender exatamente quais são os problemas neste programa, e é difícil entender o que exatamente falhou, já que é um serviço da Amazon. Análise coletada por e hospedada no G2.com.

É um serviço muito bom e gerenciado fornecido pela Amazon para mover dados de uma fonte para outra com alta disponibilidade e processo confiável. Podemos configurá-lo nas fontes de dados e modificá-lo para definir em qual intervalo de tempo precisamos executá-lo, ele funciona automaticamente e envia os dados. É um serviço muito simples, fácil de usar, flexível, confiável e de baixo custo. Análise coletada por e hospedada no G2.com.

tem todas as vantagens, mas às vezes o pipeline fica preso esperando por um componente de dependência. Caso contrário, é um serviço muito útil e muito bom. Análise coletada por e hospedada no G2.com.

facilidade de uso com a interface do usuário e o recurso de arrastar e soltar Análise coletada por e hospedada no G2.com.

ETL personalizado difícil de gerenciar e envolveu muito arrastar e soltar. Análise coletada por e hospedada no G2.com.

O Data Pipeline se integra muito bem com o EMR, e é fácil implantar pipelines via CloudFormation, tornando a automação possível. Nós o usamos para gerenciar fluxos de trabalho complexos de map-reduce e geralmente funciona de forma bastante suave. Análise coletada por e hospedada no G2.com.

O fato de estar em modo de manutenção significa que os bugs e pedidos de funcionalidades não são tratados de maneira oportuna. Análise coletada por e hospedada no G2.com.

aws data pipeline é um serviço gerenciado e confiável muito bom que nos ajuda a resolver o serviço de dados de uma fonte para outra e ajuda a resolver problemas de filtragem de dados, estamos usando problemas de fonte de dados e serviço muito útil. Análise coletada por e hospedada no G2.com.

Sua principal aversão é o custo e, às vezes, os dados ficam presos no pipeline. Análise coletada por e hospedada no G2.com.

amazon web service data pipeline é um recurso incrível do AWS. é uma grande comodidade para um cientista de dados. Análise coletada por e hospedada no G2.com.

Eu diria que não há nada sobre o Amazon Web Service Data Pipeline que eu não goste. É uma ferramenta incrível para ser usada. Análise coletada por e hospedada no G2.com.

O AWS Data Pipeline possui uma ferramenta de design baseada em GUI que facilita muito a compreensão do fluxo de trabalho e a configuração de alguns dos fluxos de trabalho complexos de forma fácil. Análise coletada por e hospedada no G2.com.

O recurso leva um pouco mais de tempo para configurar a partir do pipeline de dados diretamente. No meu caso, eu uso um cluster Amazon EMR em conjunto com uma função Lambda. A Lambda executa rapidamente, mas o EMR leva muito tempo para configurar, mesmo depois que os recursos são provisionados e o cluster está pronto para aceitar trabalhos, o primeiro trabalho chega ao cluster muito tarde, quase 9-10 minutos de atraso. Análise coletada por e hospedada no G2.com.