Eu queria ETL dados do AWS Postgres para Snowflake e outras ferramentas de IA. Tentei várias rotas, incluindo movê-los para o S3 e depois para o Snowflake via Snowpipe. Às vezes, o pipeline de dados funcionava, mas às vezes eu tinha que executar manualmente as consultas de cópia.
Depois de fazer algumas pesquisas online, descobri que o Estuary Flow faz a mesma construção de pipeline com alguns cliques.
No mesmo dia, consegui migrar milhões de linhas. Meu custo com S3 foi reduzido e consegui alcançar streaming quase em tempo real. Análise coletada por e hospedada no G2.com.
Estuary pode fazer o trabalho, mas não é muito popular no setor de comércio eletrônico. Eu espero que eles alcancem mais pessoas. Análise coletada por e hospedada no G2.com.





