Visão Geral de Preços Decodable

Eu planejei experimentar o Decodable para talvez, em algum dia futuro, migrar um pipeline que antes era em lotes. Funcionou bem e foi barato, mas eu nunca tive dados em tempo real para testar.

Depois de cerca de 3 horas mexendo em uma tarde lenta de terça-feira, não só terminei meus testes, mas na verdade migrei todo o pipeline. E reduzi a dívida técnica ao mesmo tempo, já que agora há menos sistemas para manter.

Conferi meu fluxo algumas vezes, mas nunca precisei ajustar nada (até agora). Simplesmente funciona. Análise coletada por e hospedada no G2.com.

Meu fluxo processa apenas cerca de 1 a 2 registros por segundo - até mesmo as pequenas tarefas são excessivas para isso. Para economizar energia e recursos, tamanhos de tarefas ainda menores (talvez compartilhando recursos de tarefas?) seriam legais :) Análise coletada por e hospedada no G2.com.

Decodable é uma ferramenta que desbloqueia muitos casos de uso para nós que anteriormente não eram alcançáveis para nossa equipe. Com nossos pipelines de IA, precisamos que as atualizações dos clientes entrem em vigor imediatamente. Por exemplo, se eles alterarem um documento (PDF, DOCX), precisamos que ele seja atualizado e reindexado em nossos bancos de dados vetoriais para que a nova informação possa ser apresentada nos pipelines de IA. Seria impossível realizar essas atualizações de maneira oportuna se dependêssemos de trabalhos em lote.

Decodable é muito eficaz em simplificar o monitoramento dessas atualizações (através de Captura de Dados de Mudança) e executar as atualizações através de um pipeline personalizado para nós. Para casos de uso que literalmente só precisam mover dados de um ponto A para um ponto B, Decodable é muito mais simples e não requer muita manutenção de código.

O streaming em tempo real sempre exigirá esforço e requererá um pensamento diferente. A equipe do Decodable fez um ótimo trabalho em abstrair uma grande quantidade da complexidade, permitindo-nos focar em nossa lógica de negócios. O suporte tem sido excelente o tempo todo, o que é importante para uma equipe como a nossa que não estava acostumada com Flink.

Quando se trata de simplificar a infraestrutura para necessidades de streaming, é aqui que Decodable realmente se destaca. Não somos incomodados por manter o tempo de atividade da infraestrutura do Kafka e Flink, o que pode ser muito trabalho. Análise coletada por e hospedada no G2.com.

A equipe do Decodable se move rapidamente, mas como um dos primeiros adotantes, certamente tivemos que nos ajustar a algumas das limitações. Por exemplo, usamos Java Flink, mesmo que nossa equipe estivesse mais confortável com Python. Um mês após essa decisão, o PyFlink Beta foi lançado. Também tivemos que fazer algum trabalho extra em torno de CI/CD. No ritmo do Decodable, estou confiante de que eles terão um produto significativamente refinado nos próximos meses. A equipe de suporte tem sido super responsiva para nós. Se nosso cronograma fosse um ou dois meses mais tarde, teríamos tido um tempo muito mais fácil.

Semelhante ao acima, o processo de atualização de pipelines ainda não está totalmente refinado. Requer um pouco de trabalho extra da nossa parte para escrever alguns scripts para ajudar.

Batch vs streaming também pode exigir uma mudança de mentalidade que leva tempo para se acostumar. Por exemplo, joins são significativamente mais complicados. Isso não é culpa da equipe do Decodable, é apenas um fato da vida que o streaming será um pouco mais complicado. Análise coletada por e hospedada no G2.com.