Avaliações e Detalhes do Produto Vespa

Adquirimos o produto Enclave, que foi realmente adequado para nós porque nos permitiu executar os hosts em nossa própria conta do Google Cloud (com nossa precificação com o Google), e assim não exigiu que transferíssemos qualquer dado para fora, o que estava bem alinhado com nossa postura de segurança. Ele forneceu serviços de implantação e observabilidade de baixo impacto que nos faltavam e nos ajudou a iniciar rapidamente e com investimento mínimo.

O próprio backend de busca Vespa ofereceu uma boa correspondência com nossos requisitos de busca híbrida em tempo quase real, combinando busca de embeddings de vizinhos mais próximos com filtros de atributos, de maneira distribuída e altamente escalável. Nossa instalação alvo compreendia mais de 12TB de memória em 24 hosts e continha O(1B) embeddings de vetores. Análise coletada por e hospedada no G2.com.

Vespa, em uma implantação escalável, apresenta uma arquitetura bastante complexa com muitos ajustes e detalhes. Levou vários meses para se familiarizar com eles. O consultor da Vespa foi muito instrumental nisso. Alimentar o Vespa a partir do BigQuery foi mais difícil do que o esperado. As extensões nativas só podem ser escritas em Java, o que, sem uma cadeia de ferramentas Java nativa em nossa empresa, provou ser um desafio muito grande para seguir adiante. A documentação é vasta, mas poderia ser melhor organizada e ter mais exemplos contextuais em alguns lugares. Análise coletada por e hospedada no G2.com.

A coisa mais útil é o motor de big data de código aberto, ajuda a processar e servir dados em grande escala em tempo real com um tempo de latência muito baixo. Suas recomendações de conteúdo são muito úteis para a análise em tempo real moderna. Além disso, é mais flexível e escalável com técnicas de consulta avançadas, o que o torna mais fácil de usar. Análise coletada por e hospedada no G2.com.

Integrar o vespa com sistemas e fluxos de trabalho existentes pode ser desafiador, especialmente se os sistemas forem baseados em tecnologias diferentes. A documentação e o suporte ao cliente para um código aberto não são de primeira linha quando comparados aos produtos em tempo real. Como é altamente especializado, pode ser excessivo para aplicações mais simples ou com requisitos menos exigentes. Análise coletada por e hospedada no G2.com.

Para o nosso caso de uso em publicidade, o Vespa deixa os produtos baseados no Apache Lucene para trás:

- Alta taxa de indexação durante a busca

- Equipe muito, muito técnica

- Melhor suporte técnico e orientação

- Várias vezes, discussões foram feitas e no dia seguinte a ideia foi implementada Análise coletada por e hospedada no G2.com.

- A pesquisa ainda é cara

- Melhorar as capacidades de ANN com ideias como DiskANN

- Simplificar a configuração e teste de esquemas

- Apostar mais em tecnologias nativas da nuvem Análise coletada por e hospedada no G2.com.

A Vespa oferece um conjunto abrangente de recursos que você procuraria em um mecanismo de busca, particularmente em mais capacidades de classificação (por exemplo, aproveitando modelos de ML) e desempenho do que o Elasticsearch oferece por padrão. Eles também estão constantemente fazendo avanços em novas capacidades que oferecem um bom híbrido entre bancos de dados vetoriais e um mecanismo de busca convencional. Particularmente para o nosso problema de negócios na OkCupid de recomendar potenciais correspondências a milhões de outros usuários com base em uma miríade de fatores e algoritmos de classificação, a Vespa foi uma ótima escolha para não apenas atender a esses casos de uso, mas melhorar os fluxos de trabalho de desenvolvimento e iteração da nossa equipe no nosso sistema de recomendações.

A equipe da Vespa também é muito ativa no Slack: https://vespatalk.slack.com/ssb/redirect e genuinamente colaborativa. No meu caso, trabalhamos juntos com um engenheiro da equipe deles que ajudou a implementar mudanças de melhoria no mecanismo para nos ajudar a atender nossos casos de uso. Análise coletada por e hospedada no G2.com.

Um dos desafios no passado era em torno da documentação e do conhecimento e expertise geral da comunidade. A documentação deles desde então passou por uma reformulação substancial. Análise coletada por e hospedada no G2.com.

Capacidades de Busca Poderosas: O mecanismo de busca do Vespa.ai oferece resultados extremamente rápidos e altamente relevantes, mesmo para consultas complexas em grandes conjuntos de dados. Suas capacidades avançadas de linguística garantem uma compreensão precisa da intenção da consulta.

Arquitetura Escalável: Nunca preciso me preocupar com a escalabilidade com a oferta em nuvem do Vespa.

Filtragem e Classificação Ricas: O Vespa oferece capacidades extensas para filtragem, classificação e combinação de resultados com base em múltiplos critérios e modelos de aprendizado de máquina. Aproveitamos suas classificações HNSW e BM25.

Integração com Aprendizado de Máquina: Sua integração estreita com frameworks avançados de aprendizado de máquina como TensorFlow e PyTorch permite a fácil implantação de modelos de ML personalizados para classificação, recomendações e outros casos de uso.

Suporte ao Cliente de Primeira Linha: A equipe do Vespa tem sido extremamente responsiva às minhas perguntas sobre como implementar certos recursos. Análise coletada por e hospedada no G2.com.

Pode haver uma curva de aprendizado acentuada ao integrar-se ao produto, embora valha a pena o investimento de tempo. Análise coletada por e hospedada no G2.com.

Eu posso criar aplicativos de recomendação e implantar inferência de aprendizado de máquina em tempo real usando essa pilha. Tal nível de funcionalidade é o que precisamos para nossas aplicações de busca em larga escala. Análise coletada por e hospedada no G2.com.

A inicialização e o funcionamento subsequente da Vespa, na verdade, exigem um nível significativo de configuração do sistema. Pode ser um pouco obscuro às vezes e, para resolver problemas, é preciso realmente apreciar o ambiente subjacente. Análise coletada por e hospedada no G2.com.

Escalabilidade comprovada com implantações em escala planetária. Usado internamente no Yahoo.

Auto-hospedado com Docker e Kubernetes, ou hospedado na nuvem com escalonamento automático e atualizações automatizadas.

Implantação a partir de configuração, com API ou CLI.

Busca vetorial com modelos de incorporação auto-hospedados e remotos.

Busca híbrida.

Linguagem de classificação muito poderosa.

Multi-estágio: recuperação, classificação, reclassificação.

Ótimo suporte no GitHub. Análise coletada por e hospedada no G2.com.

A arquitetura interna é flexível, mas complexa de dominar.

A documentação costumava ser confusa, mas está melhorando. Análise coletada por e hospedada no G2.com.

Eu gosto dos créditos de nuvem de 300 dólares, de código aberto e gratuitos, para hospedar as aplicações ao vivo. Análise coletada por e hospedada no G2.com.

Sinto que deveria haver mais documentação, o trabalho está pendente e necessário, pois ainda estou explorando a parte de IA e banco de dados vetorial.

De qualquer forma, estou feliz em contribuir para o código aberto como colaborador. Análise coletada por e hospedada no G2.com.