Avis et détails du produit Vespa

Nous avons acheté le produit Enclave qui était vraiment bien adapté pour nous car il nous permettait de faire fonctionner les hôtes dans notre propre compte Google Cloud (à notre tarif avec Google), et ainsi ne nécessitait pas de transfert de données, ce qui était bien aligné avec notre position en matière de sécurité. Il offrait des services de déploiement léger et d'observabilité qui nous manquaient et nous a aidés à démarrer rapidement et avec un investissement minimal.

Le backend de recherche Vespa lui-même correspondait bien à nos exigences de recherche hybride en quasi-temps réel, combinant la recherche d'embeddings de voisins les plus proches avec des filtres d'attributs, de manière distribuée et hautement évolutive. Notre installation cible comprenait plus de 12 To de mémoire répartis sur 24 hôtes et contenait O(1B) d'embeddings vectoriels. Avis collecté par et hébergé sur G2.com.

Vespa, dans un déploiement évolutif, présente une architecture assez complexe avec de nombreux réglages et gadgets. Il a fallu plusieurs mois pour s'y familiariser. Le consultant Vespa a été très instrumental dans ce processus. Alimenter Vespa à partir de BigQuery a été plus difficile que prévu. Les extensions natives ne peuvent être écrites qu'en Java, ce qui, sans une chaîne d'outils Java native dans notre entreprise, s'est avéré trop difficile à poursuivre. La documentation est vaste mais pourrait être mieux organisée et comporter plus d'exemples contextuels à certains endroits. Avis collecté par et hébergé sur G2.com.

La chose la plus utile est le moteur de big data open source, qui aide à traiter et à servir des données à grande échelle en temps réel avec un temps de latence très faible. Ses recommandations de contenu sont très utiles pour l'analyse en temps réel moderne. De plus, il est plus flexible et évolutif avec des techniques de requête avancées, ce qui le rend plus facile à utiliser. Avis collecté par et hébergé sur G2.com.

L'intégration de Vespa avec des systèmes et des flux de travail existants peut être difficile, en particulier si les systèmes étaient basés sur des technologies différentes. La documentation et le support client pour un logiciel open source ne sont pas de premier ordre par rapport aux produits en temps réel. Étant donné qu'il est hautement spécialisé, il peut être excessif pour des applications plus simples ou avec des exigences moins contraignantes. Avis collecté par et hébergé sur G2.com.

Pour notre cas d'utilisation en publicité, Vespa laisse les produits basés sur Apache Lucene loin derrière :

- Débit d'indexation élevé tout en recherchant

- Équipe très, très technique

- Meilleur support technique et conseils de premier ordre

- Plusieurs fois, des discussions ont eu lieu et le lendemain, l'idée était mise en œuvre Avis collecté par et hébergé sur G2.com.

- La recherche est encore coûteuse

- Améliorer les capacités des réseaux de neurones artificiels avec des idées comme DiskANN

- Simplifier la configuration et le test des schémas

- S'appuyer davantage sur les technologies natives du cloud Avis collecté par et hébergé sur G2.com.

Vespa offre un ensemble complet de fonctionnalités que vous rechercheriez dans un moteur de recherche, en particulier dans des capacités de classement plus avancées (par exemple, en tirant parti des modèles d'apprentissage automatique) et des performances supérieures à ce qu'Elasticsearch offre par défaut. Ils font également constamment des avancées dans de nouvelles capacités qui offrent un bel hybride entre les bases de données vectorielles et un moteur de recherche conventionnel. Particulièrement pour notre problème commercial chez OkCupid de recommander des correspondances potentielles à des millions d'autres utilisateurs en fonction d'une myriade de facteurs et d'algorithmes de classement, Vespa était un excellent choix pour non seulement répondre à ces cas d'utilisation, mais aussi améliorer les flux de travail de développement et d'itération de notre équipe dans notre système de recommandations.

L'équipe Vespa est également très active sur Slack : https://vespatalk.slack.com/ssb/redirect et véritablement collaborative. Dans mon cas, nous avons travaillé ensemble avec un ingénieur de leur équipe qui a aidé à apporter des modifications d'amélioration dans le moteur pour nous aider à répondre à nos cas d'utilisation. Avis collecté par et hébergé sur G2.com.

L'un des défis dans le passé concernait la documentation et la connaissance générale de la communauté et l'expertise. Leur documentation a depuis subi une refonte substantielle. Avis collecté par et hébergé sur G2.com.

Capacités de recherche puissantes : Le moteur de recherche de Vespa.ai offre des résultats extrêmement rapides et très pertinents, même pour des requêtes complexes sur de vastes ensembles de données. Leurs capacités linguistiques avancées garantissent une compréhension précise de l'intention de la requête.

Architecture évolutive : Je n'ai jamais à m'inquiéter de la mise à l'échelle avec l'offre cloud de Vespa.

Filtrage et classement riches : Vespa offre des capacités étendues pour le filtrage, le classement et le mélange des résultats en fonction de plusieurs critères et modèles d'apprentissage automatique. Nous tirons parti de leurs classements HNSW et BM25.

Intégration de l'apprentissage automatique : Leur intégration étroite avec des cadres d'apprentissage automatique avancés comme TensorFlow et PyTorch permet un déploiement facile de modèles d'apprentissage automatique personnalisés pour le classement, les recommandations et d'autres cas d'utilisation.

Support client de premier ordre : L'équipe Vespa a été extrêmement réactive à mes questions concernant la mise en œuvre de certaines fonctionnalités. Avis collecté par et hébergé sur G2.com.

Il peut y avoir une courbe d'apprentissage abrupte lors de l'intégration au produit, bien que cela vaille bien l'investissement en temps. Avis collecté par et hébergé sur G2.com.

Je peux créer des applications de recommandation et déployer des inférences d'apprentissage automatique en temps réel en utilisant cette pile. Un tel niveau de fonctionnalité est ce dont nous avons besoin pour nos applications de recherche à grande échelle. Avis collecté par et hébergé sur G2.com.

L'initialisation et le fonctionnement ultérieur de Vespa, en fait, nécessitent un niveau significatif de configuration du système. Cela peut être un peu obscur parfois et pour résoudre les problèmes, il faut vraiment apprécier l'environnement sous-jacent. Avis collecté par et hébergé sur G2.com.

Évolutivité prouvée avec des déploiements à l'échelle planétaire. Utilisé en interne chez Yahoo.

Auto-hébergé avec Docker et Kubernetes, ou hébergé dans le cloud avec mise à l'échelle automatique et mises à jour automatisées.

Déploiement à partir de la configuration, avec API ou CLI.

Recherche vectorielle avec modèles d'intégration auto-hébergés et distants.

Recherche hybride.

Langage de classement très puissant.

Multi-étapes : récupération, classement, reclassement.

Excellent support sur GitHub. Avis collecté par et hébergé sur G2.com.

L'architecture interne est flexible mais complexe à maîtriser. La documentation était autrefois déroutante, mais elle s'améliore. Avis collecté par et hébergé sur G2.com.

J'aime les crédits cloud open-source et gratuits de 300 dollars pour héberger les applications en direct. Avis collecté par et hébergé sur G2.com.

Je pense qu'il devrait y avoir plus de travail de documentation en attente et nécessaire car j'explore encore la partie IA et base de données vectorielles.

Quoi qu'il en soit, je suis heureux de contribuer à l'open source en tant que contributeur. Avis collecté par et hébergé sur G2.com.