Vue d'ensemble des tarifs de Decodable

J'avais prévu d'essayer Decodable pour peut-être un jour migrer un pipeline précédemment par lots. Cela a bien fonctionné et était bon marché, mais je n'avais jamais de données en temps réel pour les tests.

Après environ 3 heures de bricolage un mardi après-midi tranquille, non seulement j'ai terminé mes tests, mais j'ai en fait migré tout le pipeline. Et j'ai réduit la dette technique en même temps, car il y a maintenant moins de systèmes à maintenir.

J'ai vérifié mon flux quelques fois, mais je n'ai jamais eu besoin d'ajuster quoi que ce soit (jusqu'à présent). Ça fonctionne tout simplement. Avis collecté par et hébergé sur G2.com.

Mon flux ne traite qu'environ 1 à 2 enregistrements par seconde - même les petites tâches sont surdimensionnées pour cela. Pour économiser de l'énergie et des ressources, des tailles de tâches encore plus petites (peut-être en partageant les ressources des tâches ?) seraient cool :) Avis collecté par et hébergé sur G2.com.

Decodable est un outil qui débloque de nombreux cas d'utilisation pour nous qui n'étaient pas réalisables auparavant pour notre équipe. Avec nos pipelines d'IA, nous avons besoin que les mises à jour des clients prennent effet immédiatement. Par exemple, s'ils modifient un document (PDF, DOCX), nous devons le mettre à jour et le réindexer dans nos bases de données vectorielles afin que la nouvelle information puisse être exploitée dans les pipelines d'IA. Il serait impossible d'effectuer ces mises à jour en temps opportun si nous comptions sur des traitements par lots.

Decodable est très efficace pour simplifier la surveillance de ces mises à jour (via la capture de données de changement) et exécuter les mises à jour via un pipeline personnalisé pour nous. Pour les cas d'utilisation qui nécessitent littéralement seulement de déplacer des données d'un point A à un point B, Decodable est beaucoup plus simple et ne nécessite pas beaucoup de maintenance de code.

Le streaming en temps réel demandera toujours des efforts et nécessitera une réflexion différente. L'équipe de Decodable a fait un très bon travail en abstraisant une grande partie de la complexité, nous permettant de nous concentrer sur notre logique métier. Le support a été excellent tout au long, ce qui est important pour une équipe comme la nôtre qui n'était pas habituée à Flink.

Lorsqu'il s'agit de simplifier l'infrastructure pour les besoins de streaming, c'est là que Decodable excelle vraiment. Nous ne sommes pas préoccupés par le maintien de la disponibilité de l'infrastructure Kafka et Flink, ce qui peut représenter beaucoup de travail. Avis collecté par et hébergé sur G2.com.

L'équipe Decodable évolue rapidement, mais en tant que l'un des premiers adoptants, nous avons certainement dû nous adapter à certaines limitations. Par exemple, nous avons utilisé Java Flink même si notre équipe était plus à l'aise avec Python. Un mois après cette décision, PyFlink Beta a été déployé. Nous avons également dû faire un travail supplémentaire autour de CI/CD. Au rythme de Decodable cependant, je suis convaincu qu'ils auront un produit considérablement affiné dans les prochains mois. L'équipe de support a été très réactive pour nous. Si seulement notre calendrier avait été d'un à deux mois plus tard, nous aurions eu un temps beaucoup plus facile.

Similaire à ce qui précède, le processus de mise à jour des pipelines n'est pas encore tout à fait affiné. Cela nécessite un peu de travail supplémentaire de notre part pour écrire quelques scripts pour aider.

Le traitement par lots par rapport au streaming peut également nécessiter un changement de mentalité qui demande un certain temps d'adaptation. Par exemple, les jointures sont beaucoup plus compliquées. Ce n'est pas la faute de l'équipe Decodable cependant, c'est juste un fait de la vie que le streaming sera un peu plus compliqué. Avis collecté par et hébergé sur G2.com.