Decodable Preisübersicht

Ich hatte geplant, Decodable auszuprobieren, um vielleicht an einem späteren Tag eine zuvor gebündelte Pipeline zu migrieren. Es funktionierte gut und war günstig, aber ich hatte nie Echtzeitdaten zum Testen.

Nach etwa 3 Stunden Herumprobieren an einem langsamen Dienstagnachmittag hatte ich nicht nur meine Tests abgeschlossen, sondern tatsächlich die gesamte Pipeline migriert. Und dabei die technische Schuld reduziert, da es jetzt weniger Systeme zu warten gibt.

Ich habe ein paar Mal bei meinem Stream nachgesehen, musste aber bisher nichts anpassen. Es funktioniert einfach. Bewertung gesammelt von und auf G2.com gehostet.

Mein Stream verarbeitet nur etwa 1 bis 2 Datensätze pro Sekunde - selbst die kleinen Aufgaben sind dafür überdimensioniert. Um Energie und Ressourcen zu sparen, wären noch kleinere Aufgabengrößen (vielleicht durch das Teilen von Aufgabenressourcen?) cool :) Bewertung gesammelt von und auf G2.com gehostet.

Decodable ist ein Werkzeug, das viele Anwendungsfälle für uns erschließt, die zuvor für unser Team nicht erreichbar waren. Mit unseren KI-Pipelines benötigen wir, dass Kundenaktualisierungen sofort wirksam werden. Wenn sie beispielsweise ein Dokument (PDF, DOCX) ändern, muss es aktualisiert und in unseren Vektordatenbanken neu indexiert werden, damit die neuen Informationen in den KI-Pipelines verfügbar sind. Es wäre unmöglich, diese Aktualisierungen rechtzeitig durchzuführen, wenn wir uns auf Batch-Jobs verlassen würden.

Decodable ist sehr effektiv bei der Vereinfachung der Überwachung dieser Aktualisierungen (durch Change Data Capture) und führt die Aktualisierungen durch eine benutzerdefinierte Pipeline für uns aus. Für Anwendungsfälle, die buchstäblich nur Daten von Punkt A nach Punkt B verschieben müssen, ist Decodable viel einfacher und erfordert nicht viel Code-Wartung.

Echtzeit-Streaming wird immer Aufwand erfordern und ein anderes Denken erfordern. Das Decodable-Team hat sehr gute Arbeit geleistet, indem es eine enorme Menge an Komplexität abstrahiert hat, sodass wir uns auf unsere Geschäftslogik konzentrieren können. Der Support war die ganze Zeit über großartig, was für ein Team wie unseres wichtig ist, das nicht an Flink gewöhnt war.

Wenn es darum geht, die Infrastruktur für Streaming-Anforderungen zu vereinfachen, glänzt Decodable wirklich. Wir werden nicht durch die Aufrechterhaltung der Betriebszeit der Kafka- und Flink-Infrastruktur gestört, was viel Arbeit sein kann. Bewertung gesammelt von und auf G2.com gehostet.

Das Decodable-Team bewegt sich schnell, aber als einer der früheren Anwender mussten wir uns sicherlich an einige der Einschränkungen anpassen. Zum Beispiel verwendeten wir Java Flink, obwohl unser Team sich in Python wohler fühlte. Einen Monat nach dieser Entscheidung wurde PyFlink Beta eingeführt. Wir mussten auch einige zusätzliche Arbeiten rund um CI/CD erledigen. Bei dem Tempo von Decodable bin ich jedoch zuversichtlich, dass sie in den nächsten Monaten ein deutlich verfeinertes Produkt haben werden. Das Support-Team war für uns sehr reaktionsschnell. Wenn unser Zeitplan nur ein bis zwei Monate später gewesen wäre, hätten wir es viel einfacher gehabt.

Ähnlich wie oben ist der Prozess rund um die Aktualisierung von Pipelines noch nicht ganz ausgereift. Es erfordert ein wenig zusätzliche Arbeit unsererseits, um einige Skripte zu schreiben, die helfen.

Batch vs. Streaming kann auch einen Denkweisenwechsel erfordern, an den man sich gewöhnen muss. Zum Beispiel sind Joins erheblich komplizierter. Dies ist jedoch nicht die Schuld des Decodable-Teams, es ist einfach eine Tatsache des Lebens, dass Streaming etwas komplizierter sein wird. Bewertung gesammelt von und auf G2.com gehostet.