BentoML Bewertungen & Produktdetails

Ich mag wirklich, wie das Framework von bentoml für die Handhabung eingehender Anfragen gebaut ist. Ich mag besonders die Funktion der Worker, da es für mich als KI-Entwickler, der NLP-Modelle auf skalierbaren Systemen betreibt, entscheidend ist. Bentoml hilft mir, einfach einen Dienst zu erstellen, der mehrere Anfragen mit Hilfe von Workern akzeptieren kann. Ich schätze auch die Funktion des Bento-Bauens und der Dockerisierung. In der traditionellen Methode zur Dockerisierung erstellen wir einen Flask-, Django- oder Gradio-Dienst und schreiben dann eine Dockerfile, um NVIDIA-Unterstützung in Docker zu initialisieren. Dies ist normalerweise die Arbeit eines DevOps-Ingenieurs, aber bentoml kommt hier zur Rettung. Man schreibt einfach eine bentofile.yaml, in der man den Dienst, die CUDA-Version, zu installierende Bibliotheken und Systempakete angibt, und dann einfach bentoml build und bentoml containerize. Boom, bentoml hat es für dich containerisiert, es hat eine Dockerfile für dich geschrieben und die Zeit gespart, eine Dockerfile zu schreiben und zu bauen. Das gefällt mir wirklich an bentoml. Es hat auch einen guten Kundensupport und eine Slack-Umgebung, in der die Entwickler von bentoml stark in die Lösung der Probleme der bentoml-Nutzer eingebunden sind. Bewertung gesammelt von und auf G2.com gehostet.

Die eine Sache bei bentoml ist, dass es kürzlich keine Unterstützung für AWS Sagemaker hat. Ich habe meine Modelle in AWS Sagemaker bereitgestellt, aber bentoml hatte keine Methoden zum Dockerisieren für AWS Sagemaker. Nun, es hatte eine Bibliothek namens bentoctl, aber sie war veraltet. Bewertung gesammelt von und auf G2.com gehostet.

Ein-Wort-Einfachheit.

Der Betrieb von ML-Modellen ist ein komplexes Biest, und Bento ist das einzige Werkzeug, das es zu einer einigermaßen einfachen Erfahrung macht. Die Fähigkeit, einen ziemlich leistungsfähigen, Docker-basierten Mikroservice für Ihr Modell in etwa 15 Codezeilen zu starten, hat mich in vielen schwierigen Situationen gerettet.

Bentos Fähigkeiten zur Modellspeicherung und -versionierung sind auch vorteilhaft, um Probleme sowohl bei der Modellbereitstellung als auch bei der Modelleffizienz in freier Wildbahn zu verfolgen. Es hilft, Versionen eines Modells schnell und automatisch zurückzusetzen. In Kombination mit Yatai Bentos Dashboard zur Überwachung und dem Kubernetes-Bereitstellungsframework machen diese Fähigkeiten viele MLOps-Aufgaben schmerzlos.

Schließlich ein Wort über die umfangreichen Integrationen, die BentoML in das breitere Python Data Science-Ökosystem hat. Dies ermöglicht es, Bento schrittweise und nicht-intrusiv an ein Data-Science-Toolkit anzuschließen. Bewertung gesammelt von und auf G2.com gehostet.

Das Schreiben von Konfigurationen für Bento kann unnötig kompliziert und komplex werden. Es fühlt sich an wie ein Teil des Prozesses, der in der Bibliothek automatisiert werden könnte, anstatt ihn manuell auszufüllen.

Das Bereitstellen eines benutzerdefinierten Modells in Bento ist ziemlich schwierig. Es ist nicht unmöglich, aber es ist auch kein Kinderspiel, da benutzerdefinierte Loader erstellt werden müssen und dann all ihre Vorverarbeitungsfunktionen.

Das Bereitstellen von Yatai für einen Produktionsaufbau ist wiederum eine unangenehme Aufgabe. Bewertung gesammelt von und auf G2.com gehostet.