Avis et détails du produit BentoML

J'aime vraiment la façon dont le cadre de bentoml est conçu pour gérer le trafic entrant, j'aime vraiment sa fonctionnalité de travailleurs. En tant que développeur d'IA exécutant des modèles NLP sur une échelle, il est crucial que bentoml m'aide à construire facilement un service qui peut accepter plusieurs demandes à l'aide des travailleurs. J'aime aussi sa fonctionnalité de construction de bento et de dockerisation. Dans la méthode traditionnelle pour dockeriser, nous créons un service flask, django ou gradio... et ensuite écrivons un dockerfile, initialisons un support nvidia dans docker, tout cela est le travail d'un ingénieur devops, mais bentoml vient à la rescousse ici. Il suffit d'écrire un bentofile.yaml où vous spécifiez votre service, la version cuda, les bibliothèques à installer, les paquets système à installer, puis bentoml build et ensuite bentoml containerize, et voilà, bentoml a juste containerisé pour vous, il a écrit un dockerfile pour vous et a économisé le temps d'écrire un dockerfile et de le construire. J'aime vraiment cela à propos de bentoml. Il a également un bon support client avec un environnement slack où les développeurs de bentoml sont profondément engagés dans la résolution des problèmes des utilisateurs de bentoml auxquels ils sont confrontés. Avis collecté par et hébergé sur G2.com.

La seule chose à propos de bentoml est qu'il n'a pas de support pour AWS SageMaker. Récemment, je déployais mes modèles dans AWS SageMaker, mais bentoml n'avait pas de méthodes de dockerisation pour AWS SageMaker. Eh bien, il avait une bibliothèque appelée bentoctl, mais elle était obsolète. Avis collecté par et hébergé sur G2.com.

Un mot simplicité.

Le service de modèle ML est une bête complexe, et Bento est le seul outil qui en fait une expérience à distance simple. La capacité de lancer un microservice basé sur Docker assez performant pour votre modèle en environ 15 lignes de code m'a sauvé dans de nombreuses situations difficiles.

Les capacités de sauvegarde et de versionnage de modèle de Bento sont également bénéfiques pour résoudre les problèmes liés au déploiement de modèles et à l'efficacité des modèles dans la nature. Cela aide à revenir rapidement et automatiquement aux versions précédentes d'un modèle. Combinées avec le tableau de bord de Yatai Bento pour la surveillance et le cadre de déploiement Kubernetes, ces capacités rendent de nombreuses tâches MLOps indolores.

Enfin, un mot sur les intégrations étendues que BentoML a avec l'écosystème plus large de la science des données en Python. Cela permet à Bento d'être attaché de manière incrémentale et non intrusive à une boîte à outils de science des données. Avis collecté par et hébergé sur G2.com.

La rédaction des configurations pour Bento peut devenir inutilement compliquée et complexe. Cela ressemble à une partie du processus qui pourrait être automatisée dans la bibliothèque plutôt que d'être remplie manuellement.

Le déploiement d'un modèle personnalisé dans Bento est assez difficile. Ce n'est pas impossible, mais ce n'est guère une partie de plaisir non plus, impliquant la création de chargeurs personnalisés et ensuite toutes leurs fonctions de prétraitement.

Le déploiement de Yatai pour une version de production est encore une tâche désagréable. Avis collecté par et hébergé sur G2.com.