J'aime vraiment la façon dont le cadre de bentoml est conçu pour gérer le trafic entrant, j'aime vraiment sa fonctionnalité de travailleurs. En tant que développeur d'IA exécutant des modèles NLP sur une échelle, il est crucial que bentoml m'aide à construire facilement un service qui peut accepter plusieurs demandes à l'aide des travailleurs. J'aime aussi sa fonctionnalité de construction de bento et de dockerisation. Dans la méthode traditionnelle pour dockeriser, nous créons un service flask, django ou gradio... et ensuite écrivons un dockerfile, initialisons un support nvidia dans docker, tout cela est le travail d'un ingénieur devops, mais bentoml vient à la rescousse ici. Il suffit d'écrire un bentofile.yaml où vous spécifiez votre service, la version cuda, les bibliothèques à installer, les paquets système à installer, puis bentoml build et ensuite bentoml containerize, et voilà, bentoml a juste containerisé pour vous, il a écrit un dockerfile pour vous et a économisé le temps d'écrire un dockerfile et de le construire. J'aime vraiment cela à propos de bentoml. Il a également un bon support client avec un environnement slack où les développeurs de bentoml sont profondément engagés dans la résolution des problèmes des utilisateurs de bentoml auxquels ils sont confrontés.

Un mot simplicité. Le service de modèle ML est une bête complexe, et Bento est le seul outil qui en fait une expérience à distance simple. La capacité de lancer un microservice basé sur Docker assez performant pour votre modèle en environ 15 lignes de code m'a sauvé dans de nombreuses situations difficiles. Les capacités de sauvegarde et de versionnage de modèle de Bento sont également bénéfiques pour résoudre les problèmes liés au déploiement de modèles et à l'efficacité des modèles dans la nature. Cela aide à revenir rapidement et automatiquement aux versions précédentes d'un modèle. Combinées avec le tableau de bord de Yatai Bento pour la surveillance et le cadre de déploiement Kubernetes, ces capacités rendent de nombreuses tâches MLOps indolores. Enfin, un mot sur les intégrations étendues que BentoML a avec l'écosystème plus large de la science des données en Python. Cela permet à Bento d'être attaché de manière incrémentale et non intrusive à une boîte à outils de science des données.