Mi piace molto come il framework di bentoml sia costruito per gestire il traffico in entrata, mi piace davvero la sua caratteristica dei lavoratori, poiché come sviluppatore di intelligenza artificiale che esegue modelli NLP su scala è cruciale, bentoml mi aiuta a costruire facilmente un servizio che può accettare più richieste utilizzando l'aiuto dei lavoratori. Mi piace anche la sua caratteristica di costruzione di bento e dockerizzazione. Nel metodo tradizionale per dockerizzare, creiamo un servizio flask o django o gradio... e poi scriviamo un dockerfile, inizializziamo un supporto nvidia in docker, tutto questo è il lavoro di un ingegnere devops, ma bentoml viene in soccorso qui: basta scrivere un bentofile.yaml dove si specifica il servizio, la versione cuda, le librerie da installare, i pacchetti di sistema da installare e poi bentoml build e poi bentoml containerize, boom, bentoml ha appena containerizzato per te, ha scritto un dockerfile per te e ha risparmiato il tempo di scrivere un dockerfile e costruirlo. Mi piace davvero questo di bentoml, ha anche un buon supporto clienti, ha un ambiente slack dove gli sviluppatori di bentoml sono profondamente impegnati nella risoluzione dei problemi degli utenti di bentoml che stanno affrontando.

Una parola semplicità. Il servizio di modelli ML è una bestia complessa, e Bento è l'unico strumento che lo rende un'esperienza remotamente semplice. La capacità di avviare un microservizio basato su Docker abbastanza performante per il tuo modello in circa 15 righe di codice mi ha salvato in molte situazioni difficili. Le capacità di salvataggio e versionamento dei modelli di Bento sono anche utili per rintracciare problemi sia con il deployment del modello che con l'efficacia del modello nel mondo reale. Aiuta a ripristinare rapidamente e automaticamente le versioni di un modello. Combinato con la dashboard di Yatai Bento per il monitoraggio e il framework di deployment Kubernetes, queste capacità rendono molti compiti di MLOps indolori. Infine, una parola sulle ampie integrazioni che BentoML ha con l'ecosistema più ampio della Data Science in Python. Questo permette a Bento di essere collegato in modo incrementale e non intrusivo a un toolkit di data science.