Recensioni e Dettagli del Prodotto BentoML

Mi piace molto come il framework di bentoml sia costruito per gestire il traffico in entrata, mi piace davvero la sua caratteristica dei lavoratori, poiché come sviluppatore di intelligenza artificiale che esegue modelli NLP su scala è cruciale, bentoml mi aiuta a costruire facilmente un servizio che può accettare più richieste utilizzando l'aiuto dei lavoratori. Mi piace anche la sua caratteristica di costruzione di bento e dockerizzazione. Nel metodo tradizionale per dockerizzare, creiamo un servizio flask o django o gradio... e poi scriviamo un dockerfile, inizializziamo un supporto nvidia in docker, tutto questo è il lavoro di un ingegnere devops, ma bentoml viene in soccorso qui: basta scrivere un bentofile.yaml dove si specifica il servizio, la versione cuda, le librerie da installare, i pacchetti di sistema da installare e poi bentoml build e poi bentoml containerize, boom, bentoml ha appena containerizzato per te, ha scritto un dockerfile per te e ha risparmiato il tempo di scrivere un dockerfile e costruirlo. Mi piace davvero questo di bentoml, ha anche un buon supporto clienti, ha un ambiente slack dove gli sviluppatori di bentoml sono profondamente impegnati nella risoluzione dei problemi degli utenti di bentoml che stanno affrontando. Recensione raccolta e ospitata su G2.com.

L'unica cosa di bentoml è che non ha supporto per AWS SageMaker. Recentemente stavo distribuendo i miei modelli in AWS SageMaker, ma bentoml non aveva metodi per dockerizzare per AWS SageMaker. Beh, aveva una libreria chiamata bentoctl, ma era deprecata. Recensione raccolta e ospitata su G2.com.

Una parola semplicità.

Il servizio di modelli ML è una bestia complessa, e Bento è l'unico strumento che lo rende un'esperienza remotamente semplice. La capacità di avviare un microservizio basato su Docker abbastanza performante per il tuo modello in circa 15 righe di codice mi ha salvato in molte situazioni difficili.

Le capacità di salvataggio e versionamento dei modelli di Bento sono anche utili per rintracciare problemi sia con il deployment del modello che con l'efficacia del modello nel mondo reale. Aiuta a ripristinare rapidamente e automaticamente le versioni di un modello. Combinato con la dashboard di Yatai Bento per il monitoraggio e il framework di deployment Kubernetes, queste capacità rendono molti compiti di MLOps indolori.

Infine, una parola sulle ampie integrazioni che BentoML ha con l'ecosistema più ampio della Data Science in Python. Questo permette a Bento di essere collegato in modo incrementale e non intrusivo a un toolkit di data science. Recensione raccolta e ospitata su G2.com.

Scrivere configurazioni per Bento può diventare inutilmente complicato e complesso. Sembra una parte del processo che potrebbe essere automatizzata nella libreria piuttosto che essere compilata manualmente.

Distribuire un modello personalizzato in Bento è piuttosto difficile. Non è impossibile, ma non è nemmeno una passeggiata, coinvolgendo la creazione di caricamenti personalizzati e poi tutte le loro funzioni di preprocessamento.

Distribuire Yatai per una build di produzione è di nuovo un compito spiacevole. Recensione raccolta e ospitata su G2.com.