Baseten fornisce una piattaforma per l'inferenza ad alte prestazioni. Offre i tempi di esecuzione dei modelli più veloci, alta disponibilità cross-cloud e flussi di lavoro per sviluppatori senza soluzione di continuità, tutto alimentato dallo Stack di Inference di Baseten.
Baseten offre 3 prodotti principali:
- Inference dedicata - per servire modelli AI open-source, personalizzati e ottimizzati su un'infrastruttura costruita appositamente per l'inferenza ad alte prestazioni su larga scala.
- API dei modelli - per testare nuovi carichi di lavoro, prototipare prodotti per valutare i modelli più recenti ottimizzati per essere i più veloci in produzione.
- Addestramento - per addestrare modelli e distribuirli facilmente con un clic su un'infrastruttura ottimizzata per l'inferenza per ottenere le migliori prestazioni possibili.
Gli sviluppatori che utilizzano Baseten possono scegliere tra 3 opzioni di distribuzione a seconda delle loro esigenze.
- Baseten Cloud per eseguire AI di produzione su qualsiasi fornitore di cloud con latenza ultra-bassa, alta disponibilità e autoscaling senza sforzo.
- Baseten Self-Hosted per eseguire AI di prodotto a bassa latenza e alta capacità nel VPC del cliente.
- Baseten Hybrid offre le prestazioni di un servizio gestito nel VPC del cliente con un overflow senza soluzione di continuità verso Baseten Cloud.