Baseten proporciona una plataforma para inferencia de alto rendimiento. Ofrece los tiempos de ejecución de modelos más rápidos, alta disponibilidad entre nubes y flujos de trabajo de desarrolladores sin problemas, todo impulsado por la Baseten Inference Stack.
Baseten ofrece 3 productos principales:
- Inferencia dedicada: para servir modelos de IA de código abierto, personalizados y ajustados en infraestructura diseñada específicamente para inferencia de alto rendimiento a gran escala.
- APIs de modelos: para probar nuevas cargas de trabajo, prototipar productos para evaluar los últimos modelos optimizados para ser los más rápidos en producción.
- Entrenamiento: para entrenar modelos y desplegarlos fácilmente con un solo clic en infraestructura optimizada para inferencia para el mejor rendimiento posible.
Los desarrolladores que usan Baseten pueden elegir entre 3 opciones de implementación según sus necesidades.
- Baseten Cloud para ejecutar IA de producción en cualquier proveedor de nube con latencia ultra baja, alta disponibilidad y escalado automático sin esfuerzo.
- Baseten Self-Hosted para ejecutar IA de producto con baja latencia y alto rendimiento en el propio VPC del cliente.
- Baseten Hybrid ofrece el rendimiento de un servicio gestionado en el VPC del cliente con desbordamiento sin problemas a Baseten Cloud.