Baseten fournit une plateforme pour l'inférence haute performance. Elle offre les temps d'exécution de modèles les plus rapides, une haute disponibilité inter-cloud, et des flux de travail de développeur sans faille, le tout alimenté par la Baseten Inference Stack.
Baseten propose 3 produits principaux :
- Inférence dédiée - pour servir des modèles d'IA open-source, personnalisés et ajustés sur une infrastructure conçue pour une inférence haute performance à grande échelle.
- APIs de modèles - pour tester de nouvelles charges de travail, prototyper des produits pour évaluer les derniers modèles optimisés pour être les plus rapides en production.
- Formation - pour entraîner des modèles et les déployer facilement en un clic sur une infrastructure optimisée pour l'inférence pour obtenir les meilleures performances possibles.
Les développeurs utilisant Baseten peuvent choisir parmi 3 options de déploiement selon leurs besoins.
- Baseten Cloud pour exécuter l'IA en production sur n'importe quel fournisseur de cloud avec une latence ultra-faible, une haute disponibilité, et une mise à l'échelle automatique sans effort.
- Baseten Self-Hosted pour exécuter l'IA produit avec une faible latence et un débit élevé dans le VPC propre au client.
- Baseten Hybrid offre la performance d'un service géré dans le VPC du client avec un débordement sans faille vers Baseten Cloud.