A Baseten fornece uma plataforma para inferência de alto desempenho. Ela oferece os tempos de execução de modelos mais rápidos, alta disponibilidade entre nuvens e fluxos de trabalho de desenvolvedores sem interrupções, tudo alimentado pelo Baseten Inference Stack.
A Baseten oferece 3 produtos principais:
- Inferência dedicada - para servir modelos de IA de código aberto, personalizados e ajustados em infraestrutura construída especificamente para inferência de alto desempenho em grande escala.
- APIs de Modelos - para testar novas cargas de trabalho, prototipar produtos para avaliar os modelos mais recentes otimizados para serem os mais rápidos em produção.
- Treinamento - para treinar modelos e implantá-los facilmente com um clique em infraestrutura otimizada para inferência para o melhor desempenho possível.
Os desenvolvedores que usam a Baseten podem escolher entre 3 opções de implantação, dependendo de suas necessidades.
- Baseten Cloud para executar IA de produção em qualquer provedor de nuvem com latência ultra baixa, alta disponibilidade e escalonamento automático sem esforço.
- Baseten Self-Hosted para executar IA de produto com baixa latência e alta taxa de transferência no próprio VPC do cliente.
- Baseten Hybrid oferece o desempenho de um serviço gerenciado no VPC do cliente com transbordo contínuo para o Baseten Cloud.