MosaicML
- Perfiles de 2
- Categorías de 2
Todos los Productos y Servicios
Mejorar la eficiencia del entrenamiento de redes neuronales con métodos algorítmicos que ofrecen velocidad, aumentan la calidad y reducen el costo.
MPT-7B es un transformador de estilo decodificador preentrenado desde cero en 1T tokens de texto en inglés y código. Este modelo fue entrenado por MosaicML. MPT-7B es parte de la familia de modelos MosaicPretrainedTransformer (MPT), que utilizan una arquitectura de transformador modificada y optimizada para un entrenamiento e inferencia eficientes. Estos cambios arquitectónicos incluyen implementaciones de capas optimizadas para el rendimiento y la eliminación de los límites de longitud de contexto al reemplazar los embeddings posicionales con Atención con Sesgos Lineales (ALiBi). Gracias a estas modificaciones, los modelos MPT pueden ser entrenados con alta eficiencia de rendimiento y convergencia estable. Los modelos MPT también pueden ser servidos eficientemente con tanto las tuberías estándar de HuggingFace como el FasterTransformer de NVIDIA.
MosaicML Reseñas
Acerca de
¿Qué es MosaicML?
MosaicML is a company dedicated to advancing the field of artificial intelligence through innovative machine learning technology. Their primary focus is on making machine learning models more efficient and accessible, aiming to accelerate AI research and its application in various industries. MosaicML combines groundbreaking research with practical engineering to create tools and technologies that optimize machine learning workflows and reduce computational costs. The solutions they offer help businesses and developers harness the power of AI more efficiently, enabling faster development and deployment of AI applications.