Granite-4.0-Tiny-Base-Preview es un modelo de lenguaje híbrido de mezcla de expertos (MoE) con 7 mil millones de parámetros desarrollado por el equipo Granite de IBM. Cuenta con una ventana de contexto de 128,000 tokens y utiliza la arquitectura Mamba-2 combinada con atención softmax para mejorar la expresividad. Notablemente, omite la codificación posicional para mejorar la generalización de longitud. Características y Funcionalidad Clave: - Ventana de Contexto Extensa: Soporta hasta 128,000 tokens, facilitando el procesamiento de documentos extensos y tareas complejas. - Arquitectura Avanzada: Incorpora Mamba-2 con atención softmax, mejorando la expresividad y adaptabilidad del modelo. - Soporte Multilingüe: Entrenado en 12 idiomas, incluyendo inglés, alemán, español, francés, japonés, portugués, árabe, checo, italiano, coreano, neerlandés y chino, con la flexibilidad para ajuste fino en idiomas adicionales. - Aplicaciones Versátiles: Diseñado para tareas como resumen, clasificación de texto, extracción, respuesta a preguntas y otras aplicaciones de contexto largo. Valor Principal y Soluciones para el Usuario: Granite-4.0-Tiny-Base-Preview aborda la necesidad de un modelo de lenguaje multilingüe robusto capaz de manejar extensas longitudes de contexto. Su arquitectura y entrenamiento le permiten realizar eficazmente una amplia gama de tareas de generación de texto a texto, haciéndolo adecuado para aplicaciones que requieren una comprensión y generación profunda del lenguaje en múltiples idiomas. El diseño del modelo permite el ajuste fino, permitiendo a los usuarios adaptarlo a dominios o idiomas específicos más allá de los 12 iniciales soportados, ofreciendo así flexibilidad y escalabilidad para diversos casos de uso.