Granite-4.0-Tiny-Base-Preview é um modelo de linguagem híbrido de mistura de especialistas (MoE) com 7 bilhões de parâmetros desenvolvido pela equipe Granite da IBM. Ele possui uma janela de contexto de 128.000 tokens e utiliza a arquitetura Mamba-2 combinada com atenção softmax para aumentar a expressividade. Notavelmente, ele omite a codificação posicional para melhorar a generalização de comprimento. Principais Características e Funcionalidades: - Janela de Contexto Extensa: Suporta até 128.000 tokens, facilitando o processamento de documentos longos e tarefas complexas. - Arquitetura Avançada: Incorpora Mamba-2 com atenção softmax, aumentando a expressividade e adaptabilidade do modelo. - Suporte Multilíngue: Treinado em 12 idiomas, incluindo inglês, alemão, espanhol, francês, japonês, português, árabe, tcheco, italiano, coreano, holandês e chinês, com flexibilidade para ajuste fino em idiomas adicionais. - Aplicações Versáteis: Projetado para tarefas como sumarização, classificação de texto, extração, perguntas e respostas, e outras aplicações de longo contexto. Valor Principal e Soluções para Usuários: Granite-4.0-Tiny-Base-Preview atende à necessidade de um modelo de linguagem robusto e multilíngue capaz de lidar com extensos comprimentos de contexto. Sua arquitetura e treinamento permitem que ele execute efetivamente uma ampla gama de tarefas de geração de texto para texto, tornando-o adequado para aplicações que exigem compreensão e geração profunda de linguagem em vários idiomas. O design do modelo permite ajuste fino, permitindo que os usuários o adaptem a domínios ou idiomas específicos além dos 12 inicialmente suportados, oferecendo assim flexibilidade e escalabilidade para diversos casos de uso.