Stable LM 2 12B é um modelo de linguagem de decodificador único com 12,1 bilhões de parâmetros desenvolvido pela Stability AI. Pré-treinado em 2 trilhões de tokens de diversos conjuntos de dados multilíngues e de código ao longo de duas épocas, ele é projetado para gerar texto coerente e contextualmente relevante em várias aplicações. O modelo emprega uma arquitetura de decodificador transformer com 40 camadas, um tamanho oculto de 5120 e 32 cabeças de atenção, suportando um comprimento de sequência de até 4096 tokens. As características principais incluem o uso de Embeddings de Posição Rotativa para melhorar o rendimento, camadas residuais de atenção paralela e feed-forward com uma única entrada LayerNorm, e a remoção de termos de viés das redes feed-forward e das camadas de auto-atenção de consulta agrupada. Além disso, ele utiliza o tokenizador Arcade100k, um tokenizador BPE estendido do tiktoken.cl100k_base da OpenAI, com dígitos divididos em tokens individuais para melhorar a compreensão numérica. O valor principal do Stable LM 2 12B reside em sua capacidade de gerar texto de alta qualidade e contextualmente apropriado, tornando-o adequado para uma ampla gama de tarefas de processamento de linguagem natural, incluindo criação de conteúdo, geração de código e aplicações multilíngues.