Stable LM 2 12B es un modelo de lenguaje de decodificador único con 12.1 mil millones de parámetros desarrollado por Stability AI. Preentrenado con 2 billones de tokens de diversos conjuntos de datos multilingües y de código a lo largo de dos épocas, está diseñado para generar texto coherente y contextualmente relevante en diversas aplicaciones. El modelo emplea una arquitectura de decodificador transformer con 40 capas, un tamaño oculto de 5120 y 32 cabezas de atención, soportando una longitud de secuencia de hasta 4096 tokens. Las características clave incluyen el uso de Embeddings de Posición Rotatoria para mejorar el rendimiento, capas residuales de atención paralela y de avance con una sola capa de normalización de entrada, y la eliminación de términos de sesgo de las redes de avance y las capas de autoatención de consulta agrupada. Además, utiliza el tokenizador Arcade100k, un tokenizador BPE extendido del tiktoken.cl100k_base de OpenAI, con dígitos divididos en tokens individuales para mejorar la comprensión numérica. El valor principal de Stable LM 2 12B radica en su capacidad para generar texto de alta calidad y contextualmente apropiado, lo que lo hace adecuado para una amplia gama de tareas de procesamiento de lenguaje natural, incluyendo la creación de contenido, generación de código y aplicaciones multilingües.