Granite-4.0-Tiny-Base-Preview est un modèle de langage hybride mélange d'experts (MoE) de 7 milliards de paramètres développé par l'équipe Granite d'IBM. Il dispose d'une fenêtre de contexte de 128 000 tokens et utilise l'architecture Mamba-2 combinée à l'attention softmax pour améliorer l'expressivité. Notamment, il omet l'encodage positionnel pour améliorer la généralisation de la longueur. Caractéristiques clés et fonctionnalités : - Fenêtre de contexte étendue : prend en charge jusqu'à 128 000 tokens, facilitant le traitement de documents longs et de tâches complexes. - Architecture avancée : intègre Mamba-2 avec attention softmax, améliorant l'expressivité et l'adaptabilité du modèle. - Support multilingue : formé dans 12 langues, y compris l'anglais, l'allemand, l'espagnol, le français, le japonais, le portugais, l'arabe, le tchèque, l'italien, le coréen, le néerlandais et le chinois, avec la flexibilité pour un ajustement fin dans des langues supplémentaires. - Applications polyvalentes : conçu pour des tâches telles que la synthèse, la classification de texte, l'extraction, le questionnement-réponse et d'autres applications à long contexte. Valeur principale et solutions pour les utilisateurs : Granite-4.0-Tiny-Base-Preview répond au besoin d'un modèle de langage multilingue robuste capable de gérer de longues longueurs de contexte. Son architecture et sa formation lui permettent d'effectuer efficacement une large gamme de tâches de génération de texte à texte, le rendant adapté aux applications nécessitant une compréhension et une génération de langage profondes dans plusieurs langues. La conception du modèle permet un ajustement fin, permettant aux utilisateurs de l'adapter à des domaines ou des langues spécifiques au-delà des 12 initialement prises en charge, offrant ainsi flexibilité et évolutivité pour des cas d'utilisation diversifiés.