Granite-4.0-Tiny-Base-Preview è un modello linguistico ibrido mixture-of-experts (MoE) con 7 miliardi di parametri sviluppato dal team Granite di IBM. Presenta una finestra di contesto di 128.000 token e utilizza l'architettura Mamba-2 combinata con l'attenzione softmax per migliorare l'espressività. Notoriamente, omette la codifica posizionale per migliorare la generalizzazione della lunghezza. Caratteristiche e Funzionalità Chiave: - Ampia Finestra di Contesto: Supporta fino a 128.000 token, facilitando l'elaborazione di documenti lunghi e compiti complessi. - Architettura Avanzata: Incorpora Mamba-2 con attenzione softmax, migliorando l'espressività e l'adattabilità del modello. - Supporto Multilingue: Addestrato in 12 lingue, tra cui inglese, tedesco, spagnolo, francese, giapponese, portoghese, arabo, ceco, italiano, coreano, olandese e cinese, con la flessibilità per il fine-tuning in lingue aggiuntive. - Applicazioni Versatili: Progettato per compiti come riassunto, classificazione del testo, estrazione, domande e risposte, e altre applicazioni a lungo contesto. Valore Primario e Soluzioni per l'Utente: Granite-4.0-Tiny-Base-Preview risponde alla necessità di un modello linguistico multilingue robusto, capace di gestire lunghezze di contesto estese. La sua architettura e il suo addestramento gli permettono di svolgere efficacemente una vasta gamma di compiti di generazione testo-testo, rendendolo adatto per applicazioni che richiedono una profonda comprensione e generazione del linguaggio in più lingue. Il design del modello consente il fine-tuning, permettendo agli utenti di adattarlo a domini o lingue specifiche oltre le 12 inizialmente supportate, offrendo così flessibilità e scalabilità per casi d'uso diversi.