MosaicML Composer

0 recensioni

Migliora l'efficienza dell'addestramento delle reti neurali con metodi algoritmici che offrono velocità, aumentano la qualità e riducono i costi.

MPT-7B

0 recensioni

MPT-7B è un trasformatore in stile decoder preaddestrato da zero su 1T di token di testo e codice in inglese. Questo modello è stato addestrato da MosaicML. MPT-7B fa parte della famiglia di modelli MosaicPretrainedTransformer (MPT), che utilizzano un'architettura di trasformatore modificata ottimizzata per un addestramento e un'inferenza efficienti. Queste modifiche architetturali includono implementazioni di layer ottimizzate per le prestazioni e l'eliminazione dei limiti di lunghezza del contesto sostituendo gli embedding posizionali con l'Attention with Linear Biases (ALiBi). Grazie a queste modifiche, i modelli MPT possono essere addestrati con un'elevata efficienza di throughput e una convergenza stabile. I modelli MPT possono anche essere serviti in modo efficiente sia con le pipeline standard di HuggingFace che con il FasterTransformer di NVIDIA.