UL2 es un marco unificado para el preentrenamiento de modelos que son universalmente efectivos en diferentes conjuntos de datos y configuraciones. UL2 utiliza Mixture-of-Denoisers (MoD), un objetivo de preentrenamiento que combina diversos paradigmas de preentrenamiento. UL2 introduce una noción de cambio de modo, en la cual el ajuste fino posterior está asociado con esquemas de preentrenamiento específicos.