ModelRed

0 recensioni

ModelRed è una piattaforma automatizzata di test di sicurezza per modelli di intelligenza artificiale. Esegue test avversari contro LLM per identificare vulnerabilità tra cui iniezione di prompt, jailbreak, perdita di dati, allucinazioni e violazioni di conformità. La piattaforma include oltre 200 pacchetti di sonde pre-costruiti che coprono scenari specifici del dominio (medico, finanziario, legale) e un marketplace dove i ricercatori di sicurezza possono contribuire con metodologie di test specializzate. Gli utenti ricevono punteggi di sicurezza, rapporti dettagliati sulle vulnerabilità e linee guida per la correzione. ModelRed si integra con le pipeline CI/CD per test continui e fornisce accesso API per valutazioni di sicurezza programmatiche.