ModelRed

0 Bewertungen

ModelRed ist eine automatisierte Sicherheitsprüfungsplattform für KI-Modelle. Sie führt adversarielle Tests gegen LLMs durch, um Schwachstellen wie Prompt-Injektionen, Jailbreaks, Datenlecks, Halluzinationen und Compliance-Verstöße zu identifizieren. Die Plattform umfasst über 200 vorgefertigte Testpakete, die domänenspezifische Szenarien (medizinisch, finanziell, rechtlich) abdecken, sowie einen Marktplatz, auf dem Sicherheitsforscher spezialisierte Testmethoden beitragen können. Benutzer erhalten Sicherheitsbewertungen, detaillierte Schwachstellenberichte und Anleitungen zur Behebung. ModelRed integriert sich in CI/CD-Pipelines für kontinuierliche Tests und bietet API-Zugriff für programmatische Sicherheitsbewertungen.