Algorithmische Voreingenommenheit

Was ist algorithmische Voreingenommenheit?

Algorithmische Voreingenommenheit ist ein systematischer und wiederholbarer Fehler in einem KI- oder maschinellen Lernsystem (ML), der zu unfairen oder diskriminierenden Ergebnissen für bestimmte Individuen oder demografische Gruppen führt. Sie entsteht typischerweise aus voreingenommenen Trainingsdaten, fehlerhaftem Modelldesign oder Entscheidungsregeln, die Fehler ungleichmäßig über Populationen verteilen.

Um diese Herausforderung anzugehen, verlassen sich Organisationen auf AI- & Machine-Learning-Operationalisierungssoftware (MLOps). Diese Tools helfen, potenzielle Voreingenommenheitsrisiken proaktiv zu überwachen und zu mindern.

Algorithmische Voreingenommenheit Software

Software, die algorithmische voreingenommenheit als Funktion oder Begriff erwähnt.

Pexels

Was sind einige reale Beispiele für algorithmische Voreingenommenheit?

Algorithmische Voreingenommenheit ist in weit verbreiteten KI-Systemen in Bereichen wie Einstellung, Strafjustiz und Gesichtserkennung aufgetreten, wo automatisierte Entscheidungen Frauen und rassische Minderheiten unverhältnismäßig betroffen haben.

Diese Voreingenommenheiten sind jedoch oft unbeabsichtigt. Wenn beispielsweise ein Gesichtserkennungsalgorithmus auf einem nicht repräsentativen Datensatz trainiert wird, funktioniert er nicht effektiv für alle Gruppen von Menschen.

Hier sind einige Beispiele für algorithmische Voreingenommenheit:

• Amazon's KI-Rekrutierungstool: Amazon entwickelte ein internes Lebenslauf-Screening-System, das später eingestellt wurde, nachdem festgestellt wurde, dass es Bewerbungen mit Begriffen, die mit Frauen assoziiert werden, abwertete. Das Modell war auf historische Einstellungsdaten trainiert worden, die eine männlich dominierte Belegschaft widerspiegelten, was dazu führte, dass es diese Muster lernte und verstärkte.
• COMPAS-Risiko-Bewertungssystem: Der Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) Algorithmus, der in Teilen des US-Strafjustizsystems verwendet wird, um die Wahrscheinlichkeit eines Rückfalls vorherzusagen, geriet in die Kritik, nachdem unabhängige Untersuchungen nahelegten, dass er schwarze Angeklagte häufiger als hohes Risiko einstufte im Vergleich zu weißen Angeklagten mit ähnlichem Hintergrund.
• Gesichtserkennungstechnologie: Unabhängige Prüfungen kommerzieller Gesichtserkennungssysteme haben höhere Fehlidentifikations- und Fehlzuordnungsraten für Frauen und Personen mit dunklerer Hautfarbe gezeigt. Diese Unterschiede wurden auf Trainingsdatensätze zurückgeführt, die nicht ausreichend demografisch repräsentativ waren.

Wie entsteht algorithmische Voreingenommenheit?

Algorithmische Voreingenommenheit entsteht, wenn die Ziele, Eingaben oder Einschränkungen, die zur Erstellung eines KI-Systems verwendet werden, zu ungleichen Ergebnissen über Gruppen hinweg führen. Dies kann passieren, wenn ein Modell für Genauigkeit oder Effizienz optimiert wird, ohne zu bewerten, wie Fehler über verschiedene Populationen verteilt sind.

Voreingenommenheit kann auch auftreten, wenn ein System in Kontexten eingesetzt wird, die sich von denen unterscheiden, in denen es ursprünglich trainiert wurde. Änderungen im Benutzerverhalten, Verschiebungen in der Datenverteilung oder erweiterte Anwendungsfälle können Unterschiede einführen, die während der Entwicklung nicht sichtbar waren.

Was sind die fünf verschiedenen Arten von algorithmischer Voreingenommenheit?

Die fünf Hauptarten von algorithmischer Voreingenommenheit sind Datenverzerrung, Stichprobenverzerrung, Interaktionsverzerrung, Gruppenattributionsverzerrung und Rückkopplungsschleifenverzerrung. Sie treten auf, wenn Trainingsdaten unterrepräsentiert sind, Datensätze schlecht gewählt werden, Systeme Benutzer unfair behandeln, Gruppenannahmen getroffen werden oder Ausgaben Ungleichheiten verstärken.

• Datenverzerrung entsteht, wenn die Daten, die zum Trainieren eines Algorithmus verwendet werden, nicht alle Gruppen von Menschen und Demografien repräsentieren. Dies führt dazu, dass der Algorithmus ungünstige Ergebnisse auf der Grundlage nicht inklusiver Daten produziert. Diese Art von Voreingenommenheit kann in Einstellungs-, Gesundheits- und Strafsystemen existieren.
• Stichprobenverzerrung tritt auf, wenn der Trainingsdatensatz ohne Randomisierung verwendet wird. Sie kann auch auftreten, wenn der Datensatz nicht die Population repräsentiert, für die der Algorithmus bestimmt ist. Dies kann zu ungenauen und inkonsistenten Ergebnissen in einem System führen. Dies kann in einem Bankensystem auftreten, in dem ein Algorithmus Kreditzusagen ausschließlich auf der Grundlage von einkommensstarken Gruppen vorhersagt.
• Interaktionsverzerrung existiert, wenn ein System aufgrund der Eigenschaften oder Demografien der Benutzer unterschiedlich mit ihnen interagiert. Dies führt zu inkonsistenter Behandlung und unfairen Ergebnissen für Menschen in einer bestimmten Gruppe. Diese Art von Voreingenommenheit kann in Gesichtserkennungssystemen gefunden werden, die eine Rasse leichter erkennen als die andere.
• Gruppenattributionsverzerrung tritt auf, wenn Datenteams die Wahrheit über eine Person basierend auf der Gruppe annehmen, der sie angehören oder nicht angehören könnte. Diese Voreingenommenheit kann in Zulassungssystemen auftreten, die Kandidaten aus bestimmten Bildungshintergründen und Institutionen gegenüber anderen bevorzugen.
• Rückkopplungsschleifenverzerrung kann auftreten, wenn die voreingenommenen Ergebnisse, die von einem Algorithmus erzeugt werden, als Feedback verwendet werden, um ihn weiter zu verfeinern. Diese Praxis kann die Voreingenommenheiten im Laufe der Zeit verstärken, was zu einer größeren Diskrepanz zwischen verschiedenen Gruppen führt. Wenn beispielsweise ein Algorithmus bestimmte Jobs Männern vorschlägt, könnte er weiter nur Bewerbungen von männlichen Kandidaten berücksichtigen.

Wie kann algorithmische Voreingenommenheit verhindert werden?

Algorithmische Voreingenommenheit kann durch proaktives Design, Tests und kontinuierliche Überwachung von KI-Systemen reduziert werden. Die Prävention konzentriert sich auf die Verbesserung der Datenqualität, die Erhöhung der Transparenz und die Bewertung von Modellen auf Fairness vor und nach der Bereitstellung.

Die folgenden bewährten Praktiken helfen, Voreingenommenheit in künstlicher Intelligenz und maschinellen Lernsystemen zu minimieren.

• Design mit Inklusion: Wenn KI- und ML-Algorithmen mit Inklusion im Hinterkopf entworfen werden, übernehmen sie keine Voreingenommenheiten. Das Setzen messbarer Ziele für Algorithmen führt zu konsistenter Leistung über alle Anwendungsfälle hinweg, d.h. alle Gruppen, unabhängig von Alter, Geschlecht oder Rasse. Dies ist besonders relevant in Anwendungen wie Sentiment-Analyse, wo Sprachmuster, Slang und kulturelle Ausdrücke fair repräsentiert werden müssen, um verzerrte Ergebnisse zu vermeiden.
• Testen vor und nach der Bereitstellung: Vor der Bereitstellung eines Softwaresystems können gründliche Tests und Bewertungen Voreingenommenheiten identifizieren, die der Algorithmus möglicherweise unbeabsichtigt übernommen hat. Nach Abschluss der Bereitstellung kann eine weitere Testreihe helfen, alles zu identifizieren, was in der ersten Iteration übersehen wurde.
• Verwendung synthetischer Daten: KI-Algorithmen müssen auf inklusiven Datensätzen trainiert werden, um Diskriminierung zu vermeiden. Synthetische Daten sind die statistische Darstellung realer Datensätze. Algorithmen, die auf synthetischen Daten trainiert werden, sind vor den übernommenen Voreingenommenheiten realer Daten sicher.
• Fokus auf KI-Erklärbarkeit: KI-Erklärbarkeit ermöglicht es Entwicklern, eine Transparenzschicht zu KI-Algorithmen hinzuzufügen. Dies hilft zu verstehen, wie KI Vorhersagen generiert und welche Daten sie verwendet, um diese Entscheidungen zu treffen. Durch den Fokus auf KI-Erklärbarkeit können die erwarteten Auswirkungen und potenziellen Voreingenommenheiten eines Algorithmus identifiziert werden.

Was ist der Unterschied zwischen Datenverzerrung und algorithmischer Voreingenommenheit?

Datenverzerrung entsteht durch verzerrte Trainingsdaten, während algorithmische Voreingenommenheit aus dem Modelldesign resultiert. Datenverzerrung spiegelt Probleme im Datensatz wider; algorithmische Voreingenommenheit bezieht sich auf die Systemverarbeitung und Ergebnisse.

Häufig gestellte Fragen zur algorithmischen Voreingenommenheit

Nachfolgend finden Sie Antworten auf häufig gestellte Fragen zur algorithmischen Voreingenommenheit.

F1. Ist algorithmische Voreingenommenheit dasselbe wie KI-Voreingenommenheit?

Algorithmische Voreingenommenheit bezieht sich auf unfaire Ergebnisse, die durch einen Algorithmus verursacht werden. KI-Voreingenommenheit umfasst Voreingenommenheit in Trainingsdaten, Modelldesign, Bereitstellung und Überwachung während des gesamten Lebenszyklus eines KI-Systems.

F2. Wer ist verantwortlich für algorithmische Voreingenommenheit?

Die Verantwortung für algorithmische Voreingenommenheit wird über den gesamten KI-Lebenszyklus hinweg geteilt. Datenwissenschaftler, Entwickler, Organisationen, die das System bereitstellen, und Führungsteams spielen alle eine Rolle. Voreingenommenheit kann aus der Datenerfassung, dem Modelldesign oder Implementierungsentscheidungen entstehen, was die Verantwortlichkeit sowohl technisch als auch organisatorisch macht.

F3. Kann KI jemals wirklich unvoreingenommen sein?

Vollständige Neutralität ist unwahrscheinlich, da KI von menschlichen Daten und Annahmen abhängt. Voreingenommenheit kann mit repräsentativen Datensätzen, Fairness-Tests, transparentem Design und kontinuierlicher Überwachung verringert werden.

Entdecken Sie die besten Datenwissenschafts- und maschinellen Lernplattformen auf G2, um Daten zu verbinden, maschinelle Lernalgorithmen zu erstellen, bereitzustellen und zu überwachen.