Pregiudizio algoritmico

Che cos'è il bias algoritmico?

Il bias algoritmico è un errore sistematico e ripetibile in un sistema di intelligenza artificiale (AI) o di machine learning (ML) che porta a risultati ingiusti o discriminatori per determinati individui o gruppi demografici. Tipicamente, sorge da dati di addestramento distorti, da un design del modello difettoso o da regole decisionali che distribuiscono gli errori in modo disomogeneo tra le popolazioni.

Per affrontare questa sfida, le organizzazioni si affidano a software di operationalizzazione di AI e machine learning (MLOps). Questi strumenti aiutano a monitorare e mitigare proattivamente i potenziali rischi di bias.

Software Pregiudizio algoritmico

Software che menzionano pregiudizio algoritmico come caratteristica o termine.

Pexels

Quali sono alcuni esempi reali di bias algoritmico?

Il bias algoritmico è apparso in sistemi di AI ampiamente utilizzati in ambiti come l'assunzione, la giustizia penale e il riconoscimento facciale, dove le decisioni automatizzate hanno colpito in modo sproporzionato donne e minoranze razziali.

Tuttavia, questi bias sono spesso non intenzionali. Ad esempio, se un algoritmo di riconoscimento facciale è addestrato su un dataset non rappresentativo, non funzionerà efficacemente per tutti i gruppi di persone.

Ecco alcuni esempi di bias algoritmico:

• Strumento di reclutamento AI di Amazon: Amazon ha sviluppato un sistema interno di screening dei curriculum che è stato successivamente dismesso dopo che si è scoperto che declassava le candidature contenenti termini associati alle donne. Il modello era stato addestrato su dati storici di assunzione che riflettevano una forza lavoro dominata dagli uomini, portandolo ad apprendere e rafforzare quei modelli.
• Sistema di valutazione del rischio COMPAS: L'algoritmo Correctional Offender Management Profiling for Alternative Sanctions (COMPAS), utilizzato in alcune parti del sistema di giustizia penale degli Stati Uniti per prevedere la probabilità di recidiva, è stato oggetto di scrutinio dopo che indagini indipendenti hanno suggerito che classificava più frequentemente i imputati neri come ad alto rischio rispetto ai imputati bianchi con background simili.
• Tecnologia di riconoscimento facciale: Audit indipendenti di sistemi commerciali di riconoscimento facciale hanno mostrato tassi più elevati di identificazione errata e di false corrispondenze per donne e individui con tonalità di pelle più scure. Queste disparità erano legate a dataset di addestramento che mancavano di sufficiente rappresentazione demografica.

Come si verifica il bias algoritmico?

Il bias algoritmico si verifica quando gli obiettivi, gli input o i vincoli utilizzati per costruire un sistema di AI portano a risultati disomogenei tra i gruppi. Questo può accadere quando un modello è ottimizzato per l'accuratezza o l'efficienza senza valutare come gli errori sono distribuiti tra le diverse popolazioni.

Il bias può anche emergere quando un sistema è implementato in contesti diversi da quelli in cui è stato originariamente addestrato. Cambiamenti nel comportamento degli utenti, spostamenti nella distribuzione dei dati o casi d'uso ampliati possono introdurre disparità che non erano visibili durante lo sviluppo.

Quali sono i cinque diversi tipi di bias algoritmico?

I cinque principali tipi di bias algoritmico sono bias dei dati, bias di campionamento, bias di interazione, bias di attribuzione di gruppo e bias di feedback loop. Si verificano quando i dati di addestramento sono sottorappresentati, i dataset sono scelti male, i sistemi trattano gli utenti in modo ingiusto, si fanno assunzioni di gruppo o gli output rafforzano le disparità.

• Bias dei dati sorge quando i dati utilizzati per addestrare un algoritmo non rappresentano tutti i gruppi di persone e demografie. Risulterà nell'algoritmo che produce risultati sfavorevoli basati su dati non inclusivi. Questo tipo di bias può esistere nei sistemi di assunzione, sanità e giustizia penale.
• Bias di campionamento si verifica quando il dataset di addestramento è utilizzato senza randomizzazione. Può anche verificarsi se il dataset non rappresenta la popolazione per cui l'algoritmo è destinato. Può portare a risultati inaccurati e incoerenti in un sistema. Questo può accadere in un sistema bancario dove un algoritmo prevede approvazioni di prestiti basandosi esclusivamente su gruppi ad alto reddito.
• Bias di interazione esiste quando un sistema interagisce diversamente con gli utenti a causa delle loro caratteristiche o demografie. Risulta in un trattamento incoerente e risultati ingiusti per le persone in un gruppo specifico. Questo tipo di bias può essere trovato nei sistemi di riconoscimento facciale che possono riconoscere una razza più facilmente di un'altra.
• Bias di attribuzione di gruppo si verifica quando i team di dati assumono la verità su un individuo basandosi sul gruppo di cui possono o non possono far parte. Questo bias può verificarsi nei sistemi di ammissione che favoriscono candidati provenienti da certi background educativi e istituzioni rispetto ad altri.
• Bias di feedback loop può verificarsi quando i risultati distorti generati da un algoritmo sono utilizzati come feedback per raffinarlo ulteriormente. Questa pratica può amplificare i bias nel tempo, risultando in una maggiore disparità tra i diversi gruppi. Ad esempio, se un algoritmo suggerisce certi lavori agli uomini, potrebbe considerare ulteriormente solo le candidature di candidati maschi.

Come può essere prevenuto il bias algoritmico?

Il bias algoritmico può essere ridotto attraverso un design proattivo, test e monitoraggio continuo dei sistemi di AI. La prevenzione si concentra sul miglioramento della qualità dei dati, aumentando la trasparenza e valutando i modelli per l'equità prima e dopo il deployment.

Le seguenti migliori pratiche aiutano a minimizzare il bias nei sistemi di intelligenza artificiale e machine learning.

• Progettare con inclusione: Quando gli algoritmi di AI e ML sono progettati con l'inclusione in mente, non erediteranno bias. Impostare obiettivi misurabili per gli algoritmi porterà a prestazioni coerenti in tutti i casi d'uso, cioè tutti i gruppi, indipendentemente dall'età, dal genere o dalla razza. Questo è particolarmente rilevante in applicazioni come l'analisi del sentiment, dove i modelli linguistici, lo slang e le espressioni culturali devono essere rappresentati equamente per evitare risultati distorti.
• Testare prima e dopo il deployment: Prima del deployment di qualsiasi sistema software, test ed evaluazioni approfondite possono identificare bias che l'algoritmo potrebbe aver ereditato involontariamente. Una volta completato il deployment, un altro round di test può aiutare a identificare qualsiasi cosa che sia stata persa nella prima iterazione.
• Usare dati sintetici: Gli algoritmi di AI devono essere addestrati su set di dati inclusivi per evitare discriminazioni. I dati sintetici sono la rappresentazione statistica di set di dati reali. Gli algoritmi addestrati su dati sintetici saranno al sicuro da qualsiasi bias ereditato dai dati reali.
• Concentrarsi sulla spiegabilità dell'AI: La spiegabilità dell'AI consente agli sviluppatori di aggiungere un livello di trasparenza agli algoritmi di AI. Questo aiuta a comprendere come l'AI genera previsioni e quali dati utilizza per prendere quelle decisioni. Concentrandosi sulla spiegabilità dell'AI, l'impatto previsto e i potenziali bias di un algoritmo possono essere identificati.

Qual è la differenza tra bias dei dati e bias algoritmico?

Il bias dei dati deriva da dati di addestramento distorti, mentre il bias algoritmico deriva dal design del modello. Il bias dei dati riflette problemi nel dataset; il bias algoritmico riguarda l'elaborazione del sistema e i risultati.

Domande frequenti sul bias algoritmico

Di seguito sono riportate le risposte alle domande frequenti sul bias algoritmico.

Q1. Il bias algoritmico è lo stesso del bias dell'AI?

Il bias algoritmico si riferisce a risultati ingiusti causati da un algoritmo. Il bias dell'AI comprende il bias nei dati di addestramento, nel design del modello, nel deployment e nella supervisione durante l'intero ciclo di vita del sistema di AI.

Q2. Chi è responsabile del bias algoritmico?

La responsabilità del bias algoritmico è condivisa lungo l'intero ciclo di vita dell'AI. Data scientist, sviluppatori, organizzazioni che implementano il sistema e team di leadership giocano tutti un ruolo. Il bias può originare dalla raccolta dati, dal design del modello o dalle decisioni di implementazione, rendendo la responsabilità sia tecnica che organizzativa.

Q3. L'AI può mai essere veramente imparziale?

La neutralità completa è improbabile poiché l'AI dipende da dati e assunzioni umane. Il bias può essere ridotto con dataset rappresentativi, test di equità, design trasparente e monitoraggio continuo.

Esplora le migliori piattaforme di data science e machine learning su G2 per connettere i dati per creare, implementare e monitorare algoritmi di machine learning.