Come Creare Algoritmi Che Si Spiegano Da Soli

Nel 2019, ho scritto le mie previsioni sugli avanzamenti che avremmo visto nell'IA nel 2020. In una di quelle previsioni, ho discusso il problema perenne della spiegabilità algoritmica, ovvero la capacità degli algoritmi di spiegarsi, e come questo verrà alla ribalta quest'anno. Risolvere questo problema è fondamentale per il successo aziendale, poiché il pubblico generale è sempre più a disagio con gli algoritmi black-box.

Poiché la trasparenza è il principio più prevalente nella letteratura attuale sull'etica dell'IA, non c'è da meravigliarsi che la spiegabilità, un sottoinsieme della trasparenza, sia sulla bocca di funzionari governativi, tecnologi e persone comuni.

Il problema: comprendere i nostri dati

Abbiamo tutti sentito la storia: Questo mondo in continua evoluzione in cui viviamo è fondamentalmente guidato dai dati. Gli esperti di dati utilizzano strumenti di analisi sofisticati e di data science per dare un senso alla miriade di dati che ci circondano.

Ma con big data arriva grande responsabilità. I metodi algoritmici di lavorare con i dati, come machine learning e deep learning (un sottoinsieme del primo), possono produrre risultati robusti, permettendo a un analista di prevedere risultati futuri basati su dati storici. Sfortunatamente, con molti di questi metodi, i risultati sono chiari ma le ragioni e spiegazioni su come l'algoritmo ci è arrivato lo sono meno. Questo è dovuto in gran parte alla natura complicata e complessa degli algoritmi, specialmente quando si tratta di deep learning, in cui possono esserci molteplici passaggi o fasi tra l'input e l'output.

Questo problema è aggravato dal fatto che i quadri legali in tutto il mondo, come il Regolamento Generale sulla Protezione dei Dati (GDPR), stanno concedendo alle persone il diritto di ricevere una spiegazione per un output di un algoritmo.

Merry Marwig, analista di ricerca di mercato sulla privacy e la sicurezza informatica di G2, sostiene:

L'Articolo 22 del GDPR dell'UE intitolato, "Decisioni individuali automatizzate, compresa la profilazione," affronta la spiegabilità dell'IA. Lo scopo dell'Articolo è dare a una persona la possibilità di richiedere a un umano di rivedere un caso in cui l'IA ha preso una decisione che impatta la vita della persona. Ad esempio, se una persona richiede un prestito bancario e viene negato, ha il diritto di chiedere i fattori che hanno contribuito a questo risultato. Forse è stato perché avevano un credito scarso o un fallimento precedente e sono stati considerati troppo rischiosi per estendere un prestito. Queste sono ragioni semplici per un rifiuto del prestito, ma cosa succede se la ragione era dovuta a una miriade di dati, logica e calcoli che non possono essere facilmente spiegati da un umano? Questo è il problema che la mancanza di spiegabilità dell'IA pone alle aziende e la difficoltà nel conformarsi all'Articolo 22 del GDPR.

Tuttavia, va notato che studiosi legali come Sandra Wachter mettono in discussione la portata e l'estensione della clausola "diritto alla spiegazione" nel GDPR e la sua applicazione ai sistemi algoritmici artificialmente intelligenti a causa del fatto che "il GDPR manca di un linguaggio preciso così come di diritti e garanzie espliciti e ben definiti contro le decisioni automatizzate."

La soluzione: spiegabilità algoritmica

Oltre alla legislazione governativa, stiamo anche vedendo come i leader aziendali stiano ascoltando la voce delle persone che, secondo un sondaggio dell'IBM Institute for Business Value, stanno chiedendo—e continueranno a chiedere—più spiegabilità dall'IA.

I professionisti IT si rendono ben conto del suo beneficio, specialmente in senso fiscale. Secondo il sondaggio annuale di CCS Insight sui decisori IT, la trasparenza su come i sistemi funzionano e sono addestrati è ora uno dei requisiti più importanti quando si investe in IA e machine learning, citato da quasi il 50% degli intervistati.

Con questo in mente, sembra quasi una mossa senza rimpianti implementare la spiegabilità algoritmica nello stack tecnologico di un'azienda, dando agli stakeholder la possibilità di guardare all'interno della black box e comprendere il funzionamento interno degli algoritmi.

Se solo fosse così facile…

Il problema con la soluzione

Come con molte soluzioni idealizzate, non sono perfette e non funzionano per tutti i problemi. Pertanto, abbiamo visto tre problemi chiave con l'espansione e l'adozione della spiegabilità.

Profondità e complessità dell'algoritmo

Sebbene alcuni algoritmi di machine learning siano più inclini alla spiegazione a causa della loro relativa semplicità, altri, come il deep learning, sono più complicati a causa della loro natura annidata e del fatto che possono avere strati nascosti tra input e output. Detto ciò, questo non significa che tutto sia perduto e che dovremmo rinunciare al nostro obiettivo di IA spiegabile. (Come dice il proverbio, se all'inizio non ci riesci, prova, prova, prova ancora.)

Stiamo vedendo una tendenza nel mercato delle piattaforme di data science e machine learning dove i fornitori stanno rispondendo a questo appello e stanno fornendo strumenti per dare all'algoritmo di un utente una qualche forma di spiegabilità. Ad esempio, abbiamo visto strumenti—come Explainability 360 di IBM, SageMaker Debugger di AWS, e Explainable AI di Google—che stanno intenzionalmente affrontando solo un sottoinsieme di algoritmi all'interno di un particolare caso d'uso, con piani di espansione in futuro.

Lo spazio del software di operationalization di IA e machine learning (MLOps) è caldo. Su G2, abbiamo visto un enorme interesse nella categoria, con un aumento del traffico dell'842% a luglio 2021.

Inoltre, G2 ha aggiunto un attributo alla categoria del software di Operationalization di IA e Machine Learning (MLOps) per strumenti che sono orientati verso la spiegabilità algoritmica. Con questi strumenti, i team di data science possono integrare la spiegabilità nel loro flusso di dati, aiutando a spiegare i loro algoritmi e i loro risultati ad altri dipartimenti, clienti e altro ancora.

I revisori descrivono quanto sia importante la spiegabilità per il loro flusso di lavoro di data science. Ad esempio, un revisore per MLOps ha descritto:

“L'osservabilità del ML è la parte migliore del flusso di lavoro MLOps. Monitorare i modelli per la spiegabilità e il monitoraggio del drift con Grafana e Prometheus è più perspicace e rende chiunque interessato a immergersi a fondo.”

Non è quello che dici—è come lo dici

Come con qualsiasi soluzione, è fondamentale che la spiegazione sia adattata all'utente, in base alle sue competenze, ruolo e scopo. Ad esempio, potrebbe essere controproducente e inefficace fornire una spiegazione approfondita e ricca di dati a un leader aziendale. Allo stesso tempo, questo stile di spiegazione potrebbe essere adatto a un analista di dati o a un data scientist che sta cercando di modificare l'algoritmo. Alcuni degli strumenti disponibili sul mercato stanno prendendo in considerazione questo dilemma e stanno permettendo che la spiegazione sia adattata all'utente finale.

Sfortunatamente, il semplice atto di spiegare l'IA può a volte avere effetti nefasti. Troppa trasparenza può portare a un sovraccarico di informazioni.

In uno studio del 2018 che esamina come gli utenti non esperti interagiscono con gli strumenti di machine learning, ad esempio, Jennifer Wortman Vaughan, una scienziata informatica presso Microsoft Research, ha scoperto che i modelli trasparenti possono effettivamente rendere più difficile rilevare e correggere gli errori del modello, poiché creare reti neurali più trasparenti può portarci a fidarci eccessivamente di esse.

Come ha scritto Douglas Heaven, MIT Tech Review, ha scritto, "In definitiva, vogliamo che le IA si spieghino non solo ai data scientist e ai medici, ma anche agli agenti di polizia che utilizzano la tecnologia di riconoscimento facciale, agli insegnanti che utilizzano software di analisi nelle loro classi, agli studenti che cercano di dare un senso ai loro feed sui social media—e a chiunque si sieda sul sedile posteriore di un'auto a guida autonoma."

La spiegabilità come "nice to have" rispetto a un "must have"

Solo perché qualcosa può essere spiegato, non significa che debba o debba essere spiegato.

Secondo il Dr. Francesco Corea, responsabile della ricerca presso Balderton Capital, la spiegabilità dell'IA potrebbe creare problemi in futuro.

Il punto del Dr. Corea ribadisce il problema sopra: Solo perché qualcosa può essere spiegato, non significa che debba esserlo. Inoltre, sono pienamente d'accordo con il fatto che la spiegabilità algoritmica deve essere una parte fondamentale del processo di progettazione e non solo un ripensamento.

Il futuro

Questo movimento verso la spiegabilità è entusiasmante per un altro motivo: Avanza la lotta contro il bias algoritmico. È una tragedia ben nota che, a causa di una serie di fattori come dataset distorti, gli algoritmi possono produrre output che sono distorti. Un esempio di ciò è il fatto che molti sistemi di riconoscimento facciale sono migliori nel rilevare volti bianchi.

Damon Civin, data scientist principale presso Arm, ha osservato che la spinta verso l'IA spiegabile può aiutare a ridurre l'impatto degli algoritmi distorti, “Se gli operatori umani potessero controllare il 'ragionamento' che un algoritmo ha usato per prendere decisioni su membri di gruppi ad alto rischio, potrebbero essere in grado di correggere il bias prima che abbia un impatto serio.” Chiunque sia interessato a vedere le cose disastrose e distruttive che possono derivare da dati distorti è invitato a leggere il libro illuminante di Caroline Criado-Pérez, Invisible Women.

Fortunatamente, come abbiamo menzionato sopra, stiamo vedendo piattaforme di data science e machine learning iniziare a integrare funzionalità di spiegabilità nei loro prodotti. Con queste capacità, si possono costruire applicazioni e software alimentati dall'IA mirati a fornire trasparenza. Con questo in mente, le aziende non solo saranno in grado di spuntare una casella etica, ma anche di fornire ai loro utenti finali un prodotto responsabile che può essere compreso da tutti.

Modificato da Sinchana Mistry