Un caso di discriminazione legata all’Intelligenza Artificiale solleva (nuovamente) interrogativi sulla responsabilità delle aziende e sul futuro del lavoro.
In un mondo in cui la digitalizzazione avanza sempre più rapidamente, ci troviamo ad affrontare nuove problematiche che riguardano non solo l’aspetto tecnologico, ma anche quello etico e giuridico. Un esempio emblematico è quello delle intelligenze artificiali (IA) che, nell’eseguire i loro compiti, possono manifestare forme di pregiudizio.

Un caso recente ha riguardato la società iTutorGroup, con sede in Cina, che si occupa di fornire servizi di tutoraggio online: con un patteggiamento di $365,000 ha “risolto” le accuse che erano state mosse nei suoi confronti secondo cui, attraverso l’utilizzo di un software, avrebbe escluso automaticamente dalla selezione dei candidati quelli di sesso femminile sopra i 55 anni e quelli di sesso maschile sopra i 60 anni. Questo caso, il primo del suo genere gestito dalla Commissioni Pari Opportunità americana (la EEOC), ha sollevato un problema serio e complesso: l’insorgere di pregiudizi nei processi decisionali delle macchine, soprattutto quando alle macchine viene consentito di prendere decisioni che impattano le vite degli umani..

Le AI e le decisioni che impattano gli umani

La questione non riguarda tanto l’azione “diretta” delle IA – del tipo, ti assumo o non ti assumo sulla base di una valutazione di una macchina – quanto in modo decisamente più subdolo e molto meno appariscente la fase di pre-selezione che, pur essendo svolta da un software, può avere ripercussioni significative sulla vita delle persone. Le decisioni prese da un algoritmo possono precludere a priori la possibilità di un incontro “faccia a faccia” tra il candidato e l’esperto di Risorse Umane, negando così la possibilità di un’analisi più approfondita e umana del profilo del candidato.

Il problema principale risiede nel fatto che queste macchine, se addestrate su dati che contengono pregiudizi, possono finire per riprodurli. Un IA non ha intenzioni, né pregiudizi propri, ma può apprendere e ripetere quelli presenti nei dati su cui è stata addestrata. Questa è una sfida che va al di là del singolo caso e riguarda l’intera società digitale in cui viviamo: non è più solo una questione di tecnologia, ma anche di etica e giustizia sociale. Le IA stanno svolgendo un ruolo sempre più importante nella nostra vita quotidiana e nella nostra economia, pertanto, è fondamentale affrontare questi problemi proattivamente, per prevenire o limitare i danni che potrebbero derivare da questi pregiudizi.

Il caso di iTutorGroup è paradigmatico e potrebbe essere – e personalmente ritengo fortemente che lo sia – solo la punta dell’iceberg: molti esperti prevedono che ci saranno altri casi simili in futuro, in cui le IA potrebbero esser accusate di aver avuto una condotta pregiudizievole nei processi di assunzione, di concessione di linee di credito, di assegnamento di scatti di carriera, di accesso prioritario alle strutture o trattamenti ospedalieri, e molto, molto altro…

Pertanto, è importante che le aziende e le organizzazioni siano consapevoli dei rischi associati all’uso di queste tecnologie e agiscano in modo responsabile.

Come fa una AI a discriminare?

Si potrebbe pensare che l’uso di algoritmi di selezione sia un’ottima soluzione per gestire la grande quantità di candidature ricevute dalle aziende e soprattutto ad evitare nepotismi o valutazioni estranee all’apparenza del candidato o della candidata – in fondo una macchina non ha “favoritismi” o “gusti” – ma la realtà e molto differente: se non si presta attenzione alla qualità dei dati di addestramento, si rischia di incorporare nei processi decisionali delle macchine pregiudizi che esistono già nella società. Un esempio di questo comportamento è noto ormai da anni, e si rifà ad un software sviluppato internamente da Amazon, che è stato bloccato nel 2018 perché declassava le candidate donne anche quando il genere non era identificato. Il software era stato addestrato su dati che coprivano un periodo di 10 anni, durante il quale la maggior parte dei candidati erano uomini bianchi. Di conseguenza, l’algoritmo ha teso a svalutare i curricula dei candidati laureati in college femminili e a penalizzare l’uso della parola “donne”. 

Questi casi mostrano chiaramente come le intelligenze artificiali possano riprodurre e rafforzare i pregiudizi esistenti nella società se non si presta attenzione alla fase di addestramento, e le conseguenze di tali pregiudizi non sono limitate a chi viene escluso dal processo di selezione, ma si estendono a tutto il tessuto socio-economico.

I danni della discriminazione delle macchine

Innanzitutto, la discriminazione nell’accesso al lavoro ha ovviamente un impatto economico diretto sugli individui esclusi, ma oltre a questo riduce la diversità nelle organizzazioni, con conseguenti effetti negativi sulle performance aziendali e sulla capacità di innovazione. Inoltre la discriminazione perpetua e rafforza le disuguaglianze sociali esistenti.

E non possiamo non evidenziare come la discriminazione algoritmica abbia importanti implicazioni legali: le aziende che utilizzano strumenti di Intelligenza Artificiale per la selezione del personale possono essere ritenute responsabili se questi strumenti generano risultati discriminatori. Non è sufficiente delegare la responsabilità al fornitore del software: le aziende devono assicurarsi che gli algoritmi utilizzati siano privi di pregiudizi, soprattutto alla luce delle nuove normative europee come il Digital Service Act e il neo-revisionato AI Act, che pone un onere concreto sulle aziende che usano decisioni algoritmiche. 

Tuttavia, è importante sottolineare che l’obiettivo non dovrebbe essere semplicemente quello di evitare le cause legali: le aziende dovrebbero impegnarsi attivamente per promuovere l’equità e l’inclusione, non solo per rispettare la legge, ma anche perché è la cosa giusta da fare e perché porta a risultati migliori. 

Come si previene la discriminazione delle macchine?

Come possiamo, quindi, prevenire o ridurre il rischio di discriminazione algoritmica?

Se il “santo Graal” della soluzione definitiva è ancora lungi dall’essere trovato, gli esperti suggeriscono alcune possibili strategie: prima di tutto, è fondamentale assicurarsi che i dati utilizzati per addestrare gli algoritmi siano rappresentativi e includano membri di gruppi sotto-rappresentati. Inoltre, è importante che i set di dati utilizzati siano multiculturali e non orientati verso un particolare genere, razza o origine nazionale. 

Un’altra strategia potrebbe essere quella di condurre un audit interno per valutare l’impatto potenziale degli algoritmi sulla discriminazione: questo potrebbe essere fatto con l’aiuto di una società di consulenza specializzata in questo campo. Inoltre, è consigliabile coinvolgere un consulente legale esterno nel processo, non solo per le sue competenze legali, ma anche perché può aiutare a proteggere i risultati dell’audit sotto gli accordi di confidenzialità avvocato-cliente.

L’uso delle intelligenze artificiali nei processi di selezione del personale presenta sia opportunità che sfide: da un lato, gli algoritmi possono aiutare a gestire la grande quantità di candidature e a rendere il processo più efficiente, d’altro canto, se non gestiti correttamente, possono portare a forme di discriminazione. 

Questo ci porta ancora una volta alla domanda cruciale: quale tipo di futuro vogliamo?
Un futuro in cui le decisioni importanti sulla nostra vita vengono prese da algoritmi che riproducono i pregiudizi – e gusti – del passato, o un futuro in cui la tecnologia è utilizzata in modo responsabile e etico per promuovere l’equità e l’inclusione?
Perché il momento per pensarci (e agire in una o nell’altra direzione) è adesso.

Avatar photo

Professore a contratto (in Corporate Reputation, in CyberSecurity e in Data Driven Strategies) è Imprenditore, ha fondato The Fool, la società italiana leader di Customer Insight, co-fondato The Magician un Atelier di Advocacy e Gestione della Crisi, ed è Partner e co-fondatore dello Studio Legale 42 Law Firm. È Presidente di PermessoNegato APS, l'Associazione no-profit che si occupa del supporto alle vittime di Pornografia Non-Consensuale (Revenge Porn) e co-fondatore del Centro Hermes per la Trasparenza e i Diritti Digitali. È stato Future Leader IVLP del Dipartimento di Stato USA sotto Amministrazione Obama nel programma “Combating Cybercrime”, conferenziere, da anni presenta "Ciao Internet!" una seguita video-rubrica in cui parla degli Algoritmi e delle Regole che governano Rete, Macchine e Umani. Padrone di un bassotto che si chiama Bit, continua a non saper suonare il pianoforte, a essere ostinatamente Nerd e irresponsabilmente idealista.