Intelligenza Artificiale e algoritmi: come evitare i rischi

L’​Intelligenza Artificiale (I​A​) ha il potenziale di rendere le organizzazioni più efficienti e innovative, ma allo stesso tempo solleva rischi significativi per i diritti e le libertà individuali, che spesso sfociano in scenari dal forte impatto discriminatorio.

Nel corso della nostra attività di consulenza legale su sistemi di ​Intelligenza Artificiale, abbiamo elaborato una metodologia volta ad affrontare tali rischi​: una metodologia che si fonda su 5 principi chiave.

Forse non tutti sanno che ​ci sono algoritmi di Intelligenza Artificiale che decidono sull’affidabilità di un creditore o altri algoritmi che valutano un profilo nelle fasi di recruiting. L’effetto giuridico potrebbe essere, rispettivamente, l’accesso o meno ad un mutuo, la selezione o il rifiuto di un profilo per una posizione lavorativa.

Sono ​effetti che possono avere un impatto enorme sulla vita delle persone e sul loro futuro​. L’analisi di un consulente legale dovrà innanzitutto focalizzarsi su questo aspetto: qual è l’effetto giuridico di un algoritmo, la sua portata e come incide sullo status giuridico di un individuo.

La ​Normativa sulla Protezione dei Dati Personali (​GDPR​) è un vero alleato nella creazione di algoritmi equi:

• Innanzitutto il ​GDPR ​richiede che gli algoritmi rispettino il principio di equità (​fairness​), che si lega a quello di “ragionevole aspettativa”. Cosa significa? Semplificando, ogni decisione dell’algoritmo deve risultare in qualche modo “attesa” dall’utente, perché conforme alle norme vigenti e rispettosa delle prassi consolidate in un determinato contesto (come ad esempio, di lavoro). Le decisioni che non coincidono con le ragionevoli aspettative dell’utente, potrebbero essere l’indizio dell’esistenza di probabili ​bias.​ La consulenza legale deve quindi ​individuare la relazione giuridica esistente tra chi utilizza l’algoritmo e i possibili utenti​, ragionando anche su possibili categorie protette (per esempio i lavoratori) e interessi sensibili coinvolti (per esempio convinzioni personali, orientamento sessuale, religione professata, eccetera). Sulla base di tale relazione, si dovrà definire qual è la “ragionevole aspettativa” dell’utente, valutando i suoi specifici diritti e le sue libertà.

• Qualsiasi decisione che abbia un impatto negativo sui diritti e le libertà dell’individuo deve essere giustificata. Per cui chi progetta sistemi di Intelligenza Artificiale deve, su richiesta, ​saper indicare qual è la logica di ogni decisione​. Superare l’effetto black box (scatola nera) che affligge i sistemi di machine learning, talvolta insondabili nelle loro logiche, è una delle sfide più importanti da vincere.

• Il ​GDPR ​richiede inoltre l’attuazione di misure di salvaguardia per tutelare gli utenti​. Fra queste almeno il ​diritto di ottenere l’intervento umano​, di poter esprimere la propria opinione e di contestare la decisione dell’algoritmo. Chi progetta sistemi IA deve sempre considerare questi obblighi normativi.

• La valutazione di impatto sui rischi – anche discriminatori – di un algoritmo è un adempimento necessario che deve guidarci verso una IA più equa. Analizzare il livello di rischio dell’algoritmo è utile per implementare le misure di mitigazione più adeguate al caso concreto sotto il profilo tecnico e organizzativo.

Tra gli addetti ai lavori si sente spesso parlare di algoritmi e ​bias,​ quest’ultimi intesi come pregiudizi o discriminazioni che generano decisioni automatizzate inique​. Sembra incredibile che un algoritmo possa ereditare le discriminazioni esistenti nel mondo reale ma, d’altronde, l’algoritmo viene alimentato da dati che sono frutto dell’esperienza umana. Per rendere il quadro più chiaro, riportiamo un esempio tratto da uno  studio molto recente.

Alcuni ​ricercatori tedeschi hanno inviato a più di 100 aziende il curriculum di tre candidati, di sesso femminile, aventi qualifiche identiche. Una candidata aveva un nome tedesco, l’altra un nome turco e la terza aveva sempre un nome turco ma, a differenza dell’altra connazionale, nella foto del curriculum indossava il velo.

La candidata con il nome tedesco è stata richiamata per un colloquio nel 19% dei casi, la seconda candidata dal nome turco nel 14% dei casi, mentre la candidata – sempre con nome turco ma che indossava il velo – ha ricevuto un feedback notevolmente inferiore (circa il 4%).

Questo studio dimostra che, in alcuni contesti, come quelli del reclutamento, pregiudizi ereditati anche dal passato, possono incidere sensibilmente sul processo decisionale dell’uomo. Allo stesso modo, se questi dati sono trasposti su ​sistemi di Intelligenza Artificiale possono generare le stesse distorsioni​, anzi talvolta di portata più ampia, perché gli algoritmi attuali sono in grado di trovare correlazioni insospettabili tra i dati, ​a tal punto da creare nuove forme di discriminazione che neppure avevamo preso in considerazione.

Conoscere i ​bias ​più comuni del settore in cui verrà impiegato l’algoritmo, classificarli in maniera corretta ed eventualmente agire nella fase di progettazione e addestramento dell’Intelligenza Artificiale, è il primo passo per porre rimedio ad effetti sociali negativi dal forte impatto discriminatorio.

Il tema è sempre più sentito, anche a livello giurisprudenziale. ​Le ultime sentenze in materia hanno messo in luce l’illegittimità di algoritmi che producono disparità di trattamento fra gli utenti (discriminazione diretta) o che, dall’altra, non tengono conto della vulnerabilità di un soggetto (per esempio un minore) o di sue caratteristiche particolari, generando comunque disparità sanzionabili (discriminazione indiretta).

L’indagine del legale dovrà quindi focalizzarsi sulla decisione automatizzata dell’algoritmo (output), valutandone i potenziali effetti e segnalando, laddove presenti, eventuali disparità di trattamento o situazioni di svantaggio a danno di alcune categorie o gruppi di utenti.

Siamo spinti a credere che la tecnologia sia sempre la soluzione. Ma dobbiamo confrontarci con i limiti e i rischi della tecnologia che utilizziamo. Ad oggi ​non è sempre possibile prevedere tutti gli effetti sociali dell’Intelligenza Artificiale​, ed è altrettanto complesso eliminare i ​bias p​resenti nei set di dati o nelle decisioni algoritmiche.

Pertanto dovremmo sempre chiederci se l’Intelligenza Artificiale è necessaria e proporzionale al problema che vogliamo risolvere. In questo senso, è importante valutare le possibili alternative: si possono ad esempio considerare soluzione intermedie, prevedendo decisioni semi-automatizzate che includono l’intervento dell’uomo, per ​sorvegliare ed eventualmente correggere distorsioni​ e risultati non equi.

Questa domanda diventa un imperativo in alcuni settori che soffrono storicamente di pregiudizi, come quello della giustizia predittiva o del recruitment. In questi casi le precauzioni non sono mai abbastanza, perché è frequente che gli effetti discriminatori possano generarsi anche laddove i dati raccolti non contengano caratteristiche sensibili come il “sesso” o la “etnia” di una persona.

Potrebbero infatti esservi altre caratteristiche, come la professione, che sono in qualche modo correlate al “sesso”, sollevando ugualmente un rischio di discriminazione. Si pensi a certe professioni, ancora dominate dal genere maschile e da antichi stereotipi. Ad esempio un set di dati che attinge da precedenti colloqui di lavoro per una posizione di ingegnere meccanico, se utilizzato per allenare un algoritmo di reclutamento, è probabile che generi modelli statistici orientati ad avvantaggiare gli uomini, data la scarsa presenza di ingegneri donne in quel campo.

Questi problemi possono verificarsi in qualsiasi modello statistico​, ma è più probabile che si verifichino nei sistemi di Intelligenza Artificiale – in particolare, di machine learning – perché sono modelli che contengono un numero molto maggiore di caratteristiche (le cosiddette features). Se da una parte il machine learning è più potente degli approcci statistici tradizionali perché è più efficace nello scoprire nuove correlazioni tra i dati (si parla al riguardo di pattern o cluster), dall’altra questa abilità potrebbe far emergere nuovi elementi discriminatori.

Il legale dovrà tenere conto di questi due estremi, bilanciando rischi e benefici. È il processo più complesso, perché entrano in gioco interessi confliggenti: più dati, in genere, equivale ad una maggiore precisione nelle predizioni dell’algoritmo, ma dall’altro sono maggiori i rischi privacy; una diminuzione delle caratteristiche trattate (le cosiddette features) può diminuire il rischio delle discriminazioni, ma può generare risultati non veritieri o poco precisi.

Non esiste, chiaramente, una formula perfetta valida per ogni applicazione; ​sarà il legale a calibrare i parametri della proporzionalità e necessità a seconda del caso concreto e, in casi estremi, a prendersi la responsabilità di porre veti sulla opportunità del progetto.

Può sembrare un paradosso, ma si stanno diffondendo algoritmi in grado di rilevare pregiudizi e discriminazioni di altri algoritmi, intervenendo già nelle prime fase di training. In sintesi, potremmo dire che ​un algoritmo aiuta un altro algoritmo ad essere più equo​.

Questi, dunque, i 5 principi che riassumono una metodologia di lavoro in continua evoluzione che presto dovrà confrontarsi con il ​Regolamento UE sull’Intelligenza Artificiale​, il primo framework legale interamente dedicato a questa tecnologia.

Una metodologia che, ovviamente, rispecchia un approccio strettamente legale alla materia e che, pertanto, non ha l’ambizione di essere l’unico strumento di mitigazione dei rischi connessi all’utilizzo dell’IA.

C’è infatti bisogno di un ​lavoro di coesione fra più professionisti​: sviluppatori software, data scientist, esperti di etica, ingegneri informatici, professionisti della sicurezza informatica, solo per citarne alcuni. Tra questi, però, ​non può mai mancare il punto di vista di un legale​, perché al centro di ogni processo di gestione del rischio deve esserci l’individuo, i suoi diritti e le sue libertà fondamentali. Solo così otterremo un’intelligenza artificiale più equa.