Quan la intel·ligència artificial discrimina les persones

La gran aposta tecnològica d'aquest segle és la intel·ligència artificial. Utilitzar programes per identificar patrons en immenses quantitats de dades en vista a poder realitzar prediccions és una cosa que obre un món de possibilitats per a la ciència, l'economia i també per a la nostra vida diària, ja que aquests algoritmes cada vegada són més presents en els serveis que consumim . No obstant això, hi ha el perill que aquests sistemes intel·ligents desenvolupin biaixos discriminatoris cap a determinades persones o col·lectius. La prevenció de comportaments que poden atemptar contra els drets de les persones és bàsica per mantenir la confiança de la societat en la tecnologia.

Tot i que és un sector jove que està donant els seus primers passos fora dels laboratoris (és un camp d'estudi amb una tradició de dècades, però és ara quan realment està donant fruits comercials), la intel·ligència artificial ja ha protagonitzat situacions indesitjades o no previstes que han fet saltar les alarmes.

Un dels exemples més coneguts és el del hatbot Tay de Microsoft que estava programada per conversar amb els usuaris en les xarxes, podia explicar acudits o comentar les fotografies que rebia, però també podia personalitzar les seves interaccions amb els humans, responent les seves preguntes. Tay aprenia de les converses que mantenia amb els humans i va començar a emetre judicis i opinions políticament incorrectes de caràcter racista. Microsoft la va apagar a les setze hores del seu llançament.

També en 2016 va saltar la notícia que un programa informàtic utilitzat per la justícia dels Estats Units per avaluar la probabilitat de reincidir dels presos jutjava les persones de color més proclius a això. Es tractava del sistema Compas (Correctional Offender Management Profiling for Alternative Sanctions), de l'empresa Northpointe, que assessorava jutges i fiscals a l'hora de prendre decisions i que establia erròniament la taxa de tornar a delinquir dels ciutadans negres en el doble que la dels blancs . Paradoxalment, Compas pretenia eliminar el possible biaix racista que podien manifestar els jutges humans.

I més. El primer concurs de bellesa el jurat era una màquina, Beauty.AI, també llançar una discriminació relacionada amb el color de la pell . Van participar al voltant de 6.000 candidates de més de 100 països que van enviar les seves fotos per ser jutjades per un algoritme programat per avaluar la bellesa humana. El sorprenent resultat va ser que, de les 44 guanyadores, la majoria eren blanques, unes poques asiàtiques i només una tenia la pell fosca.

Aquest tipus d'efectes no previstos ni desitjats del funcionament de la intel·ligència artificial és els Novel·la V. Yampolskiyi ( La intel·ligència artificial a les empreses falla i fallarà, sàpiga com evitar els seus pitjors conseqüències ) anomena "mals hàbits", que al seu judici poden ser de dos tipus: errors comesos durant la fase d'aprenentatge i errors comesos durant la fase de funcionament .

Amb l'objecte d'entendre els riscos potencials de l'aprenentatge automàtic (machine learning) per poder prevenir-los, el Fòrum Econòmic Mundial ha publicat el llibre blanc. Segons el parer dels autors no es tracta de frenar l'ús de la intel·ligència artificial o de minar les expectatives que presenta, sinó de mantenir la confiança en ella i protegir el contracte social basat en la idea que la tecnologia està al servei dels interessos de les persones.

D'acord amb aquest treball, la intel·ligència artificial actual planteja quatre grans reptes:

És complexa: a diferència del programari tradicional, crea models que no segueixen un procés lògic que pugui ser entès pels humans.

És opaca: a causa de la seva complexitat i la naturalesa dels seus algoritmes és com una caixa negra, de manera que és molt difícil esbrinar per què ha pres una decisió determinada.

És ubiqua: a poc a poc està present en molts aspectes de la societat.

És exclusiva: a dia d'avui, els sistemes basats en aprenentatge automàtic necessiten de grans quantitats de dades i d'experts tècnics per programar-lo. No obstant això, la informació, per exemple, les bases de dades, és cara i no està a l'abast de tothom. A més, els tècnics programadors requereixen tenir uns coneixements que pocs tenen. En conclusió, pocs poden accedir al desenvolupament d'aquests sistemes o disposar de les ingents quantitats de dades que necessiten per funcionar.

Per al Fòrum Econòmic Mundial aquests quatre factors condicionen en gran mesura la forma en què els algoritmes són dissenyats, desenvolupats i aplicats.

Alguns perills relacionats amb la discriminació estan relacionats amb la informació introduïda en la fase d'aprenentatge dels algoritmes. Poden ser col·lectius que no estan ben representats en aquestes dades, bé perquè no generen massa informació (per exemple, la població rural dels països en desenvolupament) o perquè han triat no fer públiques les seves dades. En qualsevol cas, això ja genera un biaix.

Però fins i tot si les dades que utilitza el machine learning no tenen biaixos i són correctes, hi ha altres amenaces que pot produir discriminació, ja que aquesta pot anar en la manera en què s'ha dissenyat o aplicat l'algoritme, per exemple, perquè s'ha aplicat un model equivocat o un model que tanca discriminació sense que ho sapiguem, perquè el funcionament de la màquina no ha comptat amb la deguda supervisió humana, perquè sovint l'aprenentatge automàtic porta al fet que els sistemes prenguin decisions l'origen no entenem i, per descomptat, perquè sempre està oberta la possibilitat d'introduir factors discriminatoris en una programació de forma intencionada.

PRINCIPIS

L'informe planteja quatre grans principis, que haurien de ser observats a l'hora de crear sistemes d'intel·ligència artificial, per garantir que no hi hagi biaixos en el funcionament dels algoritmes.

Inclusió activa. El desenvolupament i disseny d'aplicacions basades en l'aprenentatge automàtic han d'assegurar la diversitat de les dades que rep el sistema (input), tenint en compte les normes i valors de col·lectius específics que es puguin veure afectats pels resultats llançats per aquests algoritmes.

Igualment, els individus han de donar el seu consentiment específic perquè un sistema pugui fer ús d'informació sensible, com pot ser la raça, el gènere o el credo, a l'hora de prendre decisions.

Justícia. Els principis de justícia i de la dignitat de les persones afectades han d'estar a la base de l'arquitectura del sistema d'aprenentatge automàtic. Per exemple, analitzar quins col·lectius afectats per les decisions d'un algoritme es poden veure en desavantatge en ser implementat i entendre per què.

Dret a entendre. Quan els sistemes basats en machine learning estiguin implicats en la presa de decisions que afectin els drets individuals, aquest fet s'ha de revelar. A més, s'ha de garantir el poder explicar com prenen les màquines les seves decisions de manera que sigui comprensible per l'usuari final i per una autoritat competent humana que revisi el diagnòstic de l'algoritme.

Vies per a la correcció. Els dissenyadors i desenvolupadors d'algorismes són els responsables de l'ús correcte i de les accions dels mateixos. Han d'establir vies perquè es pugui desfer i corregir a temps un resultat amb efectes discriminatoris per a persones o col·lectius.