No et refiïs dels algorismes

Javier Castillo Coronas.

Read this content in English here

Els models matemàtics prenen milions de decisions reproduint biaixos masclistes o racistes sense que la ciutadania se n’adoni.

Que et facin fora de la feina, que et neguin un préstec i fins i tot que et detinguin són decisions que, avui dia, poden estar en mans dels algorismes. El problema és que les matemàtiques, a diferència del que molta gent pensa, no són neutrals. Hi ha algorismes masclistes, racistes o xenòfobs que cada dia prenen milers de decisions sobre la vida de milions de persones. No els veiem. Treballen en silenci. Però el problema no el tenen els algorismes. El tenen els éssers humans. Els models matemàtics simplement imiten els prejudicis de la societat.

El 2014, Amazon va començar a usar un algorisme per estalviar temps a l’hora de contractar personal. L’eina de la companyia de Seattle, que prometia ser més objectiva alhora que més ràpida,donava a cada candidat una puntuació d’una a cinc estrelles. Però la intel·ligència artificial havia
estat entrenada amb les dades sobre les sol·licituds d’ús dels últims deu anys. En aquest període, la majoria dels programadors contrac-tats havien estat homes.

L’algorisme va aprendre, per tant, que els millors candidats havien de ser homes i va començar a discriminar les dones. Quan detectava que un currículum pertanyia a una dona, directament el penalitzava i li posava menys nota. Amazon va trigar un any a adonar-se que estava emprant
una eina que reproduïa un biaix contra les dones.

Però els algorismes no són masclistes, aprenen a ser-ho. “Un algorisme és una seqüència de passos que es duen a terme per resoldre una certa tasca.
Per exemple, una recepta de cuina pot considerar-se també un algorisme”, explica David Solans, membre del Grup de Recerca Ciència Web i Computació Social de la Universitat Pompeu Fabra (UPF).

La clau són les dades

Els algorismes que, com el d’Amazon, prenen decisions de manera automatitzada aprenen a identificar i reproduir patrons a partir de les dades que els proporcionen els informàtics. És aquí quan apareixen les discriminacions. “Un volum significatiu dels biaixos reproduïts pels algorismes són adquirits a conseqüència dels biaixos que reflecteixen les dades”, assenyala Solans. És a dir, discriminen perquè els ensenyen amb dades que ja estan esbiaixades.

Deixar decisions en mans de les intel·ligències artificials sembla garantir un procés més objectiu, però no té per què ser així. El racisme, el masclisme i la xenofòbia que perduren en la societat queden reflectits a les bases de dades amb les quals aprenen els algorismes. “Davant un creixent ús d’aquests sistemes en la nostra vida quotidiana, el problema de la discriminació algorítmica pot anar en augment en els pròxims anys”, alerta Solans.

De fet, com explica Ricardo Baeza-Yates, aquesta discriminació “pot afectar qüestions com la selecció de personal, els préstecs bancaris o el sistema judicial”. Baeza-Yates, professor de la Northeastern University al campus de Silicon Valley, afirma que aquests estereotips també estan afectant l’administració pública. “Els algorismes esbiaixats generen un cost social. Fa poc, als Països Baixos, un jutjat va dictaminar que el govern no podia continuar usant un sistema de detecció de frau social perquè discriminava
gent pobra”, aclareix.

Els models matemàtics no només reprodueixen els prejudicis socials, els perpetuen. “Pensem com seria la nostra vida si, pel simple fet de pertànyer a un grup minoritari, se’ns denegués sistemàticament un crèdit bancari o el reconeixement facial d’un aeroport ens impedís accedir a un país perquè
no és capaç de reconèixer-nos”, apunta Solans. No són exemples fora de la realitat, són casos que ja han succeït.

Joy Buolamwini, una investigadora afroamericana de l’Institut de Tecnologia de Massachusetts (MIT), va descobrir que els sistemes de reconeixement facial no aconseguien identificar el seu rostre, però sí el dels seus companys blancs. Aquestes intel-ligències artificials aprenen a través de les imatges que se’ls ensenyen durant el seu desenvolupament.

Com la majoria de les fotografies que s’havien emprat per entrenar aquests sistemes eren d’homes blancs, els costava detectar les cares negres femenines. Buolamwini s’havia de posar una careta blanca perquè la reconegués. Arran d’això, la investigadora del MIT va decidir fundar la Lliga de Justícia Algorítmica per, segons va explicar, “crear un món on la tecnologia treballi per a tots nosaltres, no sols per a alguns de nosaltres”.

“La justícia algorítmica tracta d’identificar, aïllar i mitigar els biaixos en els sistemes de decisions automatitzades”, as senyala Solans, que defensa la necessitat d’incorporar tècniques d’antidiscriminació. “Si sabem de quin biaix es tracta, podem erradicar-ho processant les dades per eliminar-lo.

No obstant això, el problema és que moltes vegades hi ha alguns que no coneixem i no són fàcils de trobar”, apunta Baeza-Yates. El director del Grup de Recerca Ciència Web i Computació Social de la UPF, Carlos Castillo, afirma que posar una solució “és difícil perquè, a vegades, la pregunta més important és si hauria d’utilitzar un algorisme o no”. “A vegades, la resposta és negativa”, conclou.

I les institucions?

Algunes administracions ja estan donant resposta a la discriminació algorítmica. Per exemple, l’article 22 del Reglament General de Protecció de Dades de la Unió Europea prohibeix que una intel·ligència artificial pugui prendre decisions per si sola. Sempre és necessària la intervenció d’un ésser humà. A més, aquest article declara el dret d’una persona a rebre explicacions sobre qualsevol decisió que l’hagi afectat i en la qual hagi participat un sistema automatitzat.

Però la participació d’una persona en la decisió no garanteix que sigui justa. “Fins i tot quan hi ha una persona a càrrec de prendre la decisió final, pot estar sobrecarregada de treball o pot tenir incentius per acceptar la indicació de l’algorisme cegament”, adverteix Castillo. Si obeeixes l’algorisme i t’equivoques, pots tirar-li la culpa a l’algorisme. Si el contradius i comets un error, la responsabilitat és teva.

Falta de transparència
“El model algorítmic en si és una caixa negra; el seu contingut, un secret corporatiu ben guardat”, escriu Cathy O’Neil en el seu llibre Armes de destrucció matemàtica. I és que, si les empreses que es dediquen a dissenyar models matemàtics no els mantinguessin en secret, es quedarien sense producte.

Una altra de les raons que explica aquesta falta de transparència és que, si les persones coneguessin com funciona el sistema que les avalua, sabrien com enganyar-lo. A més, les empreses són conscients que, amagant els detalls dels seus programes, les persones no poden qüestionar els seus resultats fàcilment.

Sota l’aparença de neutralitat, les matemàtiques han anat prenent a poc a poc el control sobre les nostres vides. Com que no és un fenomen visible, és difícil adonar-se de la seva magnitud.

No obstant això, segons Cathy O’Neil, “hem d’exigir responsabilitats als creadors dels algorismes; l’era de la fe cega en les dades massives ha d’acabar”. “Els sistemes de decisió automatitzada no són la solució als
estereotips humans, són les persones les que han de resoldre aquest problema”, opina Baeza Yates. No obstant això, també reconeix que “ens poden ajudar no sols prenent decisions menys esbiaixades, sinó també fent-nos notar els nostres propis biaixos”.

David Solans creu que també cal posar l’atenció en un altre tema: “Un jutge racista pot perjudicar poques desenes d’individus en un sol dia; el problema dels algorismes amb biaixos racistes és que poden avaluar milers de persones en pocs segons”.

FA*IR, l’algorisme de la UPF que lluita contra la discriminació

Un algorisme que és capaç de detectar biaixos discriminatoris en altres algorismes i corregirlos. Aquest és el projecte que ha desenvolupat el Grup de Recerca Ciència Web i Computació Social de la UPF conjuntament amb la Universitat Tècnica de Berlín i el Centre Tecnològic de Catalunya.

La iniciativa FAIR ha estudiat bases de dades d’ofertes de treball, de reincidències de condemnats i de rànquings d’admissions a la universitat per detectar patrons de discriminació en bases de dades que afavoreixen o perjudiquen determinats col·lectius socials.

Una de les situacions que els desenvolupadors de FAIR pretenen corregir és, per exemple, quan un portal de cerca d’ocupació té perfils de dones i homes amb una formació similar, però en els primers resultats del cercador solament apareixen homes. L’algorisme FAIR detecta patrons de discriminació per raó de gènere, aparença física o color de pell i els corregeix a través de mecanismes d’acció positiva per garantir la igualtat.

Comments are closed.