Don’t be overconfident about algorithms

Javier Castillo Coronas

Llegeix aquest contingut en català aquí
Translated by Álvaro Rodríguez Huguet

Mathematical models take millions of decisions reproducing sexist and racist biases without the citizens to notice it

If you are fired, denied of a loan or detained even, these are decisions that, nowadays, can be in hands of algorithms. The problem is that mathematics, unlike many people think, are not neutrals. There are sexist, racist or xenophobic algorithms that take thousands of decisions on the life of millions of people every day. We don’t see them. They work quietly. But the problem is not algorithms. It’s human beings. Mathematical models only imitate the prejudices of the society.

In 2014, Amazon started using an algorithm to save time when contracting staff. The tool of the Seattle’s company, that promised to be more objective and faster, gave each applicant a punctuation from one to five stars. But the artificial intelligence had been trained with the application of use data of the last ten years. In this term, the most part of contracted programmers had been men.

The algorithm learned, thus, that the best candidates had to be men and started to discriminate women. When a CV of a woman was detected, was penalised straightaway and had less punctuation. Amazon took a year to notice that was using a tool that reproduced a bias against women.
However, algorithms are not sexist, they learn to be. “An algorithm is a sequence of steps that are carried out to solve a certain task. For instance, a cuisine receipt can be considered an algorithm as well,” explains David Solans, member of the Science Web and Social Computation Research Group of the Pompeu Fabra University (UPF).

The key is the data
The algorithms that, like the Amazon’s, take decisions in an automatised way learn to identify and reproduce patterns as of the data given by the computer technicians. It is from here when discriminations appear. “A significant volume of the reproduced biases by the algorithms is acquired in consequence of the biases that showed on the data,” points out Solans. That is to say, they discriminate because they are taught it to be with data that is already biased.

Leaving the decision in hands of the artificial intelligences seems to assure a more objective process, but it does not have to be this way. The racism, sexism and xenophobia that persist in the society is reflected in the databases in which the algorithms learn from. “Facing a growing use of these systems in our daily life can raise the problem of the algorithmic discrimination as well in the years ahead,” warns Solans. In fact, as Ricardo Baeza-Yates explains, this discrimination “can affect matters such as selection of staff, bank loans or the legal system.”

Baeza-Yates, teacher of the Northeastern University in the campus of Silicon Valley, states that these stereotypes are also affecting the public administration. “The algorithm biased generates a social cost. Recently, in the Netherlands, a court ruled that the government couldn’t continue using a detection system of social fraud because it discriminated poor people,” he clarifies.

Mathematical models not only reproduce social prejudices; they are perpetuating them. “We can think how our life would look like if, for the simple reason of belonging to a minority, it was denied to us systematically a bank loan or the facial recognition of an airport didn’t allow us in a country due to it’s unable to recognise our faces,” points out Solans.

These are not examples out of reality, these are cases that have already happened.

Joy Buolamwini, an African-American researcher of the Massachusetts Institute of Technology (MIT), discovered that the facial recognition systems did not manage to identify his face, but they did recognise her white colleagues. These artificial intelligences learn through the images showed during its development. As the most part of pictures that they used to train these systems they were from white men, it’s difficult for them to detect black women faces. Buolamwini had to wear a white mask for the system to recognise her. As a result, the researcher of the MIT decided to found the Algorithmic Justice League for, according to her, “creating a world where technology work for all of us, not only for some of us.” “The algorithmic justice is about identifying, isolating and mitigating the biases in the automatised decision systems,” explains Solans, that defends the need of implementing anti-discrimination techniques.

“If we know of which bias is about, we can eradicate it processing the data to take it down. However, the problem is that many times there are some of them that we don’t know and they are not easy to find,” points out Baeza-Yates. The director of the Web Science and Social Computing Research Group of the UPF, Carlos Castillo, affirms that solving this issue “is difficult because, sometimes, the most important question is if it would use an algorithm or not.” “Sometimes, the answer is a no,” he concludes.

And the institutions?
Some administrations are giving answers to the algorithmic discrimination. For instance, the article 22 of the General Data Protection Regulation of the European Union forbid an artificial intelligence to be able to take decisions of its own. It’s always necessary that a human being intervenes. Moreover, this article states the right of a person to receive explanations about any decision in which they are involved and the participation of an automatised system.

But that a person participates in this decision is not guaranteed to be fair. “Even when there is a person in charge of taking the final decision, this person can be work overwhelmed or can be encouraged to accept blindly the algorithm’s indication. If you obey the algorithm and you are wrong, you blame the algorithm. If you go against it and make a mistake, the responsibility is yours.

Lack of transparency
“The algorithmic model itself is a black box; its content, a well-kept corporative secret,” writes Cathy O’Neil in her book Armes de destrucció matemàtica (Weapons of mathematical destruction). That’s because, if the companies are focused on designing mathematical models were not kept in secret, they would run out of their product. Another reason that explains this lack of transparency is that, if people knew how works the system that evaluates them, they would know how to mislead it. Besides, the companies are aware that, hiding the details of their programmes, people can’t question their results easily.

Under the appearance of neutrality, mathematics are taking control of our lives little by little. As it is not a visible phenomenon, it’s difficult to notice about its magnitude. However, according to Cathy O’Neil, “we have to call for responsibilities to algorithms’ creators; the era of the blind faith in massive data has to end.”

“The systems of automatised decisions are not the solution to the human stereotypes, it’s the people who has to solve this problem,” says Baeza-Yates. Nevertheless, he also recognises that “they can help us not only to take decisions less biased, but also noticing our own biases.” David Solans thinks about another topic: “A racist judge can be detrimental to a few tens of people in a day; the problem of algorithms with racist biases is that they can evaluate thousands of people in seconds.”

FAIR, the algorithm of the UPF that fights against discrimination

An algorithm that is able to detect discriminatory biases in other algorithms and correct them. This is the project that has developed the Science Web and Social Computing Research Group together with the Technical University of Berlin and the Technological Centre of Catalunya. FAIR initiative has studied databases of job offers, relapses of convicts and rankings of admissions in the university to detecting discrimination patterns in databases that benefit or are prejudicial to certain social collectives.

FA*IR algorithm detects discrimination patterns on account of genre, physical appearance or skin colour, and corrects them through mechanisms of positive action to guarantee equality.

Read more

No et refiïs dels algorismes

Javier Castillo Coronas.

Read this content in English here

Els models matemàtics prenen milions de decisions reproduint biaixos masclistes o racistes sense que la ciutadania se n’adoni.

Que et facin fora de la feina, que et neguin un préstec i fins i tot que et detinguin són decisions que, avui dia, poden estar en mans dels algorismes. El problema és que les matemàtiques, a diferència del que molta gent pensa, no són neutrals. Hi ha algorismes masclistes, racistes o xenòfobs que cada dia prenen milers de decisions sobre la vida de milions de persones. No els veiem. Treballen en silenci. Però el problema no el tenen els algorismes. El tenen els éssers humans. Els models matemàtics simplement imiten els prejudicis de la societat.

El 2014, Amazon va començar a usar un algorisme per estalviar temps a l’hora de contractar personal. L’eina de la companyia de Seattle, que prometia ser més objectiva alhora que més ràpida,donava a cada candidat una puntuació d’una a cinc estrelles. Però la intel·ligència artificial havia
estat entrenada amb les dades sobre les sol·licituds d’ús dels últims deu anys. En aquest període, la majoria dels programadors contrac-tats havien estat homes.

L’algorisme va aprendre, per tant, que els millors candidats havien de ser homes i va començar a discriminar les dones. Quan detectava que un currículum pertanyia a una dona, directament el penalitzava i li posava menys nota. Amazon va trigar un any a adonar-se que estava emprant
una eina que reproduïa un biaix contra les dones.

Però els algorismes no són masclistes, aprenen a ser-ho. “Un algorisme és una seqüència de passos que es duen a terme per resoldre una certa tasca.
Per exemple, una recepta de cuina pot considerar-se també un algorisme”, explica David Solans, membre del Grup de Recerca Ciència Web i Computació Social de la Universitat Pompeu Fabra (UPF).

La clau són les dades

Els algorismes que, com el d’Amazon, prenen decisions de manera automatitzada aprenen a identificar i reproduir patrons a partir de les dades que els proporcionen els informàtics. És aquí quan apareixen les discriminacions. “Un volum significatiu dels biaixos reproduïts pels algorismes són adquirits a conseqüència dels biaixos que reflecteixen les dades”, assenyala Solans. És a dir, discriminen perquè els ensenyen amb dades que ja estan esbiaixades.

Deixar decisions en mans de les intel·ligències artificials sembla garantir un procés més objectiu, però no té per què ser així. El racisme, el masclisme i la xenofòbia que perduren en la societat queden reflectits a les bases de dades amb les quals aprenen els algorismes. “Davant un creixent ús d’aquests sistemes en la nostra vida quotidiana, el problema de la discriminació algorítmica pot anar en augment en els pròxims anys”, alerta Solans.

De fet, com explica Ricardo Baeza-Yates, aquesta discriminació “pot afectar qüestions com la selecció de personal, els préstecs bancaris o el sistema judicial”. Baeza-Yates, professor de la Northeastern University al campus de Silicon Valley, afirma que aquests estereotips també estan afectant l’administració pública. “Els algorismes esbiaixats generen un cost social. Fa poc, als Països Baixos, un jutjat va dictaminar que el govern no podia continuar usant un sistema de detecció de frau social perquè discriminava
gent pobra”, aclareix.

Els models matemàtics no només reprodueixen els prejudicis socials, els perpetuen. “Pensem com seria la nostra vida si, pel simple fet de pertànyer a un grup minoritari, se’ns denegués sistemàticament un crèdit bancari o el reconeixement facial d’un aeroport ens impedís accedir a un país perquè
no és capaç de reconèixer-nos”, apunta Solans. No són exemples fora de la realitat, són casos que ja han succeït.

Joy Buolamwini, una investigadora afroamericana de l’Institut de Tecnologia de Massachusetts (MIT), va descobrir que els sistemes de reconeixement facial no aconseguien identificar el seu rostre, però sí el dels seus companys blancs. Aquestes intel-ligències artificials aprenen a través de les imatges que se’ls ensenyen durant el seu desenvolupament.

Com la majoria de les fotografies que s’havien emprat per entrenar aquests sistemes eren d’homes blancs, els costava detectar les cares negres femenines. Buolamwini s’havia de posar una careta blanca perquè la reconegués. Arran d’això, la investigadora del MIT va decidir fundar la Lliga de Justícia Algorítmica per, segons va explicar, “crear un món on la tecnologia treballi per a tots nosaltres, no sols per a alguns de nosaltres”.

“La justícia algorítmica tracta d’identificar, aïllar i mitigar els biaixos en els sistemes de decisions automatitzades”, as senyala Solans, que defensa la necessitat d’incorporar tècniques d’antidiscriminació. “Si sabem de quin biaix es tracta, podem erradicar-ho processant les dades per eliminar-lo.

No obstant això, el problema és que moltes vegades hi ha alguns que no coneixem i no són fàcils de trobar”, apunta Baeza-Yates. El director del Grup de Recerca Ciència Web i Computació Social de la UPF, Carlos Castillo, afirma que posar una solució “és difícil perquè, a vegades, la pregunta més important és si hauria d’utilitzar un algorisme o no”. “A vegades, la resposta és negativa”, conclou.

I les institucions?

Algunes administracions ja estan donant resposta a la discriminació algorítmica. Per exemple, l’article 22 del Reglament General de Protecció de Dades de la Unió Europea prohibeix que una intel·ligència artificial pugui prendre decisions per si sola. Sempre és necessària la intervenció d’un ésser humà. A més, aquest article declara el dret d’una persona a rebre explicacions sobre qualsevol decisió que l’hagi afectat i en la qual hagi participat un sistema automatitzat.

Però la participació d’una persona en la decisió no garanteix que sigui justa. “Fins i tot quan hi ha una persona a càrrec de prendre la decisió final, pot estar sobrecarregada de treball o pot tenir incentius per acceptar la indicació de l’algorisme cegament”, adverteix Castillo. Si obeeixes l’algorisme i t’equivoques, pots tirar-li la culpa a l’algorisme. Si el contradius i comets un error, la responsabilitat és teva.

Falta de transparència
“El model algorítmic en si és una caixa negra; el seu contingut, un secret corporatiu ben guardat”, escriu Cathy O’Neil en el seu llibre Armes de destrucció matemàtica. I és que, si les empreses que es dediquen a dissenyar models matemàtics no els mantinguessin en secret, es quedarien sense producte.

Una altra de les raons que explica aquesta falta de transparència és que, si les persones coneguessin com funciona el sistema que les avalua, sabrien com enganyar-lo. A més, les empreses són conscients que, amagant els detalls dels seus programes, les persones no poden qüestionar els seus resultats fàcilment.

Sota l’aparença de neutralitat, les matemàtiques han anat prenent a poc a poc el control sobre les nostres vides. Com que no és un fenomen visible, és difícil adonar-se de la seva magnitud.

No obstant això, segons Cathy O’Neil, “hem d’exigir responsabilitats als creadors dels algorismes; l’era de la fe cega en les dades massives ha d’acabar”. “Els sistemes de decisió automatitzada no són la solució als
estereotips humans, són les persones les que han de resoldre aquest problema”, opina Baeza Yates. No obstant això, també reconeix que “ens poden ajudar no sols prenent decisions menys esbiaixades, sinó també fent-nos notar els nostres propis biaixos”.

David Solans creu que també cal posar l’atenció en un altre tema: “Un jutge racista pot perjudicar poques desenes d’individus en un sol dia; el problema dels algorismes amb biaixos racistes és que poden avaluar milers de persones en pocs segons”.

FA*IR, l’algorisme de la UPF que lluita contra la discriminació

Un algorisme que és capaç de detectar biaixos discriminatoris en altres algorismes i corregirlos. Aquest és el projecte que ha desenvolupat el Grup de Recerca Ciència Web i Computació Social de la UPF conjuntament amb la Universitat Tècnica de Berlín i el Centre Tecnològic de Catalunya.

La iniciativa FAIR ha estudiat bases de dades d’ofertes de treball, de reincidències de condemnats i de rànquings d’admissions a la universitat per detectar patrons de discriminació en bases de dades que afavoreixen o perjudiquen determinats col·lectius socials.

Una de les situacions que els desenvolupadors de FAIR pretenen corregir és, per exemple, quan un portal de cerca d’ocupació té perfils de dones i homes amb una formació similar, però en els primers resultats del cercador solament apareixen homes. L’algorisme FAIR detecta patrons de discriminació per raó de gènere, aparença física o color de pell i els corregeix a través de mecanismes d’acció positiva per garantir la igualtat.

Read more

Generació Z: publico a Internet, llavors existeixo

Com les xarxes socials i les TIC han afectat la vides del joves.

Read more

Uso de cookies

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información.

Aviso de cookies