Desenvolupar la IA i protegir drets fonamentals: els reptes de les institucions

Parlar de drets digitals és nou en l'àmbit institucional. Contràriament, la societat civil que ha impulsat l'ús d'internet i la seva defensa des de fa ja pràcticament mig segle, ha escrit i treballat molt intensament sobre el tema, sent un dels pilars de la governança d'Internet com el coneixem.

El digital, en lloc de ser un espai més de la vida on haurien de regir els mateixos drets i llibertats fonamentals que en d'altres, sovint és castigat pel legislador que aplica una condició d'estat d'excepció, en nom dels "més vulnerables", de "protegir la seguretat" de béns i persones o d'un solucionisme tecnològic que amaga incapacitats polítiques i de gestió.

Institucionalment, s'ha anat inculcant a la societat una narrativa asimètrica respecte als riscos digitals en què les institucions tenen el rol de salvadors. En realitat, el digital deu i pot i ha de permetre una relació adulta entre administracions, institucions i ciutadania. I això sobretot perquè, en aquell moment, el gruix d'abusos dels drets digitals prové de les institucions i d'altres actors sistèmics emparats. Hi ha una asimetria de poder entre institucions i població. Per exemple, se'ns pot vigilar molt més del que nosaltres podem vigilar i obtenir rendició de comptes, encara que les eines a disposició siguin les mateixes. En tota política democràtica, el focus s'hauria de dirigir a corregir les asimetries de poder sistèmiques.

El digital i la intel·ligència artificial (IA) tenen i tindran implicacions en pràcticament tots els àmbits de la vida pel que afecten gairebé tota la gamma de drets existents i en construcció, des dels més personals d'identitat, privadesa o intimitat de les nostres cases, fins als relacionats amb la participació democràtica, el món laboral i els drets a la salut i l'educació, entre d'altres.

En aquest context, respecte a la IA en concret, creiem que el veritable perill és la consideració i el lloc que li atribueixin les nostres institucions. Tal com expressa el filòsof Daniel Dennett "no és que màquines més intel·ligents que nosaltres usurpin el nostre rol, sinó que sobreestimem les nostres eines, cedint-los prematurament autoritat més enllà de la seva competència". Una cosa molt temptadora per a qualsevol gestor públic, ja que li permetria prendre decisions ràpides, i fins i tot descarregar responsabilitats en les tasques a favor de l'eina utilitzada, permetent decisions opaques alhora.

També és perillós l'oposat: caure en una certa tecnofòbia simplista i desinformada que és promoguda per alguns corrents de pensament. Creiem que l'ús de dades i la intel·ligència artificial és absolutament útil per al benestar de la societat, però imperativament ha de ser transparent, auditable, comprensible, veraç, robust, respectuós dels drets humans, plenament informat i al servei de les persones; els seus resultats han d'estar al servei dels béns comuns, tant pel seu ús per a una administració millor com per a la ciutadania, la ciència i l'emprenedoria.

En aquest mateix sentit, punt de partida obligat són els principis de minimització i de privacitat des del disseny i per defecte ja consolidats en el Reglament General de Protecció de Dades i encara no plenament i correctament implementats, en general, i per les institucions, en particular.

La Declaració Universal dels Drets Humans, el Pacte Internacional de Drets Civils i Polítics i el Pacte Internacional de Drets Econòmics, Socials i Culturals, entre altres instruments internacionals, preveuen que les persones tenen dret a obtenir dels Estats el respecte, la garantia i la satisfacció dels seus drets polítics, econòmics, socials i culturals, indispensables a la seva dignitat i lliure desenvolupament de la personalitat. Com a societat civil organitzada hem aconseguit canvis molt importants en aquest sentit en l'AiAct, la regulació europea que s'aprovarà en breu. El que s'haurà de vigilar és com l'implementin les institucions.

La IA pot contribuir àmpliament a la millora de l'Administració i dels serveis, reduir la burocràcia i els temps de gestió i resposta en la prestació de determinats serveis al conjunt de la ciutadania, millorant l'eficàcia i estalviant recursos. Aquests avantatges de cap manera han de contradir drets fonamentals; no només poden ser, sinó que han de ser, perfectament compatibles.

La IA ha de venir a resoldre problemes i a facilitar les tasques, no a l'inrevés. No sempre certa complexitat és realment necessària per a simplificar prestacions. Les propostes que involucrin la IA han de valorar si són compatibles amb els drets fonamentals en cada cas concret, i si cada aspecte del plantejament fet té potencial per millorar l'eficiència i altres aspectes de la vida de les persones amb l'ús mínim de dades i de forma no invasiva. En el cas de serveis públics, les solucions que involucrin IA han d'avaluar-se comparant-les amb solucions que no n'involucrin, per no prioritzar la IA com a un a priori.

Els riscos de vigilància, elaboració de perfils i discriminació estan interconnectats quan els sistemes d'IA s'han desplegat per exemple en contextos d'assignació de recursos de previsió social, avaluació d'elegibilitat i detecció de fraus. Amb molta freqüència els desenvolupaments que inclouen sistemes d'IA han fet patent que poden contribuir a magnificar la discriminació ja existent, reproduint biaixos en l'ús dels paràmetres aplicats a les dades, perpetrant situacions de discriminació sistèmica ja existents en la realitat física, i gens desitjables. Són molts els exemples.

Des de fa molts anys el govern polonès ha utilitzat sistemes basats en dades per perfilar a les persones aturades. De forma semblant, el govern holandès va desplegar SyRI, un sistema per "detectar comportaments fraudulents" creant perfils de risc d'individus. El 2019, un tribunal holandès va dictaminar que aquest sistema violava els drets humans i la privadesa.

En un altre cas, l'Agència del Treball d'Àustria va posar en marxa el 2016 un programa per avaluar les possibilitats de determinats grups de població al mercat laboral i tres anys més tard va anunciar que començaria a atribuir automàticament a cada sol·licitant de feina una puntuació en funció de diversos aspectes per classificar-los entre tres grups diferents.

Després d'analitzar un dels models utilitzats per l'algorisme (només dos models dels 96 utilitzats van ser fets públics), es va descobrir que les dones rebien una puntuació negativa, igual que les persones amb discapacitat i majors de 30 anys. Les dones amb fills també rebien una puntuació negativa però, "sorprenentment", els homes amb fills no. Aquest sistema va ser declarat il·legal per l'Autoritat Austríaca de Protecció de Dades el 2020, que va declarar que s'havia de suspendre el seu ús.

L'existència de biaixos és notòria. Els biaixos són particularment greus quan, per exemple, deriven en discriminacions d'un grup a favor d'un altre o incrementen les desigualtats. Aquest problema no és particular dels sistemes d'IA, sinó que és general a qualsevol procés de presa de decisions, ja sigui humà o automàtic. Però existeix un altre tipus de biaix igualment preocupant i que és el del biaix en la interpretació dels resultats de la IA. El biaix humà consisteix a acceptar, sense esperit crític, els resultats d'una IA com a certs i inamovibles, assumint un «principi d'autoritat» derivat de les expectatives creades per aquests sistemes.

L'ús irreflexiu de la IA en l'Administració i en institucions és problemàtic en aplicacions ja existents com ara la vigilància i processament biomètric indiscriminats; l'ús de la IA com a únic element per determinar l'accés o la prestació de serveis públics essencials; els usos de la IA que pretenen identificar, analitzar i avaluar les emocions, l'estat d'ànim, el comportament i els trets d'identitat sensibles en la prestació de serveis essencials; la policia predictiva; armes letals autònomes i altres usos que identifiquin objectius; etc.

Els problemes vinculats a l'automatització dels serveis de l'Estat del benestar resideixen en particular en la falta de transparència, la mateixa que existeix en els procediments administratius, amplificada; l'eliminació del factor humà en situacions en les que no pot donar-se una resposta estandarditzada; les limitacions d'accés que suposa un procés digitalitzat en situació d'escletxa digital, ja siguin per a usuaris finals del sistema o treballadores que l'han de fer servir per prestar el servei.

En relació a aquests reptes és on s'ha de donar solució des del marc normatiu. En aquest sentit, en l'ordenament jurídic espanyol, la "Llei integral 15/2022, de 12 de juliol, per a la igualtat de tracte i la no-discriminació", preveu expressament en el seu article 23 el deure d'impulsar la posada en marxa de mecanismes per garantir que els algorismes involucrats en la presa de decisions, que s'utilitzin en les administracions públiques, tinguin en compte criteris de minimització de biaixos, transparència i rendició de comptes, "sempre que sigui factible tècnicament," cosa considerada encara insuficient per als grups defensors dels drets digitals i que el #AiAct vindria a pal·liar.

El plantejament a escala europea, en comparació amb altres plantejaments d'altres àrees i fins i tot en comparació amb altres polítiques proposades per la Unió Europea, preveu uns millors estàndards per a la protecció dels drets humans i llibertats fonamentals, sempre que s'aconsegueixi eliminar l'addenda de l'article 6 que transformaria la legislació en una simple recomanació d'autocompliment i no obligatòria.

La UE #AiAct estableix la prohibició de certs sistemes d'IA en atenció als riscos que se'n poden derivar per les persones, sistemes tots els que ja estaven sent implementat a menys en els somnis humits de certes institucions com ara sistemes de perfils de scoring social, l'ús de videovigilància a temps real amb identificació biomètrica en espais públics o a posteriori, el reconeixement emocional en el sistema de justícia, llocs de treball, educació i fronteres, etc.

Addicionalment, la proposta de legislació sobre IA inclou una distinció de les diferents categories de sistemes en funció al risc que poden presentar per a les persones. En concret, preveu com a sistemes d'IA d'alt risc aquells sistemes que s'utilitzin per regular l'accés a serveis públics i privats essencials, així com els seus beneficis, imposant les diferents obligacions d'aquest nivell de sistemes (e. g. supervisió humana, alta qualitat de les dades, arxius de registre d'actuacions, disposar de documentació tècnica detallada sobre el seu funcionament, proporcionar informació clara i adequada als usuaris, etc.).

Ara bé, hem de salvaguardar els drets fonamentals, però alhora salvaguardar les possibilitats de desenvolupament de sistemes d'IA en particular com a programari de codi obert. Els sistemes d'IA de codi obert són crucials com a contrapunt a la tendència de les grans empreses de tecnologia a desenvolupar sistemes d'IA com a caixes negres. És important que puguin compensar les mancances de recursos amb l'agilitat. En un nou text, la proposta afegeix justes excepcions (Art. 2(5d)) per al desenvolupament d'IA en investigació i de codi obert, però insuficients perquè no sigui massa onerós complir-les per a algú que no sigui una Big Tech en deixar fora les condicions de món-real i les condicions comercials.

Tal com està escrit actualment, el text amenaça de crear càrregues de requisits legals impossibles de complir per actors més petits, just ara que han demostrat poder trencar el monopoli de les grans corporacions tecnològiques.

Com explica Paul Keller des d'Open Future, cal una distinció de les obligacions depenent de si la IA s'implementa a gran escala o simplement està disponible en repositoris oberts. El Considerando 12b obre la porta a millorar el redactat: "ni el desenvolupament col·laboratiu de components d'IA gratuïts i de codi obert ni la seva disponibilitat en repositoris oberts ha de constituir una posada al mercat o una posada en servei".

Els requisits bàsics han d'incloure la transparència de les dades de capacitació i les característiques del model, la documentació de les estratègies de mitigació de riscos i els riscos no mitigables, i la provisió de documentació tècnica i guies d'usuari".

Finalment, atès l'objectiu general d'augmentar la transparència en el desenvolupament i la implementació de sistemes d'IA, una de les omissions més grans de la llei és la manca d'un requisit general de transparència per a les dades d'entrenament perquè s'apliqui a tothom els tipus de sistemes d'IA i tota mena de dades d'entrenament (no només dades protegides per drets d'autor). De fet, la problemàtica dels biaixos sol estar causada per les fonts utilitzades per a l'entrenament de la IA fins i tot més que per la programació.

L'AI Act és un inici. A allò que haurem de prestar esforç i atenció serà que les institucions ho implementin amb efectivitat i no de la manera agònica amb què estan implementant el Reglament General de Protecció de Dades.

*Aquest text és l'adaptació d'una part de la contribució d'Xnet al Projecte Gavius, per a l'EU Urban Innovative Actions (març 2023) Llicència Creative Commons 4.0 BY SA ?