Introducción. Desigualdad algorítmica: gobernanza, representación y derechos en la IA

Daniel Innerarity, catedrático de Filosofía Política, investigador Ikerbasque, Universidad del País Vasco; titular de la cátedra de Inteligencia Artificial y Democracia, Instituto Europeo de Florencia. dinner@ikerbasque.org. ORCID: https://orcid.org/0000-0003-4307-8468                               

Carme Colomina Saló, investigadora sénior y editora, CIDOB; profesora asociada, College of Europe, (Bélgica). ccolomina@cidob.org. ORCID: https://orcid.org/0000-0003-3848-4242

Marta Cantero Gamito, investigadora, Florence School of Transnational Governance, Instituto Universitario Europeo de Florencia; profesora de Derecho de las Tecnologías de la Información, Universidad de Tartu (Estonia). marta.cantero@eui.eu. ORCID: https://orcid.org/0000-0001-8200-3456

La inteligencia artificial (IA) y su desarrollo hiperacelerado suponen un desafío tecnológico, económico, social y geopolítico que los grandes poderes globales abordan desde diversas visiones estratégicas, a veces contradictorias. En este proceso de revolución tecnológica, la democracia y la IA se impactan mutuamente de muchas maneras. Esta última ocupa de manera creciente un lugar institucional en la administración pública y en las relaciones internacionales, desafiando la legitimidad e incluso la racionalidad del diseño de procesos para la toma de decisiones, lo que determina nuevos centros de poder. Así, la IA no solo está cambiando la relación democrática entre gobernantes y gobernados, sino también el reordenamiento entre poderes globales. Asistimos a un proceso acelerado de colonización algorítmica de la esfera pública y de la propia democracia, pero también de los recursos naturales imprescindibles para el desarrollo y funcionamiento de la IA.

En este contexto, el número 138 de Revista CIDOB d’Afers Internacionals pretende contribuir a la discusión pública sobre los retos que conlleva una IA democrática, tanto en su dimensión en línea (online) como fuera de ella (offline), porque la discusión sobre cómo deben articularse categorías, grupos e individuos para hacer frente a las discriminaciones que proceden de la pertenencia a un determinado colectivo, no depende únicamente de la agregación algorítmica, sino de la discusión política en general. De hecho, la IA y los sistemas de gobernanza algorítmica en general han acabado reproduciendo sesgos discriminatorios preexistentes. Se ha demostrado que la elaboración de perfiles impulsada por IA y la toma de decisiones está sesgada en contra de ciertos grupos étnicos y minoritarios, por lo que la discriminación de datos es ya un problema social real. 

¿Cómo podemos lograr una IA capaz de adaptarse, aprender y evolucionar en respuesta a las discusiones políticas complejas y dinámicas que caracterizan la democracia? ¿Cómo se puede promover la gobernanza de una IA convertida en herramienta de poder global? ¿Cómo podemos transformar los paradigmas dominantes sobre el uso de la tecnología a fin de favorecer el desarrollo de una IA que no esté basada únicamente en el razonamiento lineal y deductivo? Con estas preguntas en mente, el monográfico que presentamos reflexiona sobre casos específicos de aplicación de la IA y la gobernanza algorítmica, así como sobre los riesgos que estas comportan.

Riesgos para la integridad de la democracia

Daniel Innerarity explora en su artículo los límites de la gobernanza algorítmica y de las expectativas que suscita. Según sus palabras, «los algoritmos realizan una doble promesa de objetividad y subjetividad, es decir, de neutralidad ideológica y, al mismo tiempo, de respeto absoluto a nuestros deseos». Sin embargo, no se trata solo de eficacia, ni de un mero procesamiento de información, sino de su interpretación en un contexto de pluralismo garantizado. El gobierno democrático no consiste en proporcionar ciertos outputs, sino en garantizar que todos los ciudadanos puedan tomar parte en el proceso de formación de la voluntad política y en los procesos de decisión del gobierno.  

La aportación de Anna Levitina también analiza la responsabilidad humana en este proceso de algoritmización, pero lo hace desde una perspectiva distinta, en el marco del Reglamento General de Protección de Datos (RGPD) y la Ley de la IA de la Unión Europea (UE). El primero, en vigor desde mayo de 2018, estableció un marco fundacional para la participación humana en la toma de decisiones automatizada (ADM, por sus siglas en inglés), exigiendo una implicación humana significativa en estos procesos. Sin embargo, la autora considera que la legislación actual es insuficiente para abordar los aspectos cualitativos de la supervisión humana y de integrar a las personas supervisoras en los modelos de gobernanza. 

Por su parte, Carlos Saura y Patrici Calvo examinan las principales estrategias vinculadas con las tecnologías digitales disruptivas para la manipulación de la opinión pública a través de la potenciación del desarrollo de un patrón totalmente ficticio, creado de forma artificial en favor de intereses determinados. El artículo aborda el impacto de este nuevo contexto democrático algoritmizado, sintetificado y masivo en una opinión pública y unos sistemas democráticos expuestos a esta suerte de despotismo tecnológico.

Riesgos para la integridad de colectivos vulnerables

El proceso de plataformización, ya sea de las infraestructuras de datos, los mercados o la gobernanza, ha amplificado la vulnerabilidad de determinados colectivos. Al respecto, el artículo de Águeda Gómez Suárez y Rosa Mª Verdugo Matés examina cómo el ciberespacio se ha transformado en un nuevo dispositivo de dominación a través de la difusión y proliferación de contenidos misóginos y sexistas en la red (ciberviolencia, «pornografía mainstream», industria de la explotación sexual, «proxenetismo digital»), que contribuyen a perpetuar la jerarquía sexual y la «monetización de la misoginia». 

Asimismo, la introducción de los sistemas de IA en el control y la gestión migratorios europeos conlleva un proceso avanzado de securitización tecnológica de las fronteras, que ha creado nuevas vulnerabilidades y dinámicas discriminatorias. Sobre este tema, la contribución de Encarnación La Spina analiza por qué el nuevo marco regulador de la IA aprobado en la UE es insuficiente para evitar el impacto discriminatorio de sesgos, estereotipos y riesgos asociados a las dinámicas asimétricas de poder y a las estructuras de injusticia social subyacentes a las migraciones.  

Por su parte, Marta Cantero Gamito explora cómo la IA está reconfigurando el acceso a la justicia, al analizar tanto las oportunidades como los riesgos asociados a la búsqueda de accesibilidad y la eficiencia. Al igual que otros servicios low-cost, este entendimiento de la justicia en términos de eficiencia presenta el riesgo de diluir la calidad y el rigor que tradicionalmente se espera del sistema judicial en un Estado de derecho. 

En este contexto, Miguel Guillén Burguillos y Eloi Serrano Robles proponen integrar los principios de la economía social para promover un desarrollo de la IA que incorpore la ética, la justicia, la gestión democrática, la equidad, la sostenibilidad y la defensa de los intereses de las personas, sus comunidades y sociedades, más allá de los beneficios económicos.

Y en esta aproximación al impacto colectivo de la IA, tampoco las ciudades han escapado a la imparable plataformización que impone un nuevo régimen de gubernamentalidad a nivel local que opera a partir del uso masivo e intensivo de algoritmos de IA. José Luís Blasco Ejarque y Francisco Javier Tirado examinan la evolución de las denominadas «ciudades inteligentes» (smart cities) hacia ciudades progresivamente «posinteligentes», donde el poder algorítmico se vuelve opaco e inteligible en cuanto nos acercamos a sus mecanismos de funcionamiento internos.

Riesgos geopolíticos para una gobernanza inclusiva

El debate sobre la gobernanza de la IA va de la mano de la carrera geopolítica por liderar la innovación tecnológica. Por este motivo el número 138 de Revista CIDOB d’Afers Internacionals también busca reflexionar sobre el impacto de la IA en la transformación de las relaciones internacionales y la seguridad. La irrupción y despliegue de la IA tiene un impacto exponencial en el proceso de transformación y reordenamiento geopolítico global, en la creación de nuevas dependencias y en el extractivismo de recursos naturales. En un contexto de confrontación, donde Estados Unidos, China y, en menor medida, la UE lideran la llamada «carrera» por el desarrollo de la IA, Carme Colomina Saló y Marta Galceran-Vercher analizan los espacios, procesos y actores, actualmente invisibilizados en los discursos dominantes sobre la geopolítica de la IA, y que son imprescindibles para entender cómo se van a desarrollar los sistemas algorítmicos en los próximos años.  

No cabe duda de que la ubicuidad de la IA ya es indiscutible, pero su gobernanza aún está en construcción. En este contexto, este número aporta una mirada propia, compleja y heterogénea al debate sobre cómo y por qué es urgente democratizar la IA. 

Revista CIDOB d’Afers Internacionals, nº 138, p.7-10
Cuatrimestral (septiembre-diciembre 2024)
ISSN:1133-6595 | E-ISSN:2013-035