Europa propone restricciones a la inteligencia artificial con una legislación que podría frenar la innovación

La Comisión del Mercado Interno y la Comisión de Libertades Civiles del Parlamento Europeo aprobaron el pasado jueves un mandato de negociación para abordar la primera legislación sobre inteligencia artificial. Los eurodiputados pretenden que se garantice que, dentro de la Unión Europea, los sistemas de IA estén supervisados por personas y que serán "seguros, transparentes, rastreables, inclusivos y respetuosos con el medioambiente".

Las anticipadas medidas, que han sido debatidas durante más de dos años, sentarán las bases para la creación de una legislación pionera con la que controlar este nuevo tipo de tecnologías con medidas que restringirán, por ejemplo, su uso en sistemas de reconocimiento facial o de crédito social. Además, se ha hecho especial hincapié en establecer una definición apropiada de sistema de inteligencia artificial para que ésta sea tecnológicamente neutra y la legislación sea aplicable no solo a los sistemas actuales como ChatGPT, sino también a los del futuro.

Prohibición de uso de la inteligencia artificial en sistemas de reconocimiento

La proposición plantea una legislación basada en la determinación del riesgo inherente de cada IA y establece cierto tipo de obligaciones a proveedores y usuarios en función de este nivel de peligrosidad. Los de mayor riesgo, que son calificados de "inaceptables", estarán totalmente prohibidos dentro de la jurisdicción de la Unión como los que usen técnicas de manipulación subliminal, se aprovechen de las vulnerabilidades de individuos o colectivos o registren y clasifiquen a las personas en función de sus comportamientos, emociones o poder adquisitivo.

Entre la larga (y desordenada e inacabada) lista de propuestas legislativas, con varios y profundos desacuerdos entre los políticos conservadores y progresistas, el borrador detalla la pretensión de vetar el uso de la IA en los siguientes supuestos:

Identificación biométrica en tiempo real en espacios públicos.
Identificación biométrica de grabaciones, salvo requerimiento de las autoridades en la persecución de delitos graves y con autorización judicial previa.
Categorización biométrica del público, transeúntes o clientes de establecimiento empleando características sensibles como "género, raza, etnia, ciudadanía, religión, creencias u opiniones políticas".
Reconocimiento de emociones empleadas por fuerzas del orden, gestión fronteriza, en el lugar de trabajo y las instituciones educativas.
Extracción indiscriminada de datos biométricos provenientes de redes sociales o grabaciones de CCTV para crear bases de datos de reconocimiento facial.

El proyecto de ley se someterá a votación plenaria en el Parlamento Europeo en junio, antes de que se acuerden los términos definitivos entre los representantes del Parlamento, Consejo y Comisión de la Unión Europea.

Una vez que se ultimen los detalles y el proyecto se convierta en ley, habrá un periodo de dos años para que los afectados puedan cumplir la normativa tal y como ha ocurrido con la aprobación de la DSA hace unos meses y que afecta a compañías como Twitter o Facebook.

¿Qué es una inteligencia artificial de alto riesgo para la Unión Europea?

El extenso borrador, llamado Proposal for a regulation of the European Parliament and of the Council on harmonised rules on Artificial Intelligence, plantea varias cuestiones tras su análisis.

A quién afecta

En el artículo 2 del presente se indica que el reglamento aplica a:

Los proveedores que comercialicen o pongan en servicio sistemas de inteligencia artificial en la Unión Europea, con independencia de que dichos proveedores estén establecidos en la Unión o un país fuera de la misma.
Los que desplieguen sistemas de inteligencia artificial que tengan su lugar de establecimiento o que estén situados dentro de la Unión.
Los proveedores que implanten sistemas de inteligencia artificial que tengan su lugar de establecimiento o estén situados en un país fuera de la región, cuando, o bien se aplique el derecho de un estado miembro en virtud del derecho internacional público, o bien el producto producido por el sistema esté destinado a ser utilizado en la Unión Europea.

Es decir, cualquier sistema de IA que pueda ser empleado a través de empresas dentro de la jurisdicción de la Unión Europea, por lo que afectaría también a los sistemas norteamericanos tanto si los despliegan ellos mismos o lo hacen a través de terceros.

El sistema de clasificación

En líneas generales, el reglamento presenta la adaptación de diferentes normas acorde al riesgo del sistema de IA en cuatro niveles:

Riesgo inaceptable: se prohibirán los usos nocivos de la inteligencia artificial que contravengan los valores de la Unión Europea —como la puntuación social por parte de los gobiernos— debido al riesgo inaceptable que generan. Se desarrollan íntegramente en el artículo 5.
Alto riesgo: se consideran de alto riesgo una serie de sistemas de IA que crearen un impacto adverso en la seguridad de las personas o en sus derechos fundamentales. Para garantizar la confianza y un nivel elevado y coherente de protección de la seguridad y los derechos fundamentales, se aplicará una serie de requisitos obligatorios —incluida una evaluación de la conformidad— a todos los sistemas de alto riesgo.
Riesgo limitado: algunos sistemas de inteligencia artificial estarán sujetos a un conjunto limitado de obligaciones. Por ejemplo, la transparencia.
Riesgo mínimo: todos los demás sistemas de IA pueden desarrollarse y utilizarse en la Unión Europea sin más obligaciones legales que la legislación vigente.

Tras la lectura del borrador, que todavía ha de ser discutido, completado y armonizado, los únicos sistemas de IA de riesgo mínimo serían los filtros contra el spam en correos electrónicos o sistemas de comentarios en redes sociales y publicaciones. O algoritmos que se usen en videojuegos. Los de clasificación de contenido y ordenamiento, empleados en las redes sociales, ya están regulados por la DSA, pero también podrían ser consideradas IA de riesgo limitado siempre que se constate que no se discrimina por razón de sexo, raza, religión.

El punto más delicado e interpretable del borrador es la clasificación de inteligencias artificiales de "alto riesgo" debido a su poca claridad. Tal vez intencionadamente para adaptarse a las posibles nuevas tecnologías que pudieren desarrollarse en el futuro.

Categorías de alto riesgo

En el artículo 6 se detallan las reglas de clasificación de sistemas de inteligencias artificiales de alto riesgo. Se considerarán como tales, en todo caso, las que formen parte de la seguridad de un producto o de una inteligencia artificial si ésta es un producto cubierto por la legislación europea que afecta a dispositivos médicos, seguridad, infraestructura crítica... También los que abarquen una o más categorías, listadas en el Anexo III, que abordan materias peligrosas por "poner en riesgo la salud de las personas o poner en peligro los derechos fundamentales de las personas naturales o el medioambiente". Entre las cuales encontramos:

Sistemas basados en la biométrica.
Gestión y operación de infraestructura crítica
Educación y entrenamiento vocacional o profesional
Empleo, gestión de recursos humanos
Acceso y disfrute de servicios públicos o privados considerados como «esenciales»
Sistemas empleados por los cuerpos de seguridad.
Sistemas de control de migración, asilo y fronteras.
Administración de justicia y procesos democráticos.

En consecuencia, cualquier sistema usado por los organismos públicos de los estados miembro serán clasificados como de alto riesgo si afectaren a los ciudadanos directa o indirectamente sobre sus derechos fundamentales.

¿Qué pasa con las inteligencias artificiales generativas?

Las IA generativas, denominadas "modelos fundacionales" en el Reglamento, deben "garantizar la transparencia sobre el hecho de que el contenido es generado por un sistema de IA y no por humanos. Estos requisitos y obligaciones específicos no equivalen a considerar los modelos fundacionales como sistemas de IA de alto riesgo, pero deben garantizar que se alcancen los objetivos del presente Reglamento de asegurar un alto nivel de protección de los derechos fundamentales, la salud y la seguridad, el medio ambiente, la democracia y el Estado de derecho".

No son, por tanto, clasificados sistemáticamente como "sistemas de alto riesgo", pero la amplitud de conceptos y poca la escasa concreción con la que son expuestas las condiciones podrían inducir a profundos y farragosos debates a la hora de concretar el nivel de peligrosidad de servicios como ChatGPT. ¿Qué quiere decir que exista un "alto nivel de protección al medioambiente? ¿Ha de estar programada la inteligencia artificial para que no te aconseje coger el coche si no es eléctrico? ¿Cómo se cuantifica lo democrática que puede ser una afirmación? ¿Quién lo juzgará: políticos o jueces?

Numerosas trabas para las IA de código abierto, uso de APIs y generativas

En una de las disposiciones de los anexos podemos leer que todos "los terceros implicados en el desarrollo, venta y suministro de estos sistemas deben poner a disposición la información, la formación o los conocimientos necesarios y cooperar, según proceda, con los proveedores para permitir su control sobre todos los aspectos pertinentes de cumplimiento del sistema de IA que entran en el ámbito de aplicación del presente reglamento". Esto podría limitar seriamente tanto el uso de sistemas de código abierto como el uso de API de una empresa estadounidense, por ejemplo, utilizada dentro de la Unión Europea. La primera debería certificar que el acceso de la API solo confiere o podrá conferir funcionalidades de riesgo controlado o mínimo, por ejemplo. El borrador no es muy concreto todavía, pero podría suponer un grave problema para ciertos campos de la industria y la innovación.

Los distribuidores, implantadores, personas jurídicas o naturales que quieran ofrecer sistemas de inteligencias artificiales, deben someterse a un riguroso proyecto de revisión de permisos antes de su lanzamiento. Las pequeñas empresas de la Unión Europea están exentas de este requisito para no dinamitar la innovación o la creación de negocios que no podrían abordar económicamente la auditoría de sus algoritmos y posible impacto. ¿Asume la Unión que estos no pueden desarrollar sistemas de alto riesgo?

Las multas son millonarias. Las empresas que engañen clasificando su sistema como de riesgo controlado, pero se compruebe que es de elevado, serán sancionadas con una multa de 20 millones de euros. Eso o el 4 % de sus beneficios anuales a nivel mundial si es una compañía. Las que desplieguen sistemas de IA prohibidos, detallados en el artículo 5, serán sancionadas con multas de 40 millones de euros, o el 7 % de sus beneficios anuales a nivel mundial si es una compañía.

Para las IA generativas, habrá los siguientes requisitos antes de ser comercializadas o puestas en servicio independientemente de que se suministre como modelo independiente o integrado en un sistema de IA o en un producto o de que se suministre bajo licencias libres y de código abierto como servicio u otros canales de distribución:

Demostrar, mediante un diseño, pruebas y análisis adecuados, la identificación, reducción y mitigación de "riesgos razonablemente previsibles para la salud, la seguridad, los derechos fundamentales, el medio ambiente y la democracia y el Estado de derecho". Antes y durante el desarrollo, con métodos adecuados como la participación de expertos independientes, así como la documentación de los riesgos no mitigables restantes después del desarrollo.
Procesar e incorporar únicamente conjuntos de datos que estén sujetos a medidas adecuadas de gobernanza de datos para los modelos fundacionales. En particular, medidas para "examinar la idoneidad de las fuentes de datos y los posibles sesgos y su adecuada mitigación".
Diseñar y desarrollar el modelo base para alcanzar a lo largo de su ciclo de vida niveles adecuados de rendimiento, previsibilidad e interpretabilidad, seguridad y ciberseguridad evaluados mediante métodos adecuados, la participación de expertos independientes, análisis documentados y pruebas exhaustivas durante la conceptualización, el diseño y el desarrollo.
"Estudiar el modelo para hacer un uso respetuoso del medioambiente reduciendo el consumo y residuos que pueda generar". Ha de programarse para aumentar su eficiencia energética.
Elaborar una amplia documentación técnica e instrucciones de uso inteligibles para que los proveedores posteriores puedan cumplir las obligaciones que les incumben.
Establecer un sistema de gestión de la calidad para garantizar y documentar el cumplimiento del Reglamento.
Registrar dicho modelo básico en la base de datos de la Unión Europea.

Las medidas son extensas y restrictivas, por lo que solo empresas de gran tamaño o pequeñas empresas europeas y Universidades podrían desplegar pequeños modelos generativos sin invertir millones de euros en el cumplimiento de estos posibles requisitos a no ser que, como detalla el borrador, se trate de una microempresa o pequeña empresa con sede en uno de los Estados Miembros.

Una vez que se ultimen los términos y el proyecto se convierta en ley, habrá un periodo de dos años para que los afectados puedan cumplir la normativa tal y como ha ocurrido con la aprobación de la DSA hace unos meses y que afecta a compañías como Twitter o Facebook.