Es acuciante preguntarnos cómo el uso de la IA por parte de los poderes públicos afecta o puede afectar a la administración de justicia y a la eficacia de los derechos. Pero antes de esto, lo primero que hay que señalar es el hecho de que resulta complicado conocer cómo funciona la IA, lo que limita ya, en el mismo principio, nuestra capacidad de comprender el impacto que puede tener. Esto se llama el black box effect o "efecto de caja negra".
También es preciso preguntarse bajo qué circunstancias la supervisión humana puede ser una salvaguardia adecuada para prevenir daños y violaciones de derechos que puedan surgir en el uso de los sistemas de IA. Necesitamos una IA responsable, en la que esté bien controlado y dimensionado el riesgo tan alto que su uso puede desplegar.
Los fallos algorítmicos de la IA se producirán tarde o temprano, a una escala mayor o menor, y entonces tendrá que intervenir la inteligencia natural para mitigar sus efectos, con la intuición y sagacidad que caracteriza al intelecto humano. No se puede omitir ni relegar la intervención humana cuando se deja a la IA gestionar bienes esenciales para la sociedad. Sin embargo, la supervisión humana podría verse afectada por dos tipos de sesgos (cognitivos) que influyen en nuestra toma de decisiones: (1) la adhesión automática a los consejos o recomendaciones de una IA (“sesgo de automatización”); y (2) la adhesión selectiva cuando las predicciones algorítmicas corresponden a las creencias, sesgos y estereotipos preexistentes del usuario.
Este último aspecto pone de relieve los posibles efectos negativos de la automatización de la Administración y del Poder Judicial. Por esta razón, es crucial investigar cómo aquellos que están en posición de decidir en el ámbito público van a interactuar con la IA y qué sesgos surgen en dicha interacción, como condición para comprender nuestras limitaciones y de ese modo poder diseñar medidas de supervisión efectivas. De lo contrario, la supervisión humana corre el riesgo de convertirse en una salvaguardia vacía incapaz de prevenir posibles daños de la IA.
En este sentido, es muy necesario dotar de recursos tanto a los órganos administrativos y judiciales como a los usuarios de los servicios públicos, proporcionando igualdad de armas entre las partes de un procedimiento. Una sociedad en cuyos ámbitos de poder las decisiones se tomen parcialmente mediante IA puede abrir o agravar todavía más las brechas socioeconómicas actualmente existentes. Para garantizar que las personas, en ejercicio de sus derechos, puedan oponerse y recurrir decisiones que entienden injustas y contradecir al poder público, es fundamental -entre otras soluciones- comprender mejor el uso de la IA, incorporar más conocimiento y transparencia en los procesos de toma de decisiones con IA, y detectar y eliminar los sesgos en la fase de adopción de decisiones.
La posición del Consejo de Europa
A este respecto, resulta particularmente interesante la actividad de la Comisión Europea del Consejo de Europa para la eficiencia de la justicia (CEPEJ). Este organismo adoptó un Plan de Acción sobre digitalización para 2022-2025, destinado a conciliar la eficiencia de las nuevas tecnologías y el respeto de los derechos fundamentales. Este plan de acción estableció las principales orientaciones de esta institución cuyo principal objetivo es siempre situar al usuario en el centro de las preocupaciones, incluso en un entorno digitalizado o en curso de digitalización, proporcionando así al usuario un servicio público de justicia eficaz y de calidad.
Estas orientaciones se articulan en torno a una serie de ejes principales con el objetivo de garantizar que la justicia sea siempre transparente, colaborativa, humana, centrada en las personas y accesible. La CEPEJ también ha adoptado una hoja de ruta para garantizar un seguimiento adecuado de su Carta Ética Europea sobre el uso de la Inteligencia Artificial en los sistemas judiciales y su entorno. La Carta proporciona un marco de principios que pueden guiar a los responsables políticos, legisladores y profesionales de la justicia cuando lidian con el rápido desarrollo de la IA en los procesos judiciales nacionales.
La opinión de la CEPEJ, tal como se establece en la Carta, es que la aplicación de la IA en el ámbito de la justicia puede contribuir a mejorar la eficiencia y la calidad por lo que debe implementarse de manera responsable para cumplir con los derechos fundamentales, en particular, el Convenio Europeo de Derechos Humanos y el Convenio del Consejo de Europa sobre Protección de Datos Personales.
La CEPEJ ha identificado los siguientes principios básicos que deben respetarse en el ámbito de la IA y la justicia: en primer lugar, el principio de respeto de los derechos fundamentales, esto es, garantizar que el diseño y la aplicación de herramientas y servicios de inteligencia artificial sean compatibles con los derechos fundamentales. Uno de los desarrollos más relevantes del primer principio es que, en línea con la idea de privacidad por diseño, una tecnología de IA debe basarse en un enfoque “ético por diseño” o de “derechos humanos por diseño”. Esto significa que, desde las fases de diseño y aprendizaje automático, las normas que prohíben las violaciones directas o indirectas de los valores fundamentales protegidos por las convenciones estén plenamente integradas.
Otra preocupación sobre el uso de la IA es el cuidado particular que el responsable del tratamiento inteligente y automatizado de datos debe tener cuando el procesamiento se basa directa o indirectamente en “datos sensibles". Esto podría incluir el supuesto origen racial o étnico, los antecedentes socioeconómicos, las opiniones políticas, las creencias religiosas o filosóficas, la afiliación sindical, los datos genéticos y biométricos, los datos relacionados con la salud o los datos relativos a la vida o la orientación sexuales. Cuando se haya detectado esa discriminación realizada por una IA, deberán considerarse medidas correctivas para limitar o, de ser posible, neutralizar esos riesgos.
En tercer lugar, el principio de transparencia, imparcialidad y equidad consiste básicamente en hacer accesibles y comprensibles los métodos de tratamiento de datos, lo que incluye autorizar auditorías externas. En particular, los algoritmos utilizados en la vigilancia predictiva pueden ser tan complejos que incluso los expertos pueden tener serias dificultades para comprender todo lo que sucede en un determinado proceso informático, hasta llegar al punto de no poder explicar las decisiones tomadas por una IA. Esta falta de transparencia puede conducir a una falta de rendición de cuentas.
La posición de la Unión Europea
Siguiendo en Europa, pero en el contexto de la Unión Europea, cabe mencionar que, en octubre de 2021, se aprobó la Resolución del Parlamento Europeo sobre la inteligencia artificial en el Derecho Penal y su uso por las autoridades policiales y judiciales en materia penal. Aunque el Parlamento Europeo también reconoce que el uso de la IA puede ofrecer ventajas sustanciales en eficiencia, los eurodiputados destacaron los riesgos que plantea esta tecnología, como la discriminación y la interferencia con los derechos fundamentales de las personas. Estos riesgos están presentes en cualquier situación en la que se utilice IA, pero pueden incrementarse en asuntos penales. Esta es precisamente la razón por la que el Parlamento Europeo declaró que el uso de aplicaciones de IA debe clasificarse de alto riesgo cuando pueda tener un impacto significativo en la vida de las personas. Este criterio ha sido seguido por el proyecto de Reglamento europeo sobre Inteligencia Artificial publicado en abril del 2021 y que se encuentra ya en la fase final de su aprobación por las instituciones europeas, con el que la UE se dotará de un ambicioso marco jurídico basado en el control y la gestión de riesgos.
La UE camina pues en la buena dirección. Va a recoger en su derecho que los sistemas de IA deben diseñarse de tal manera que protejan y beneficien a todos los miembros de la sociedad. Esto supone que las decisiones que los sistemas de IA adopten deben ser transparentes y poder explicarse, esforzándose al mismo tiempo por no tener efectos perjudiciales y respetando siempre los derechos y libertades fundamentales de las personas.
La UE, a través de su Parlamento, ha propuesto impedir el uso de tecnologías de IA en sistemas de vigilancia masiva por no cumplir los principios de necesidad y proporcionalidad. La propuesta de Reglamento sobre IA sugiere asimismo que las autoridades prohíban su uso en espacios de acceso público. Aquí se verá la fuerza diplomática y el soft power que tendrán los 27 Estados miembros de la Unión frente a las grandes potencias del mundo para defender sus valores y principios. Es un hecho que actualmente la UE se está relacionando con países que han adoptado sistemas que interfieren desproporcionadamente en los derechos fundamentales de las personas.
Respecto a la tecnología de reconocimiento facial sabemos que no es actualmente tan confiable en un contexto forense como lo es el ADN o las huellas dactilares. En consecuencia, debería revisarse pormenorizadamente sus casos de uso y plantearse su prohibición permanente en espacios de acceso público, así como una moratoria sobre el despliegue de sistemas de reconocimiento facial con funciones de identificación legal hasta que las normas técnicas puedan considerarse plenamente seguras.
El propio Parlamento Europeo ha utilizado el ejemplo de Clearview AI para ilustrar este dilema, en el que una base de datos de más de 2.000 millones de imágenes tomadas de redes sociales y otros sitios web, usada por ciertas autoridades, no sería compatible con las normas de protección de datos de la UE. Esta herramienta permite, por ejemplo, que un usuario cargue una foto de una persona y la busque dentro de la base de datos. Hay que tener en cuenta que todos los datos personales se recopilaron por Clearview AI sin ninguna base jurídica y sin que el interesado supiera que su imagen y sus datos biométricos estaban siendo cedidos a esa base de datos. Por este motivo, la resolución del Parlamento Europeo expresa su gran preocupación por el uso de bases de datos privadas de reconocimiento facial, pero también por el uso que los funcionarios puedan hacer de ellas.
Por todo lo anterior, es urgente verificar qué gobiernos europeos y no europeos están utilizando la tecnología Clearview AI o tecnologías equivalentes de otros proveedores. En opinión del Comité Europeo de Protección de Datos (CEPD) el uso de un servicio como Clearview AI «probablemente no sería coherente con el régimen de protección de datos de la UE». De hecho, la situación se complica aún más al existir proyectos en curso como iBorderCtrl, que perfila a los viajeros sobre la base de una entrevista automatizada por computadora tomada por la cámara web del viajero antes del viaje, y un análisis basado en inteligencia artificial de 38 microgestos, que ya se ha probado en Grecia, Hungría y Letonia. El derecho europeo debe pronunciarse rápido para evitar que la puntuación (scoring) a gran escala de personas habilitada por la IA llegue demasiado lejos y su regulación, demasiado tarde.
Conclusión: la difícil dialéctica entre los fines de los poderes públicos y los intereses de los proveedores de tecnología de IA
Es preciso poner el foco en la subcontratación por parte de los gobiernos y entes públicos de servicios tecnológicos a actores privados, puesto que no se puede desconocer que los servicios de hosting, big data, computación en la nube, motores de búsqueda, ciberseguridad, mensajería instantánea, plataformas y demás servicios online rara vez se encuentran sujetos a una legislación específica ni sus servidores y centros de procesamiento de datos radicados en un solo país. Por lo tanto, en muchos casos, no será posible determinar la ley aplicable ante ciertas infracciones de estos proveedores globales y será extremadamente complejo comprender la funcionalidad real de los algoritmos utilizados.
En este sentido, se puede destacar el hecho de que IBM Global Business Services haya creado un servicio de software para detectar sesgos en los modelos de IA y rastrear el proceso de toma de decisiones. Este servicio está pensado para capacitar a las organizaciones a realizar un seguimiento de las decisiones de IA a medida y monitorear cualquier acción "sesgada" de modo que se asegure que sus procesos de IA son conformes con la ley y con sus objetivos comerciales. Según las características publicadas sobre esta herramienta, al medir las decisiones predichas de IBM contra las decisiones reales tomadas por un programa de IA, incluido el peso que da a los datos y la confianza que tiene en esa decisión, el software puede teóricamente averiguar si el algoritmo está sesgado y determinar la causa de ese sesgo.
La cuestión que se plantea aquí es si la Administración Pública debe o no depender de una tecnología desarrollada por una gran empresa tecnológica. De hecho, las empresas tecnológicas privadas que diseñan y venden esta tecnología no están, de momento, legalmente obligadas a revelar sus algoritmos, lo que puede agravar aún más la opacidad y plantear también grandes dudas sobre el régimen de responsabilidad aplicable.
En definitiva, existe el riesgo de que cierta actividad de los poderes públicos, determinante en el ejercicio de competencias estatales básicas, se deleguen a algoritmos creados por actores privados cuyos intereses no deberían superponerse o anteponerse a los públicos. Además, la falta de transparencia en los procesos de diseño de algoritmos por parte de las empresas propietarias y su rendición de cuentas al público debería ser motivo de gran preocupación.
Por todo lo anterior, en el contexto europeo, la actividad del CEPEJ y del Parlamento Europeo es de vital importancia para guiar el uso de la IA. El acervo europeo en esta materia podría servir de ejemplo para otros países y regiones, porque contiene un conjunto de principios, buenas prácticas e instrumentos de evaluación fácilmente exportables a otros ordenamientos jurídicos.
*Este texto es una síntesis de la ponencia realizada por el autor en el marco del seminario “Lecture Series on Issues of Ethics, Morality in Artificial Intelligence”, organizado por la Facultad de Derecho de Nirma University (Ahmedabad, India, 20 de marzo de 2022), cuyo título fue: "European Policy on Artificial Intelligence in the field of Justice Administration".