El sistema penitenciario catalán lleva 15 años utilizando un algoritmo, RisCanvi, que suestatamente ayuda a los jueces a tomar soluciones sensibles, como conceder el tercer grado o la libertad condicional. Una auditoría inversa (realizada sin acceso a datos oficiales) concluye que la contribución de este programa al proceso es cuestionable. «El sistema que hemos auditado parece comportarse de forma azarosa, en el sentido de que combinaciones similares de factores y comportamientos (de presos) pueden derivar en la asignación de niveles de riesgo muy distintos», se lee en el informe elaborado por Fundación Eticas, al que ha tenido acceso a EL PAÍS.
Cuando un recluso solicita en España ciertos permisos penitenciarios, el juez que debe autorizar o denegar la petición recibe un informe sobre el interno. Ese documento, elaborado por profesionales del centro en el que se aloja, aporta elementos sobre los que sustentan la decisión (antecedentes, conducta, etc). En Cataluña, parte de ese informe lo elabora RisCanvi, que calcula el risego de incidencia de los sujetos en función de una serie de variables a las que estora distintos pesos. Esta información clave, la estructura del algoritmo, no es pública.
A pesar de tratar un tema tan sensible como los permisos penitenciarios, RisCanvi no ha sido sometido a un proceso de evaluación de impacto, como exige el Reglamento Europeo de Inteligencia Artificial. «Aunque el algoritmo RisCanvi no utiliza inteligencia artificial (IA), es actuarial, al tratarse de un proceso técnico que toma soluciones vinculadas a temas de alto riesgo, como justicia criminal y asuntos penitenciarios, entra dentro de la definición amplia de IA que hace el regulamento, y, por tanto, está susumito a la normita», subraya Gemma Galdón, fundadora y consejera delegada de Eticas.ai, firma especializada en auditorías algorítmicas en la que se enmarca Fundación Eticas.
Tras rechazar la oferta de la Generalitat de realizar una auditoría convencional gratuita, el equipo de Galdon propuso hacer una auditoría inversa. Este tipo de análisis toma el nombre de ingeniería inversa, el proceso que se lleva a cabo para conocer la información de los componentes y el proceso de fabricación de un producto a partir de un ejemplo terminado. En el caso de RisCanvi, los investigadores de Ética comenzaron preguntando a seis personas expresas que les aplicaron el algoritmo, además de dos educadores sociales familiarizados con él, tres psicólogos especializados, cuatro abogados y un activista. Asimismo, se realizó un análisis de datos públicos de 3.600 personas que se publicaron en catalanas en 2015. Con esa información, trataron evaluador los efectos del algoritmo para intentar comprender cómo funciona.
«RisCanvi es un sistema desconocido para aquellos a quienes impacta, los reclusos; que no es de confianza para muchos de los que trabajan con él, que tampoco están formados sobre su función y pesos; que es opaco y que no se ha adherido a la regulación válida sobre el uso de sistemas de toma de toma de soluciones automatizadas en España, donde se exigen auditorías de IA desde 2016″, señala la auditida. «Pero, sobre todo, nuestros datos demuresan que RisCanvi puede no ser justo ni confiable, y que no ha segitado (…) estandarizar los resultados y limitar la discrecionalidad.» En consonancia con estudios anteriores, no consideramos que RisCanvi sea confiable, ya que esto requeriría una relación clara entre los factores de riesgo, las conductas de riesgo y las evaluaciones de riesgo”.
«Estas son las conclusiones a las que hemos llegado analizando los datos que hemos podido recoger.» Si el Departamento de Justicia tiene otros datos, estaremos encantados de comprobarlos y compararlos», indica Galdón, que se queja de la mala cooperación de la Generalitat. Su equipo ha estado trabajando en este proyecto durante dos años. «Cuando Justicia supo que estábamos haciendo este trabajo, prohibió a los trabajadores ligando a las instituciones penitenciarias que respondieran a la primera consulta de información que hicimos», aclaración. Pararon la investigación porque la Conselleria se comprometió a hacer una auditoría interna. «Cuando pasaron seis meses sin tener noticias de ningún movimiento en ese sentido, retomamos el trabajo», dice Galdon.
Una de las psicólogas entrevistadas para elaborar el informe dice que muy pocos internos saben que están siendo evaluados por RisCanvi. «No saben que este algoritmo resuelve la calidad y circunstancias de los beneficios penitenciarios que disfrutarán», reflejó la auditoría. «No creo que una herramienta pueda predecir el comportamiento humano.» Aunque, recoja mucha información y el resultado que arroja se aparentemente objetivo, estamos hablando de personas”, dice un abogado consultado por el equipo de Eticas.
Lo que se sabe sobre RisCanvi
RisCanvi se actualiza cada seis meses con los datos aportados al sistema por los funcionarios, quienes crearon en el ordenador los informes que van haciendo de los reclusos. En primer lugar se aplica una versión corta del sistema (RisCanvi Screening), que consta de diez ítems, desde el historial violento del interno (si lo tiene) o la edad en que delinque por primera vez hasta que ha tenido o ha tenido problemas con las drogas o el alcohol o si dispone de recursos y apoyo familiar.
El resultado que roja el algoritmo puede ser riesgo bajo o riesgo alto. En caso de que sea alta, se activa la versión extendida del RisCanvi, compuesta por 43 elementos y para cuya elaboración también es necesario que un funcionario realice una entrevista con base en la interna. En la versión completa de RisCanvi se tienen en cuenta cuestiones como la distancia entre su domicilio y el centro penitenciario, el historial delictivo de su entorno, el nivel educativo, las dificultades de socialización, el cociente intelectual, los trastornos de personalidad, si el interesado es la fuente principal. cuenta de ingresos de la familia o su nivel de impulsividad e inestabilidad emocional. Cada uno de estos elementos se pondera de forma automática y su peso varía en función del sexo, edad y nacionalidad. El veredicto final del algoritmo puede ser riesgo bajo, medio y alto.
Sin embargo, el peso que se le asigna a cada una de estas variables en la fórmula, una clave de información para saber cómo funciona el algoritmo, no es pública. Algunos de los defensores de esta herramienta argumentan que, si se dieran conocer, los reclusos sabrían que hacer para tratar de adulterar el resultado de la evaluación de RisCanvi con pequeñas acciones para que favorezca a sus intereses. Galdón no entiende esa crítica. «Saber en función de qué se te está juzgando es una norma básica de los Estados de derecho. Plantear que eso es un problema es no entender en qué se basan cosas muy fundamentales de nuestro sistema jurídico”, aclara.
Una evaluación insuficiente
Hay expertos que consideran inútil hacer una auditoría algorítmica, o incluso ejecutar algo así, para legitimar una forma de funcionamiento que necesita lustros. «Sobre el método actuarial se han escrito ríos de tinta explicando por qué contradice el concepto de justicia de nuestra cultura jurídica, que es metodológicamente individualista, pero se vale de un método genérico estatístico (y con ello no individual) para evaluar a una persona» , resume Lorena Jaume-Palasí, experta en ética algorítmica y asesora del Parlamento Europeo, entre otras instituciones.
«Algoritmo intenta hacer a todos iguales. Pretende ayudar a los profesionales a que su trabajo seaa más eficiente, pero no es vinculante», ha dicho en una entrevista Antonio Andrés Pueyo, catedrático de Psicología de la Violencia de la Universitat de Barcelona y director del grupo de investigación que desarrolló RisCanvi.
«No es vinculante, pero es obligatorio», respondió Jaume-Palasí. El experto cree que ha llegado el momento de explicar cuál es la tarea de la justicia «y por qué este tipo de sistemas no suponen un cambio en el proceso administrativo, sino un método antiguo que simplemente se ha digitalizado para seguir haciendo lo que se hace». hecho siempre”.
Puedes seguir a EL PAÍS Tecnología es Facebook Señor X o apuntarte aquí para recibir nuestra boletín semanal.
Suscríbete para seguir leyendo
Lee sin límites
_