predictiva basada en el conocimiento [...]
incrementa su eficacia para prevenir delitos [...],
pero también enciende alarmas sobre el respeto a
los derechos de los ciudadanos” (Torres López,
2023, p. 3). La idea de que más datos implica
mejores decisiones omite una dimensión crucial:
la calidad, el sesgo y la trazabilidad de esos datos.
La IA no predice el futuro, sino que reproduce
patrones del pasado y esos patrones pueden estar
impregnados de desigualdad, discriminación
estructural y decisiones judiciales previas
injustas.
III. EXPLICABILIDAD Y RENDICIÓN DE
CUENTAS: UNA ÉTICA PARA
MÁQUINAS QUE JUZGAN
Uno de los desafíos más relevantes en la
incorporación de sistemas de inteligencia
artificial (IA) al ámbito penal es garantizar que
las decisiones automatizadas o asistidas por
algoritmos puedan ser comprendidas, auditadas y
eventualmente revisadas. En este marco, el
principio de explicabilidad (también conocido
como explainability o XAI) ha emergido como
una exigencia ética y jurídica central en los
debates sobre IA confiable, particularmente en
contextos donde están en juego derechos
fundamentales como la libertad personal, el
debido proceso o la presunción de inocencia.
Ortiz de Zárate (2022), en su trabajo sobre la
ética de la IA en el sector público europeo,
sostiene que la explicabilidad es uno de los
cuatro principios esenciales propuestos por la
Unión Europea para una IA “digna de
confianza”, junto con la justicia, el respeto por la
autonomía humana y la prevención del daño.
Según la autora, explicabilidad no solo implica
que los resultados producidos por un sistema
puedan ser comprendidos por expertos, sino que
deben ser inteligibles para los propios afectados
y para los actores jurídicos que los utilizan. Esto
se relaciona directamente con la legitimidad
democrática de las decisiones públicas, incluida
la penal.
En otras palabras, no puede haber rendición de
cuentas sin una comprensión razonable de cómo
se produjo la decisión. La llamada “caja negra
algorítmica”, es decir, la opacidad inherente a
algunos sistemas de aprendizaje profundo (deep
learning), representa una amenaza para el control
judicial y la garantía del debido proceso. Cuando
ni jueces, ni abogados, ni imputados pueden
comprender los criterios sobre los cuales una IA
sugiere o impone una decisión, se rompe el
principio de transparencia que sustenta la
racionalidad procesal penal.
Esta preocupación se materializó con especial
fuerza en el caso estadounidense State v. Loomis,
donde un juez basó parcialmente su decisión de
sentencia en las recomendaciones del sistema
COMPAS, sin que el imputado ni su defensa
pudieran conocer los factores utilizados por el
algoritmo para clasificar su “riesgo de
reincidencia”. Años después, se descubrió que
COMPAS incorporaba variables de raza en su
modelo de análisis, generando discriminación
algorítmica sistemática (Ortiz de Zárate, 2022, p.
331). Este caso ilustra la importancia de la
explicabilidad no solo como valor ético, sino
como garantía procedimental.
Como lo reveló una investigación de Angwin et
al. (2016), el sistema COMPAS presentaba
sesgos raciales sistemáticos, clasificando
erróneamente a personas negras como de mayor
riesgo de reincidencia, en comparación con
personas blancas con historiales similares.
Además de la transparencia, la explicabilidad
también contribuye a la confianza institucional y
al principio de rendición de cuentas. Como
señala la autora, los sistemas de IA utilizados en
entornos públicos deben estar sometidos a
estándares similares o incluso superiores a los
exigidos a las decisiones humanas: revisión,
impugnación, motivación y corrección. De lo
contrario, corremos el riesgo de sustituir
decisiones humanas, falibles, pero racionalmente
justificables, por decisiones automáticas sin
posibilidad de examen crítico.
“Cuando se produce un sesgo [...] que vulnera
derechos fundamentales, ¿cómo dirimimos
responsabilidades?” (Ortiz de Zárate, 2022, p.
332).
En este mismo sentido, Floridi, L. et al. (2018)
destacan que la explicabilidad no solo facilita la
transparencia, sino que es un requisito esencial
para proteger la autonomía humana frente a
decisiones automatizadas. Así también, Wachter,
Mittelstadt y Floridi (2017) subrayan la
necesidad de una trazabilidad normativa y