COMPAS: ¿Justicia Algorítmica o Caja Negra?

En la intersección de la tecnología y el sistema judicial emerge una herramienta que ha encendido un profundo debate sobre la equidad, la transparencia y el futuro de la justicia: el programa COMPAS. Lejos de ser un simple software de gestión, COMPAS se ha posicionado como un actor influyente en las salas de tribunales, prometiendo una evaluación objetiva del riesgo de reincidencia. Sin embargo, su naturaleza opaca y su desarrollo por una empresa privada han levantado serias preguntas sobre si realmente contribuye a una justicia más imparcial o si, por el contrario, introduce nuevos desafíos y sesgos en un sistema ya de por sí complejo.

La promesa de la inteligencia artificial y los algoritmos en el ámbito judicial es tentadora: reducir el error humano, agilizar los procesos y basar las decisiones en datos concretos. Pero con COMPAS, la realidad parece ser mucho más matizada. Este artículo explorará en profundidad qué es COMPAS, cómo funciona, las controversias que lo rodean, su impacto en las decisiones judiciales y las implicaciones éticas y sociales de su uso en la administración de justicia.

¿Qué es COMPAS y cómo funciona?

COMPAS, acrónimo de 'Correctional Offender Management Profiling for Alternative Sanctions', es un software propietario desarrollado por la compañía Northpointe (ahora Equivant). Su propósito principal es asistir a los jueces en la toma de decisiones sobre sentencias y libertad condicional, proporcionando una evaluación del riesgo de reincidencia de un acusado. El programa no es una herramienta para determinar la culpabilidad o inocencia, sino que se enfoca en predecir la probabilidad de que un individuo cometa un nuevo delito una vez que ha sido liberado o está en libertad condicional.

El funcionamiento de COMPAS se basa en un algoritmo complejo que procesa una vasta cantidad de datos sobre el acusado. Estos datos incluyen información demográfica, historial criminal (como el número de arrestos previos, el tipo de delitos cometidos, la edad al momento del primer arresto), historial familiar, situación laboral y educativa, e incluso preguntas sobre su entorno social y personal. Una vez que el algoritmo analiza esta información, genera una puntuación de riesgo que clasifica al acusado en diferentes niveles, desde riesgo bajo hasta riesgo alto de reincidencia.

Es importante destacar que el programa no explica cómo llega a sus conclusiones. Simplemente arroja un número, y es este número el que se presenta a los jueces como una guía. La compañía afirma que su algoritmo utiliza más de 130 variables, pero la combinación exacta y el peso que se le da a cada una son secretos comerciales, lo que contribuye a su naturaleza de "caja negra". Esta falta de transparencia es una de las mayores críticas al sistema, ya que impide que tanto los acusados como sus defensores y el público en general comprendan cómo se llega a una determinada evaluación de riesgo.

La Controversia de la "Opacidad" Algorítmica

El término “totalmente opaco” no es una exageración cuando se habla de COMPAS. Esta característica es la raíz de gran parte de la controversia que rodea al software. La opacidad se refiere a la incapacidad de comprender los procesos internos del algoritmo, es decir, cómo toma decisiones y llega a sus predicciones. Al ser un producto de una empresa privada, sus algoritmos son propiedad intelectual y no están sujetos a escrutinio público o independiente.

Esta falta de transparencia plantea serias preocupaciones en un sistema judicial que se basa en el debido proceso y la posibilidad de apelar decisiones. Si un acusado recibe una puntuación de riesgo alta de COMPAS, que podría influir en una sentencia más severa o en la denegación de libertad condicional, ¿cómo puede esa persona o su abogado refutar la base de esa puntuación si no se sabe qué factores específicos contribuyeron a ella o cómo se ponderaron? No hay forma de auditar el algoritmo para verificar su imparcialidad o precisión, lo que genera desconfianza y socava la fe en la equidad del sistema.

Además, la opacidad impide identificar y corregir posibles errores o sesgos inherentes al diseño del algoritmo o a los datos con los que fue entrenado. En un contexto judicial, donde las vidas y la libertad de las personas están en juego, esta falta de rendición de cuentas es inaceptable para muchos defensores de los derechos civiles y expertos en ética de la IA.

Sesgo y Discriminación: El Corazón del Debate

Quizás la crítica más contundente y alarmante contra COMPAS es la acusación de sesgo racial. Aunque la compañía Northpointe ha afirmado que su algoritmo no considera la raza como una variable, un estudio seminal de ProPublica en 2016 encontró evidencia de discriminación. El análisis de ProPublica de miles de predicciones de riesgo de COMPAS en el condado de Broward, Florida, reveló un patrón preocupante:

• Los acusados afroamericanos tenían casi el doble de probabilidades de ser clasificados como de alto riesgo de reincidencia en comparación con los acusados blancos, incluso cuando no reincidían.
• Los acusados blancos, por otro lado, tenían más probabilidades de ser clasificados como de bajo riesgo cuando en realidad sí reincidían.

Esto significa que el algoritmo era más propenso a etiquetar erróneamente a los acusados afroamericanos como futuros delincuentes y a etiquetar erróneamente a los acusados blancos como de bajo riesgo. Las implicaciones de este sesgo son profundas: los individuos de minorías raciales podrían enfrentar sentencias más duras o una supervisión más estricta debido a una evaluación de riesgo potencialmente defectuosa.

El origen de este sesgo no es necesariamente una intención maliciosa en el diseño del algoritmo, sino que puede derivar de los datos históricos utilizados para entrenarlo. Si los datos históricos de arrestos y condenas reflejan sesgos sistémicos existentes en el sistema judicial (por ejemplo, si ciertas comunidades son objeto de más vigilancia policial o si hay disparidades en las sentencias por los mismos delitos), el algoritmo puede aprender y perpetuar esos sesgos. En esencia, si alimentamos un algoritmo con datos sesgados, obtendremos resultados sesgados, magnificando las injusticias preexistentes en lugar de mitigarlas.

El Impacto de COMPAS en las Decisiones Judiciales

La influencia de COMPAS en las decisiones judiciales varía, pero no puede subestimarse. Aunque los jueces no están obligados a seguir las recomendaciones de COMPAS, la existencia de una puntuación de riesgo generada por un sistema supuestamente objetivo puede tener un peso considerable. En un sistema judicial sobrecargado, la promesa de una herramienta que simplifica la evaluación de riesgo es atractiva.

Sin embargo, la delegación de una parte de la toma de decisiones a un algoritmo opaco plantea serias preguntas sobre la responsabilidad. Si una sentencia se basa en parte en una puntuación de COMPAS que luego se demuestra que es defectuosa o sesgada, ¿quién es responsable? ¿El juez que confió en la herramienta? ¿La empresa que la desarrolló? La falta de explicación de COMPAS hace que sea difícil para los jueces justificar públicamente por qué se tomó una decisión particular basada en la puntuación de riesgo, lo que podría socavar la confianza pública en el poder judicial.

Además, el uso de COMPAS cambia la dinámica en la sala del tribunal. En lugar de centrarse únicamente en los hechos del delito y el historial del acusado, la discusión puede desviarse hacia la puntuación de riesgo y su interpretación. Esto puede llevar a que los abogados defensores se vean en una posición desventajosa, ya que carecen de las herramientas para desafiar eficazmente la base algorítmica de la evaluación de riesgo.

COMPAS frente a la Transparencia: Una Comparación Crucial

Para entender mejor las deficiencias de COMPAS, es útil compararlo con lo que se consideraría un sistema ideal de inteligencia artificial en el ámbito de la justicia. La tabla a continuación ilustra las diferencias fundamentales entre las características de COMPAS y los principios de transparencia y equidad que se esperan de las herramientas de IA en contextos sensibles como el judicial.

Preguntas Frecuentes sobre COMPAS

¿COMPAS se utiliza en todos los sistemas judiciales?

No. COMPAS se utiliza en algunas jurisdicciones de Estados Unidos, principalmente a nivel estatal y de condado. Su uso ha sido objeto de debate y ha disminuido en algunos lugares debido a las controversias, mientras que en otros sigue siendo una herramienta común.

¿Es COMPAS el único programa de evaluación de riesgo?

No, existen otros programas y herramientas algorítmicas similares diseñadas para evaluar el riesgo de reincidencia en el sistema judicial, como el PSA (Public Safety Assessment) o el LS/CMI (Level of Service/Case Management Inventory). Cada uno tiene sus propias metodologías y controversias.

¿Qué tan preciso es COMPAS en sus predicciones?

La precisión de COMPAS es un tema de intenso debate. Mientras que la compañía afirma una alta precisión, estudios independientes como el de ProPublica han cuestionado su imparcialidad y eficacia, especialmente en lo que respecta a la predicción diferencial entre grupos raciales. La "precisión" puede variar según la métrica utilizada (por ejemplo, precisión general vs. precisión para diferentes grupos).

¿Puede un acusado o su abogado desafiar una puntuación de COMPAS?

Desafiar una puntuación de COMPAS es extremadamente difícil debido a su naturaleza opaca. Los abogados pueden argumentar que la información de entrada al algoritmo fue incorrecta o incompleta, pero no pueden argumentar sobre el funcionamiento interno del algoritmo en sí, lo que limita significativamente las vías de objeción.

¿Existen alternativas más éticas o transparentes a COMPAS?

El desarrollo de herramientas de IA más transparentes y éticas para el sistema judicial es un campo activo de investigación. Se buscan algoritmos que sean explicables (es decir, que puedan justificar sus decisiones), auditables y que integren mecanismos para mitigar el sesgo desde el diseño. Sin embargo, no hay un consenso claro sobre una alternativa única y ampliamente adoptada que resuelva todas las controversias de manera satisfactoria.

¿COMPAS considera la rehabilitación o el cambio personal?

COMPAS se basa en datos históricos y estadísticos, lo que le permite predecir el riesgo futuro en base a patrones pasados. Sin embargo, su capacidad para capturar y ponderar factores de rehabilitación individual o el cambio positivo en la vida de una persona es limitada. Esto es una crítica común a todos los sistemas predictivos que se basan predominantemente en el pasado.

El Futuro de la Inteligencia Artificial en la Justicia

El caso de COMPAS es un recordatorio contundente de los desafíos y las responsabilidades inherentes al despliegue de la inteligencia artificial en ámbitos tan sensibles como el sistema de justicia penal. La promesa de la eficiencia y la objetividad algorítmica debe ser sopesada cuidadosamente con los principios fundamentales de equidad, transparencia, debido proceso y rendición de cuentas.

El debate alrededor de COMPAS no es solo sobre un software, sino sobre el tipo de justicia que deseamos construir en la era digital. ¿Queremos un sistema donde las decisiones cruciales estén influenciadas por algoritmos cuya lógica es incomprensible? ¿O buscamos herramientas que aumenten la capacidad humana, pero que sean auditables, transparentes y que puedan ser responsabilizadas cuando cometen errores o perpetúan sesgos?

El camino a seguir implica un diálogo continuo entre tecnólogos, juristas, legisladores y la sociedad civil. Es fundamental establecer marcos regulatorios que exijan explicabilidad, equidad y auditabilidad de los algoritmos utilizados en el sistema judicial. Solo así podremos asegurar que la inteligencia artificial sirva como una herramienta para fortalecer la justicia, en lugar de socavar sus cimientos.

Si quieres conocer otros artículos parecidos a COMPAS: ¿Justicia Algorítmica o Caja Negra? puedes visitar la categoría Librerías.