En los sistemas de justicia penal, los mercados de crédito, las áreas de empleo, los procesos de admisión a la educación superior e incluso redes sociales, algoritmos controlados por datos ahora conducir la toma de decisiones En formas que tocan nuestras vidas económicas, sociales y cívicas. Estos sistemas de software clasifican, clasifican, asocian o filtran información, utilizando reglas creadas por el hombre o inducidas por datos que permiten un tratamiento consistente en grandes poblaciones.

Pero si bien puede haber ganancias de eficiencia de estas técnicas, también pueden sesgos portuarios contra grupos desfavorecidos or reforzar la discriminación estructural. En términos de justicia penal, por ejemplo, ¿es justo emitir juicios sobre la libertad condicional de una persona basándose en tendencias estadísticas medidas en un amplio grupo de personas? ¿Podría surgir discriminación a partir de la aplicación de un modelo estadístico? ¿Desarrollado para la población de un estado a otro, una población demográficamente diferente?

El público necesita comprender el sesgo y el poder de los algoritmos utilizados en la esfera pública, incluso por las agencias gubernamentales. Un esfuerzo en el que estoy involucrado, llamado responsabilidad algorítmica, busca hacer que las influencias de ese tipo de sistemas sean más claras y comprendidas más ampliamente.

Las técnicas de transparencia existentes, cuando se aplican a los algoritmos, podrían permitir a las personas monitorear, auditar y criticar cómo funcionan esos sistemas, o no, según sea el caso. Desafortunadamente, las agencias gubernamentales parecen no estar preparadas para realizar consultas sobre algoritmos y sus usos en decisiones que afectan significativamente tanto a individuos como al público en general.

Abriendo algoritmos al escrutinio público.

El año pasado el gobierno federal comenzó a estudiar los pros y los contras de usar el análisis de datos computarizados para ayudar a determinar la probabilidad de reencarnaciones de los reclusos en el momento de su liberación Calificar a las personas como de bajo, mediano o alto riesgo puede ayudar con las decisiones de vivienda y tratamiento, identificando a las personas que pueden ser enviadas de manera segura a una prisión de mínima seguridad o incluso a una “casa de acogida”, o que se beneficiarían de un tipo particular de Atención psicológica.

Esa información puede hacer que el proceso de justicia sea más eficiente y menos costoso, e incluso reducir el hacinamiento en las prisiones. Se ha demostrado que se trata a los delincuentes de bajo riesgo como delincuentes de alto riesgo. en algunos estudios para llevarlos a que se internalicen como un criminal "enfermo" y que necesiten tratamiento por su conducta desviada. Separarlos puede reducir el desarrollo de conductas negativas que conducirían a la reincidencia en el momento de su liberación.

Los datos y algoritmos para calificar el riesgo de reincidencia de los reclusos ya están utilizado extensivamente por los estados para administrar la prisión preventiva, la libertad condicional, la libertad condicional e incluso la sentencia. Pero es fácil para ellos pasar desapercibido: a menudo se ven como papeleo burocrático sin pretensiones.

Normalmente, los algoritmos se reducen a hojas de puntuación simplificadas que son completadas por servidores públicos con poca comprensión de los cálculos subyacentes. Por ejemplo, un trabajador social puede evaluar a un prisionero utilizando un formulario donde el trabajador social del caso marca que el prisionero fue declarado culpable de un delito violento, era joven en el momento del primer arresto y no se había graduado de la escuela secundaria ni había obtenido un GED. Esos factores y otras características de la persona y el delito dan como resultado una puntuación que sugiere si el recluso podría ser elegible para la revisión de libertad condicional.

El formulario en sí, así como su sistema de puntuación, a menudo revelan características clave sobre el algoritmo, como las variables que se consideran y cómo se unen para formar una puntuación de riesgo general. Pero lo que también es importante para la transparencia algorítmica es saber cómo se diseñaron, desarrollaron y evaluaron dichas formas. Solo entonces puede el público saber si los factores y cálculos involucrados en llegar al puntaje son justos y razonables, o no están informados y están sesgados.

Uso de la Ley de Libertad de Información

Nuestra herramienta principal para obtener esos formularios, y su material de apoyo, es la ley, y específicamente, las leyes de libertad de información. Se encuentran entre los mecanismos más poderosos que el público tiene a su disposición para garantizar la transparencia en el gobierno. A nivel federal, la Ley de libertad de información (FOIA) permite al público solicitar formalmente, y esperar recibir a cambio, documentos del gobierno federal. Existen estatutos análogos para cada estado.

Establecido en 1966, FOIA se creó antes del uso generalizado de la informática, y mucho antes de que grandes cantidades de datos se usaran de forma rutinaria en los sistemas de software para administrar individuos y hacer predicciones. Ha habido alguna investigación inicial en si FOIA puede facilitar la divulgación del código fuente del software. Pero queda una pregunta sobre si las leyes actuales responden a las necesidades del público del siglo 21: ¿podemos los algoritmos FOIA?

Un caso de estudio en transparencia de algoritmos.

Me puse a responder esta pregunta en la Philip Merrill Colegio de Periodismo en la Universidad de Maryland, donde soy profesor asistente. En el otoño de 2015, trabajando con la clase de derecho de los medios de mi colega Sandy Banisky, guiamos a los estudiantes a enviar solicitudes de FOIA a cada uno de los estados de 50. Pedimos documentos, descripciones matemáticas, datos, evaluaciones de validación, contratos y código fuente relacionados con algoritmos utilizados en la justicia penal, como por ejemplo, libertad condicional, libertad bajo fianza o decisiones de sentencia.

Como un proyecto de un semestre, el esfuerzo estuvo necesariamente limitado por el tiempo, con muchos obstáculos y relativamente pocos éxitos. Al igual que con las investigaciones de muchos periodistas, incluso averiguar a quién preguntar, y cómo, fue un desafío. Diferentes agencias pueden ser responsables de diferentes áreas del sistema de justicia penal (las sentencias pueden ser hechas por los tribunales, pero la administración de libertad condicional debe ser realizada por un Departamento de Correcciones).

Incluso después de identificar a la persona adecuada, los estudiantes encontraron que los funcionarios del gobierno usaban una terminología diferente que hacía difícil comunicar qué información querían. A veces, los estudiantes tenían que esforzarse para explicar los "algoritmos de justicia penal" a un servidor público que no conocía tanto los datos. En retrospectiva, podría haber sido más efectivo pedir "herramientas de evaluación de riesgos", ya que es un término que los gobiernos estatales utilizan a menudo.

Manejando las respuestas

Algunos estados, como Colorado, rechazaron de plano nuestra solicitud, diciendo que los algoritmos estaban contenidos en un software, que no se consideró un "documento" que las leyes gubernamentales abiertas requerían que los funcionarios lo hicieran público. Los diferentes estados tienen diferentes reglas sobre la divulgación del uso del software. Esto ha surgido a veces en los tribunales, como un 2004 demanda contra la ciudad de Detroit sobre si la fórmula para calcular las tarifas de agua cobrada a una ciudad adyacente debe hacerse pública.

En nuestro propio esfuerzo, solo recibimos una descripción matemática de un algoritmo de justicia penal: Oregon reveló Las variables 16 y sus pesos. En un modelo utilizado para predecir la reincidencia. El estado de Dakota del Norte publicó una hoja de cálculo de Excel que muestra la ecuación utilizada para determinar las fechas en que los reclusos serían elegibles para ser considerados en libertad condicional. De Idaho y Nuevo México, recibimos documentos con algunas descripciones de las evaluaciones de riesgo de reincidencia que utilizaron los estados, pero sin detalles sobre cómo se desarrollaron o validaron.

Nueve estados basaron su negativa a revelar detalles sobre sus algoritmos de justicia penal en la afirmación de que la información era realmente propiedad de una empresa. Esta implicación es que la liberación del algoritmo perjudicaría a la empresa que lo desarrolló. Un cuestionario común de riesgo de reincidencia, llamado el LSI-R, resulta ser un producto comercial, protegido por derechos de autor. Estados como Hawaii y Maine afirmaron que impidieron su divulgación al público.

Louisiana dijo que su contrato con el desarrollador de una nueva técnica de evaluación de riesgos prohibió la divulgación de la información solicitada durante seis meses. El estado de Kentucky citó su contrato con un fundación filantrópica Como la razón no pudo revelar más detalles. Las inquietudes sobre la información confidencial pueden ser legítimas, pero dado que el gobierno realiza contratos de manera rutinaria con empresas privadas, ¿cómo equilibramos esas inquietudes con un sistema de justicia explicable y de hecho legítimo?

Haciendo mejoras

La muy necesaria reforma de la FOIA es actualmente bajo deliberación por el congreso. Esto proporciona una oportunidad para que la ley se modernice, pero los cambios propuestos todavía hacen poco para adaptarse al uso creciente de algoritmos en el gobierno. Transparencia algorítmica de la información. podría estar codificado en informes que el gobierno genera y hace públicos de manera regular, como parte de los negocios como de costumbre.

Como sociedad, deberíamos exigir que los oficiales de información pública estén capacitados para que estén alfabetizados y, de hecho, tengan fluidez en la terminología que puedan encontrar cuando el público está pidiendo algoritmos. El gobierno federal podría incluso crear una nueva posición para un "algoritmo zar", un defensor del pueblo cuya tarea sería comunicar y realizar consultas sobre la automatización del gobierno.

Ninguno de los documentos que recibimos en nuestra investigación nos dijo cómo se desarrollaron o evaluaron los formularios de evaluación de riesgos de la justicia penal. A medida que los algoritmos gobiernan cada vez más nuestras vidas, los ciudadanos necesitan, y deben exigir, más transparencia.

Sobre el Autor

Nicholas Diakopoulos, Tow Fellow, Tow Center for Digital Journalism en la Universidad de Columbia; Profesor Asistente de Periodismo, Universidad de Maryland. Su investigación es en periodismo computacional y de datos, con énfasis en la responsabilidad algorítmica, visualización de datos narrativos y computación social en las noticias.

Este artículo se publicó originalmente el La conversación. Leer el articulo original.

Libros relacionados

at InnerSelf Market y Amazon