Las personas que solicitan un préstamo de un banco o una compañía de tarjetas de crédito y son rechazadas, se les debe una explicación de por qué sucedió eso. Es una buena idea, porque puede ayudar a enseñar a las personas cómo reparar su crédito dañado, y es una ley federal, la Ley de Igualdad de Oportunidades de Crédito. Obtener una respuesta no fue un gran problema en años pasados, cuando los humanos tomaron esas decisiones. Pero hoy, a medida que los sistemas de inteligencia artificial ayudan o reemplazan cada vez más a las personas que toman decisiones de crédito, obtener esas explicaciones se ha vuelto mucho más difícil. 
Tradicionalmente, un oficial de préstamos que rechazó una solicitud podría decirle a un posible prestatario que había un problema con su nivel de ingresos, o historial de empleo, o cualquiera que sea el problema. Pero los sistemas computarizados que usan complejos máquina de aprendizaje los modelos son difíciles de explicar, incluso para los expertos.
Las decisiones de crédito al consumidor son solo una de las formas en que surge este problema. Preocupaciones similares existe en seguro de salud,, Mercadeo en línea e incluso Justicia penal. Mi propio interés en esta área comenzó cuando descubrí un grupo de investigación del que formaba parte sesgo de género en cómo los anuncios en línea fueron dirigidos, pero no pudo explicar por qué sucedió.
Todas esas industrias, y muchas otras, que usan el aprendizaje automático para analizar procesos y tomar decisiones tienen un poco más de un año para explicar mejor cómo funcionan sus sistemas. En mayo 2018, el nuevo reglas generales de protección de datos de la Unión Europea entra en vigencia, incluida una sección que otorga a las personas el derecho de obtener una explicación sobre las decisiones automáticas que afectan sus vidas. ¿Qué forma deberían tener estas explicaciones, y podemos realmente proporcionarlas?
Identificando razones claves
Una forma de describir por qué surgió una decisión automatizada de la manera en que lo hizo es identificar los factores que fueron más influyentes en la decisión. ¿Cuánto de una decisión de denegación de crédito se debió a que el solicitante no ganó suficiente dinero o porque no había pagado sus préstamos en el pasado?
Mi grupo de investigación en la Universidad Carnegie Mellon, incluida la estudiante de doctorado Shayak Sen y el entonces postdoc Yair Zick, crearon una forma de medir la influencia relativa de cada factor Lo llamamos Influencia de entrada cuantitativa.
Además de dar una mejor comprensión de una decisión individual, la medición también puede arrojar luz sobre un grupo de decisiones: ¿Un algoritmo denegó el crédito principalmente debido a problemas financieros, como cuánto debe un solicitante por otras deudas? ¿O era más importante el código postal del solicitante, sugiriendo que grupos demográficos más básicos como la raza podrían haber entrado en juego?
Captura de la causalidad
Cuando un sistema toma decisiones basadas en múltiples factores, es importante identificar qué factores causan las decisiones y su contribución relativa.
Por ejemplo, imagine un sistema de decisión de crédito que solo tome dos entradas, la relación deuda-ingreso de un solicitante y su raza, y se haya demostrado que aprueba préstamos solo para caucásicos. Saber cuánto contribuyó cada factor a la decisión puede ayudarnos a entender si es un sistema legítimo o si es discriminatorio.
Una explicación podría simplemente mirar las entradas y el resultado y observar la correlación: los no caucásicos no obtuvieron préstamos. Pero esta explicación es demasiado simplista. Supongamos que los no caucasianos a quienes se les negaron préstamos también tenían ingresos mucho más bajos que los caucásicos cuyas solicitudes fueron exitosas. Entonces, esta explicación no nos puede decir si la razón de raza o de deuda a ingreso de los solicitantes causó las negaciones.
Nuestro método puede proporcionar esta información. Decir la diferencia significa que podemos determinar si el sistema discrimina injustamente o si considera los criterios legítimos, como las finanzas de los solicitantes.
Para medir la influencia de la raza en una decisión crediticia específica, rehacemos el proceso de solicitud, manteniendo la relación deuda / ingreso igual pero cambiando la raza del solicitante. Si cambiar la raza afecta el resultado, sabemos que la raza es un factor decisivo. De lo contrario, podemos concluir que el algoritmo solo está mirando la información financiera.
Además de identificar los factores que son causas, podemos medir su influencia causal relativa en una decisión. Lo hacemos variando aleatoriamente el factor (p. Ej., Raza) y midiendo la probabilidad de que cambie el resultado. Cuanto mayor es la probabilidad, mayor es la influencia del factor.
Influencia agregada
Nuestro método también puede incorporar múltiples factores que funcionan en conjunto. Considere un sistema de decisión que otorgue crédito a los solicitantes que cumplan con dos de los tres criterios: puntaje de crédito superior a 600, propiedad de un automóvil y si el solicitante ha reembolsado por completo un préstamo hipotecario. Digamos que a un solicitante, a Alicia, con un puntaje de crédito de 730 y sin préstamo de automóvil o vivienda, se le niega el crédito. Ella se pregunta si el estado de su propiedad de automóvil o el historial de pago del préstamo hipotecario es la razón principal.
Una analogía puede ayudar a explicar cómo analizamos esta situación. Considere un tribunal donde las decisiones se toman por mayoría de votos de un panel de tres jueces, donde uno es conservador, uno liberal y el tercero un voto decisivo, alguien que podría ponerse del lado de cualquiera de sus colegas. En una decisión conservadora 2-1, el juez de swing tuvo una mayor influencia en el resultado que el juez liberal.
Los factores en nuestro ejemplo de crédito son como los tres jueces. El primer juez comúnmente vota a favor del préstamo, porque muchos solicitantes tienen un puntaje crediticio lo suficientemente alto. El segundo juez casi siempre vota en contra del préstamo porque muy pocos solicitantes han pagado alguna vez una casa. Entonces, la decisión recae en el juez de turno, que en el caso de Alice rechaza el préstamo porque no posee un automóvil.
Podemos hacer este razonamiento precisamente mediante el uso de teoría cooperativa de juegos, un sistema de análisis más específico de cómo los diferentes factores contribuyen a un solo resultado. En particular, combinamos nuestras medidas de influencia causal relativa con el Valor de Shapley, que es una forma de calcular cómo atribuir la influencia a múltiples factores. Juntos, estos forman nuestra medición de influencia de entrada cuantitativa.
Hasta ahora hemos evaluado nuestros métodos en los sistemas de decisión que creamos mediante el entrenamiento de algoritmos comunes de aprendizaje automático con conjuntos de datos del mundo real. La evaluación de algoritmos en el trabajo en el mundo real es un tema para el trabajo futuro.
Un desafío abierto
Nuestro método de análisis y explicación de cómo los algoritmos toman decisiones es más útil en entornos donde los factores son fácilmente entendidos por los humanos, como la relación deuda / ingreso y otros criterios financieros.
Sin embargo, explicar el proceso de toma de decisiones de algoritmos más complejos sigue siendo un desafío significativo. Tomemos, por ejemplo, un sistema de reconocimiento de imágenes, como los que detectar y rastrear tumores. No es muy útil explicar la evaluación de una imagen en particular basada en píxeles individuales. Idealmente, nos gustaría una explicación que proporcione información adicional sobre la decisión, como identificar las características específicas del tumor en la imagen. De hecho, diseñar explicaciones para tales tareas automatizadas de toma de decisiones es mantener a muchos investigadores ocupado.
Sobre el Autor
Anupam Datta, Profesor Asociado de Ciencias de la Computación e Ingeniería Eléctrica e Informática, Carnegie Mellon University
Este artículo se publicó originalmente el La conversación. Leer el articulo original.
Libros relacionados
at InnerSelf Market y Amazon
