Amazon recientemente comenzó a ofrecer entrega en el mismo día en áreas metropolitanas seleccionadas. Esto puede ser bueno para muchos clientes, pero el lanzamiento muestra cómo la toma de decisiones informatizada también puede ofrecer una fuerte dosis de discriminación.

Es sensato que la compañía comenzó a prestar servicios en áreas donde los costos de envío serían más bajos al identificar códigos postales de lugares densamente poblados que albergan a muchos clientes existentes de Amazon con niveles de ingresos lo suficientemente altos como para realizar compras frecuentes de productos disponibles para entrega en el mismo día. La compañía proporcionó una página web que permitía a los clientes ingresar su código postal para ver si los entregaban en el mismo día. Los periodistas de investigación en Bloomberg News usaron esa página para crear mapas del área de servicio de Amazon para la entrega en el mismo día.

El análisis de Bloomberg reveló que muchas áreas urbanas pobres fueron excluidas del área de servicio, mientras que se incluyeron áreas vecinas más prósperas. Muchas de estas áreas pobres excluidas estaban habitadas predominantemente por minorías. Por ejemplo, todo Boston estaba cubierto excepto Roxbury; La cobertura de la ciudad de Nueva York incluyó a casi todos los cuatro condados, pero excluyó completamente al Bronx; La cobertura de Chicago dejó fuera el empobrecido South Side, mientras se extendía sustancialmente a los afluentes suburbios del norte y el oeste.

Si bien es tentador creer que las decisiones basadas en datos son imparciales, investigación y discusión académica están empezando a demostrar que injusticia y discriminación permanecen. En mi curso en línea sobre ética de datos, los estudiantes aprenden los algoritmos pueden discriminar. Pero puede haber un poco de un resquicio: como sugiere la investigación de Bloomberg, basar las decisiones en los datos también puede facilitar la detección cuando surgen sesgos.

El sesgo puede ser involuntario

La injusticia como esa en la política de entrega de Amazon puede surgir por muchas razones, incluyendo sesgos ocultos - como suposiciones de que las poblaciones se distribuyen de manera uniforme. Es probable que los diseñadores de algoritmos no pretendan discriminar y ni siquiera se den cuenta de que se ha infiltrado un problema.

Amazon le dijo a Bloomberg que no tenía un propósito discriminatorio y que hay muchas razones para creerlo. En respuesta al informe de Bloomberg, ciudad los funcionarios y otros políticos pidió a Amazon que solucione este problema. La compañia movido rápidamente para agregar los códigos postales urbanos pobres originalmente excluidos a su área de servicio.

Una pregunta similar ha sido preguntó de Uber, que parece proporcionar un mejor servicio a las áreas habitadas por mayores proporciones de personas blancas. Es probable que haya más ejemplos de la industria minorista y de servicios de discriminación algorítmica no intencional descubierta en el futuro.

¿Pedir demasiados algoritmos?

Deberíamos detenernos un momento para considerar si exigimos excesivamente decisiones algorítmicas. Las empresas que operan en las tiendas de ladrillo y cemento toman decisiones de ubicación todo el tiempo, teniendo en cuenta criterios no tan diferentes de los de Amazon. Las tiendas intentan tener ubicaciones que sean convenientes para un gran grupo de clientes potenciales con dinero para gastar.

En consecuencia, pocas tiendas optan por ubicarse en barrios pobres del centro de la ciudad. Particularmente en el contexto de las tiendas de abarrotes, este fenómeno se ha estudiado ampliamente, y el término "desierto de comida"Se ha usado para describir áreas urbanas cuyos residentes no tienen acceso conveniente a alimentos frescos. Esta sesgo de ubicación es menos estudiado para las tiendas minoristas en general.

Como un ejemplo indicativo, miré las ubicaciones de 55 en Michigan de Target, una gran cadena minorista integral. Cuando clasifiqué cada código postal de Michigan en función de si su ingreso promedio estaba en la mitad superior o inferior en todo el estado, descubrí que solo 16 de las tiendas Target (porcentaje 29) estaban en códigos postales del grupo de ingresos más bajos. Más del doble de las tiendas 39 estaban ubicadas en códigos postales de la mitad más acomodada.

Identificando discriminacion

Además, no hay tiendas Target en la ciudad de Detroit, aunque hay varias en los suburbios (más ricos). Sin embargo, no ha habido protestas populares alegando que Target discrimina injustamente a los pobres en sus decisiones de ubicación de tiendas. Hay dos razones principales por las cuales las preocupaciones sobre Amazon están justificadas: rigidez y dominio.

La rigidez tiene que ver tanto con los procesos de toma de decisiones del minorista en línea como con el resultado. Amazon decide qué códigos postales se encuentran en su área de servicio. Si un cliente vive al otro lado de la calle desde el límite establecido por Amazon, se encuentra fuera del área de servicio y puede hacer poco al respecto. Por el contrario, alguien que vive en un código postal sin una tienda Target puede comprar en Target, aunque puede llevar más tiempo llegar allí.

También importa qué tan dominante es un minorista en la mente de los consumidores. Mientras que Target es solo una de las muchas cadenas de tiendas físicas, Amazon disfruta dominio del mercado como minorista weby, por lo tanto, atrae más atención. Tal dominio es una característica de hoy el ganador se lleva todo negocios web.

Si bien su rigidez y dominio pueden causarnos una mayor preocupación por las empresas en línea, también estamos en mejores condiciones para detectar su discriminación de lo que somos para las tiendas de ladrillo y mortero. Para una cadena de tiendas tradicional, necesitamos adivinar hasta dónde están dispuestos a viajar los consumidores. También es posible que tengamos que estar atentos al tiempo: cinco millas hasta la siguiente salida de la autopista no es lo mismo que cinco millas por calles congestionadas hasta el otro lado de la ciudad. Además, el tiempo de viaje en sí mismo puede variar ampliamente según la hora del día. Después de identificar las áreas probables que sirve una tienda, es posible que no se ubiquen claramente en unidades geográficas para las cuales tenemos estadísticas sobre raza o ingresos. En resumen, el análisis es complicado y requiere mucho esfuerzo.

Por el contrario, a los periodistas de Bloomberg les hubiera llevado solo unas horas desarrollar un mapa del área de servicio de Amazon y correlacionarlo con los ingresos o la raza. Si Amazon hubiera hecho esto internamente, podrían haber realizado el mismo análisis en cuestión de minutos, y tal vez notaron los problemas y los corrigieron antes de que comenzara el servicio el mismo día.

¿Cómo se comparan los humanos?

Echemos un vistazo a un ejemplo muy diferente para ver cómo los mismos puntos se aplican ampliamente. Recientemente, ProPublica publicó un excelente análisis de la discriminación racial por un algoritmo que predice la probabilidad de un delincuente de ofender nuevamente. El algoritmo considera docenas de factores y calcula una estimación de probabilidad. El análisis de ProPublica encontró un sesgo racial sistemático significativo, aunque la raza no estaba entre los factores específicos considerados.

Sin el algoritmo, un juez humano haría una estimación similar, como parte de una decisión de sentencia o libertad condicional. La decisión humana podría considerar un conjunto más rico de factores, como la conducta del tribunal en el tribunal. Pero sabemos, desde estudios en psicología, Que la toma de decisiones humana está repleta de prejuicios, incluso cuando hacemos nuestro mejor esfuerzo para ser justos.

Pero cualquier error que resulte de un sesgo en las decisiones de los jueces humanos probablemente sea diferente entre los jueces, e incluso para las diferentes decisiones tomadas por el mismo juez. En conjunto, puede haber discriminación racial debido a sesgo subconsciente, pero establecer esto de manera concluyente es complicado. Un estudio del Departamento de Justicia de los EE. UU. Encontró pruebas sólidas de disparidades en la sentencia de convictos blancos y negros, pero no pudo determinar claramente si la raza misma fue un factor en esas decisiones.

Por el contrario, el mismo algoritmo exacto que utilizó ProPublica se usa en miles de casos en muchos estados. Su rigidez y el gran volumen facilitan el trabajo de determinar si discrimina, y pueden ofrecer formas de rectificar el problema de manera eficiente.

El uso de la tecnología de la información parece hacer las líneas más brillantes, las diferencias más marcadas y los datos sobre todo esto mucho más fácilmente disponibles. Lo que podría ser cepillado debajo de la alfombra ayer ahora clama por atención. A medida que encontramos más y más usos para los algoritmos basados ​​en datos, aún no es común analizar su equidad, particularmente antes del lanzamiento de un nuevo servicio basado en datos. Hacerlo así será de gran ayuda para medir y mejorar la equidad de estos cálculos computarizados cada vez más importantes.

Sobre el Autor

HV Jagadish, Bernard A Galler Profesor Colegiado de Ingeniería Eléctrica y Ciencias de la Computación, Universidad de Michigan

Este artículo se publicó originalmente el La conversación. Leer el articulo original.

Libros relacionados

at InnerSelf Market y Amazon