Los algoritmos de reconocimiento facial generalmente se prueban usando caras blancas, lo que hace que la tecnología no pueda diferenciar entre individuos racializados. (Shutterstock)
La policía de Detroit arrestó injustamente a Robert Julian-Borchak Williams en enero de 2020 por un incidente de hurto que había tenido lugar dos años antes. Aunque Williams no tuvo nada que ver con el incidente, la tecnología de reconocimiento facial utilizada por la Policía Estatal de Michigan “emparejó” su rostro con una imagen granulada obtenida de un video de vigilancia en la tienda que mostraba a otro hombre afroamericano tomando relojes por valor de 3,800 dólares.
Dos semanas después, el caso fue desestimado a petición de la fiscalía. Sin embargo, confiando en la coincidencia defectuosa, la policía ya había esposado y arrestado a Williams frente a su familia, lo obligó a proporcionar una foto policial, huellas digitales y una muestra de su ADN, lo interrogó y lo encarceló durante la noche.
Los expertos sugieren que Williams no está solo y que otros han sido víctimas de injusticias similares. La controversia en curso sobre el uso policial de Clearview AI ciertamente subraya los riesgos de privacidad que plantea la tecnología de reconocimiento facial. Pero es importante darse cuenta de que no todos asumimos esos riesgos por igual.
Entrenando algoritmos racistas
Tecnología de reconocimiento facial que es entrenado y sintonizado con rostros caucásicos sistemáticamente identifica y etiqueta incorrectamente a las personas racializadas: numerosos estudios informan que la tecnología de reconocimiento facial es “defectuoso y sesgado, con tasas de error significativamente más altas cuando se usa contra personas de color."
Este socava la individualidad y la humanidad de las personas racializadas que tienen más probabilidades de ser identificados erróneamente como delincuentes. La tecnología, y los errores de identificación que comete, refleja y afianza aún más las divisiones sociales de larga data que están profundamente enredadas con el racismo, el sexismo, la homofobia, el colonialismo de colonos y otras opresiones que se cruzan.
{vembed Y = vSuDE6wvQlU}
Una investigación de France24 sobre el sesgo racial en la tecnología de reconocimiento facial.
Cómo la tecnología categoriza a los usuarios
En su revolucionario libro de 1993, El tipo panóptico, el académico Oscar Gandy advirtió que “la tecnología compleja [que] involucra la recopilación, procesamiento e intercambio de información sobre individuos y grupos que se genera a través de su vida diaria… se utiliza para coordinar y controlar su acceso a los bienes y servicios que definen la vida en la economía capitalista moderna ". Las fuerzas del orden lo usan para sacar a los sospechosos del público en general, y las organizaciones privadas lo usan para determinar si tenemos acceso a cosas como bancario y empleo.
Gandy advirtió proféticamente que, si no se controla, esta forma de "clasificación cibernética" perjudicaría exponencialmente a los miembros de las comunidades que buscan la igualdad, por ejemplo, a los grupos racializados o en desventaja socioeconómica, tanto en términos de lo que se les asignaría como cómo podrían llegar a comprenderse a sí mismos.
Unos 25 años después, ahora vivimos con el tipo panóptico con esteroides. Y abundan los ejemplos de sus efectos negativos en las comunidades que buscan la igualdad, como la falsa identificación de Williams.
Sesgo preexistente
Esta clasificación mediante algoritmos se infiltra en los aspectos más fundamentales de la vida cotidiana, ocasionando violencia tanto directa como estructural a su paso.
La violencia directa experimentada por Williams es inmediatamente evidente en los eventos que rodearon su arresto y detención, y los daños individuales que experimentó son obvios y se pueden rastrear hasta las acciones de la policía que eligió confiar en la “combinación” de la tecnología para realizar un arresto. Más insidioso es el violencia estructural perpetrado a través de la tecnología de reconocimiento facial y otras tecnologías digitales que clasifican, emparejan, categorizan y clasifican a las personas de manera que magnifican los patrones discriminatorios preexistentes.
Los daños de la violencia estructural son menos obvios y menos directos, y causan daño a los grupos que buscan la igualdad mediante la negación sistemática del poder, los recursos y las oportunidades. Al mismo tiempo, aumenta el riesgo directo y el daño a miembros individuales de esos grupos.
Usos de vigilancia predictiva procesamiento algorítmico de datos históricos para predecir cuándo y dónde es probable que ocurran nuevos delitos, asigna los recursos policiales en consecuencia e incorpora una vigilancia policial mejorada en las comunidades, generalmente en vecindarios de bajos ingresos y racializados. Esto aumenta las posibilidades de que cualquier actividad delictiva, incluida la actividad delictiva menos grave que de otro modo no provocaría una respuesta policial, sea detectada y sancionada, lo que en última instancia limita las posibilidades de vida de las personas que viven en ese entorno.
Y la evidencia de inequidades en otros sectores continúa aumentando. Cientos de estudiantes en el Reino Unido protestó el 16 de agosto contra los desastrosos resultados de Ofqual, un algoritmo defectuoso que utilizó el gobierno del Reino Unido para determinar qué estudiantes calificarían para la universidad. En 2019, el servicio de anuncios de microtargeting de Facebook ayudó a decenas de empleadores del sector público y privado excluir a las personas de recibir anuncios de trabajo por motivos de edad y sexo. La investigación realizada por ProPublica ha documentado discriminación de precios basada en la raza para productos en línea. Y los motores de búsqueda producen regularmente resultados racistas y sexistas.
Perpetuar la opresión
Estos resultados son importantes porque perpetúan y profundizan las desigualdades preexistentes basadas en características como la raza, el género y la edad. También importan porque afectan profundamente cómo llegamos a conocernos a nosotros mismos y al mundo que nos rodea, a veces por preseleccionando la información recibimos de maneras que refuerzan las percepciones estereotipadas. Incluso las propias empresas de tecnología reconocen urgencia de evitar que los algoritmos perpetúen la discriminación.
Hasta la fecha, el éxito de las investigaciones ad hoc, realizadas por las propias empresas de tecnología, ha sido inconsistente. Ocasionalmente, las corporaciones involucradas en la producción de sistemas discriminatorios los retiran del mercado, como cuando Clearview AI anunció que ya no ofrecería tecnología de reconocimiento facial en Canadá. Pero a menudo estas decisiones son el resultado del escrutinio regulatorio o del clamor público únicamente. después de miembros de comunidades que buscan la igualdad ya han sufrido daños.
Es hora de brindar a nuestras instituciones reguladoras las herramientas que necesitan para abordar el problema. Las protecciones de privacidad simples que dependen de la obtención del consentimiento individual para permitir que los datos sean capturados y reutilizados por las empresas no pueden separarse de los resultados discriminatorios de ese uso. Esto es especialmente cierto en una era en la que la mayoría de nosotros (incluidas las propias empresas de tecnología) no puede comprender completamente qué hacen los algoritmos o por qué producen resultados específicos.
La privacidad es un derecho humano
Parte de la solución implica romper los silos regulatorios actuales que tratan la privacidad y los derechos humanos como temas separados. Depender de un modelo de protección de datos basado en el consentimiento va en contra del principio básico de que la privacidad y la igualdad son derechos humanos que no se pueden rescindir.
Incluso Carta digital de Canadá - el último intento del gobierno federal de responder a las deficiencias del estado actual del entorno digital - mantiene estas distinciones conceptuales. Trata el odio y el extremismo, el control y el consentimiento, y la democracia fuerte como categorías separadas.
Para abordar la discriminación algorítmica, debemos reconocer y enmarcar tanto la privacidad como la igualdad como derechos humanos. Y debemos crear una infraestructura que sea igualmente atenta y experta en ambos. Sin tales esfuerzos, el brillo de las matemáticas y la ciencia continuará camuflando los sesgos discriminatorios de la IA, y se puede esperar que se multipliquen las parodias como la infligida a Williams.
Acerca de los autores
Jane Bailey, profesora de derecho y codirectora del proyecto eQuality, L'Université d'Ottawa / Universidad de Ottawa; Jacquelyn Burkell, vicepresidenta adjunta de investigación, Universidad de Westerny Valerie Steeves, profesora titular, L'Université d'Ottawa / Universidad de Ottawa
Este artículo se republica de La conversación bajo una licencia Creative Commons. Leer el articulo original.
Libros sobre desigualdad de la lista de los más vendidos de Amazon
"Casta: los orígenes de nuestros descontentos"
por Isabel Wilkerson
En este libro, Isabel Wilkerson examina la historia de los sistemas de castas en sociedades de todo el mundo, incluso en los Estados Unidos. El libro explora el impacto de la casta en los individuos y la sociedad, y ofrece un marco para comprender y abordar la desigualdad.
Haga clic para obtener más información o para ordenar
"El color de la ley: una historia olvidada de cómo nuestro gobierno segregó a Estados Unidos"
por Richard Rothstein
En este libro, Richard Rothstein explora la historia de las políticas gubernamentales que crearon y reforzaron la segregación racial en los Estados Unidos. El libro examina el impacto de estas políticas en los individuos y las comunidades, y ofrece un llamado a la acción para abordar la desigualdad actual.
Haga clic para obtener más información o para ordenar
"La suma de nosotros: lo que el racismo nos cuesta a todos y cómo podemos prosperar juntos"
por Heather McGhee
En este libro, Heather McGhee explora los costos económicos y sociales del racismo y ofrece una visión para una sociedad más equitativa y próspera. El libro incluye historias de personas y comunidades que han desafiado la desigualdad, así como soluciones prácticas para crear una sociedad más inclusiva.
Haga clic para obtener más información o para ordenar
"El mito del déficit: la teoría monetaria moderna y el nacimiento de la economía popular"
por Stephanie Kelton
En este libro, Stephanie Kelton desafía las ideas convencionales sobre el gasto público y el déficit nacional y ofrece un nuevo marco para entender la política económica. El libro incluye soluciones prácticas para abordar la desigualdad y crear una economía más equitativa.
Haga clic para obtener más información o para ordenar
"El nuevo Jim Crow: encarcelamiento masivo en la era del daltonismo"
por Michelle Alexander
En este libro, Michelle Alexander explora las formas en que el sistema de justicia penal perpetúa la desigualdad racial y la discriminación, en particular contra los afroamericanos. El libro incluye un análisis histórico del sistema y su impacto, así como un llamado a la acción para la reforma.
