hombres - y países - en guerra
Napoleón podría haber aprendido del pasado. pintura de Adolph Northen/wikipedia

Es un cliché que no saber la historia hace que uno la repita. Como mucha gente también ha señalado, lo único que aprendemos de la historia es que rara vez aprendemos algo de la historia. Las personas se involucran en guerras terrestres en asia una y otra vez. También repiten los mismos errores de citas, una y otra vez. Pero ¿por qué sucede esto? ¿Y la tecnología pondrá fin a esto?

Un tema es el olvido y “miopía”: no vemos cómo los eventos pasados ​​​​son relevantes para los actuales, pasando por alto el patrón que se desarrolla. Napoleón debería haber notado las similitudes entre su marcha sobre Moscú y el rey sueco. El intento fallido de Carlos XII de hacer lo mismo aproximadamente un siglo antes que él.

Nosotros también malo en el aprendizaje cuando las cosas van mal. En lugar de determinar por qué una decisión fue incorrecta y cómo evitar que vuelva a suceder, a menudo tratamos de ignorar el vergonzoso giro de los acontecimientos. Eso significa que la próxima vez que se presenta una situación similar, no vemos la similitud y repetimos el error.

Ambos revelan problemas con la información. En el primer caso, no recordamos información personal o histórica. En el segundo, fallamos en codificar la información cuando está disponible.


gráfico de suscripción interior


Dicho esto, también cometemos errores cuando no podemos deducir de forma eficiente lo que va a pasar. Tal vez la situación sea demasiado compleja o requiera demasiado tiempo para pensar en ella. O estamos predispuestos a malinterpretar lo que está pasando.

El molesto poder de la tecnología

Pero, ¿seguro que la tecnología puede ayudarnos? Ahora podemos almacenar información fuera de nuestro cerebro y usar computadoras para recuperarla. Eso debería hacer que aprender y recordar sea fácil, ¿verdad?

El almacenamiento de información es útil cuando se puede recuperar bien. Pero recordar no es lo mismo que recuperar un archivo de una ubicación o fecha conocida. Recordar implica detectar similitudes y traer cosas a la mente.

Una inteligencia artificial (IA) también necesita ser capaz de traer similitudes espontáneamente a nuestra mente, a menudo similitudes no deseadas. Pero si es bueno para notar posibles similitudes (después de todo, podría buscar en todo Internet y en todos nuestros datos personales), también notará a menudo las falsas.

Para las fechas fallidas, cabe señalar que todas involucraron cena. Pero nunca fue la cena el problema. Y fue pura coincidencia que hubiera tulipanes en la mesa, no hay razón para evitarlos. A menudo repetimos errores de citas. 

Eso significa que nos avisará de cosas que no nos interesan, posiblemente de forma molesta. Reducir su sensibilidad significa aumentar el riesgo de no recibir una advertencia cuando se necesita.

Este es un problema fundamental y se aplica tanto a cualquier asesor: el asesor cauteloso gritará lobo con demasiada frecuencia, el asesor optimista perderá los riesgos.

Un buen asesor es alguien en quien confiamos. Tienen aproximadamente el mismo nivel de precaución que nosotros y sabemos que saben lo que queremos. Esto es difícil de encontrar en un asesor humano, y más aún en una IA.

¿Dónde detiene la tecnología los errores? Obras a prueba de idiotas. Las máquinas de corte requieren que mantenga presionados los botones, manteniendo las manos alejadas de las cuchillas. Un “interruptor de hombre muerto” detiene una máquina si el operador queda incapacitado.

Los hornos de microondas apagan la radiación cuando se abre la puerta. Para lanzar misiles, dos personas deben girar las llaves simultáneamente en una habitación. Aquí, el diseño cuidadoso hace que los errores sean difíciles de cometer. Pero no nos preocupamos lo suficiente por situaciones menos importantes, lo que hace que el diseño sea mucho menos a prueba de idiotas.

Cuando la tecnología funciona bien, a menudo confiamos demasiado en ella. Los pilotos de líneas aéreas tienen menos horas de vuelo reales hoy que en el pasado debido a la asombrosa eficiencia de los sistemas de piloto automático. Estas son malas noticias cuando falla el piloto automático y el piloto tiene menos experiencia para rectificar la situación.

el primero de un nueva generación de plataforma petrolera (Sleipnir A) se hundió porque los ingenieros confiaron en el software de cálculo de las fuerzas que actúan sobre él. El modelo estaba equivocado, pero presentaba los resultados de una forma tan convincente que parecían fiables.

Gran parte de nuestra tecnología es increíblemente fiable. Por ejemplo, no nos damos cuenta de cómo los paquetes de datos perdidos en Internet se encuentran constantemente detrás de escena, cómo los códigos de corrección de errores eliminan el ruido o cómo los fusibles y la redundancia hacen que los dispositivos sean seguros.

Pero cuando acumulamos nivel tras nivel de complejidad, parece muy poco confiable. Notamos cuando el video de Zoom se retrasa, el programa de inteligencia artificial responde mal o la computadora falla. Sin embargo, pregúntele a cualquiera que usó una computadora o un automóvil hace 50 años cómo funcionaban realmente, y notará que eran menos capaces y menos confiables.

Hacemos que la tecnología sea más compleja hasta que se vuelve demasiado molesta o insegura de usar. A medida que las partes se vuelven mejores y más confiables, a menudo elegimos agregar nuevas características interesantes y útiles en lugar de apegarnos a lo que funciona. En última instancia, esto hace que la tecnología sea menos confiable de lo que podría ser.

Se cometerán errores

Esta es también la razón por la que la IA es un arma de doble filo para evitar errores. La automatización a menudo hace que las cosas sean más seguras y eficientes cuando funciona, pero cuando falla, el problema es mucho mayor. Autonomía significa que el software inteligente puede complementar nuestro pensamiento y descargarnos, pero cuando no piensa como queremos, puede comportarse mal.

Cuanto más complejo es, más fantásticos pueden ser los errores. Cualquiera que haya tratado con eruditos muy inteligentes sabe lo bien que pueden estropear las cosas con gran ingenio cuando les falla el sentido común, y la IA tiene muy poco sentido común humano.

Esta es también una razón profunda para preocuparse de que la IA guíe la toma de decisiones: cometen nuevos tipos de errores. Los humanos conocemos los errores humanos, lo que significa que podemos estar atentos a ellos. Pero Las máquinas inteligentes pueden cometer errores que nunca podríamos imaginar.

Además, los sistemas de IA están programados y entrenados por humanos. Y hay muchos ejemplos de tales sistemas. volverse parcial e incluso intolerante. Imitan los sesgos y repiten los errores del mundo humano, incluso cuando las personas involucradas tratan explícitamente de evitarlos.

Al final, los errores seguirán ocurriendo. Hay razones fundamentales por las que nos equivocamos sobre el mundo, por las que no recordamos todo lo que deberíamos y por las que nuestra tecnología no puede ayudarnos a evitar problemas a la perfección.

Pero podemos trabajar para reducir las consecuencias de los errores. El botón de deshacer y el guardado automático han guardado innumerables documentos en nuestras computadoras. El monumento en Londres, piedras de tsunami en Japón y otros monumentos actúan para recordarnos ciertos riesgos. Las buenas prácticas de diseño hacen que nuestras vidas sean más seguras.

En última instancia, es posible aprender algo de la historia. Nuestro objetivo debe ser sobrevivir y aprender de nuestros errores, no evitar que sucedan. La tecnología puede ayudarnos con esto, pero debemos pensar detenidamente qué es lo que realmente queremos de ella y diseñar en consecuencia.

Sobre el Autor

Anders Sandberg, Investigador James Martin, Future of Humanity Institute y Oxford Martin School, Universidad de Oxford

Este artículo se republica de La conversación bajo una licencia Creative Commons. Leer el articulo original.