Cuando las cosas van mal en un mundo automatizado, ¿todavía sabríamos qué hacer?

Vivimos en un mundo cada vez más complejo y soluciones. Entonces, así como tenemos que lidiar con problemas más complejos, la automatización está llevando a una atrofia de las habilidades humanas que puede dejarnos más vulnerables al responder a situaciones inesperadas o cuando las cosas van mal. La conversación

Considere el gráfico minutos finales del vuelo 447 de Air France, que se estrelló en el Atlántico en mayo 2009 después de salir de Río de Janeiro, Brasil, para París, Francia.

Su registrador de vuelo reveló completa confusión en la cabina. El avión se inclinó hacia arriba en 15º con una voz automática que repetidamente llamó "puesto, puesto". Sin embargo, los pilotos se tambaleaban, uno exclamando: "[...] no entendemos nada".

Este no es el lugar para entrar en los entresijos de ese vuelo nefasto, aparte de observar que cualquier sistema diseñado para tratar automáticamente las contingencias la mayoría de las veces deja una base de habilidades degradadas para la minoría de situaciones que los diseñadores no podían. no prever.

En declaraciones a la Feria de las vanidades, Nadine Sarter, ingeniera industrial de la Universidad de Michigan, recuerda una conversación con cinco ingenieros involucrados en la construcción de un avión en particular.


gráfico de suscripción interior


Empecé a preguntar, 'Bueno, ¿cómo funciona esto o lo otro?' Y no pudieron ponerse de acuerdo sobre las respuestas. Así que estaba pensando, si estos cinco ingenieros no pueden ponerse de acuerdo, el piloto pobre, si alguna vez se encuentra con esa situación en particular ... bueno, buena suerte.

En efecto, la complejidad de volar juiciosamente aeronaves de alta tecnología altamente complejas ha sido subcontratada a un robot, con los ingenieros de vuelo a todos los efectos se han ido desde las cabinas. Solo los pilotos mayores y ex pilotos de la fuerza aérea retienen esas habilidades detalladas.

De vuelta en tierra firme, en un mundo de conducción autónoma podría haber generaciones futuras enteras sin experiencia práctica alguna en conduciendo y navegando un vehículo.

Ya estamos viendo una indicación de Qué puede ir mal cuando los humanos dejan el control para sistemas autónomos.

Una investigación sobre el accidente fatal de un Tesla Model S con piloto automático señaló que la compañía proporcionó información sobre "limitaciones del sistema" a los conductores. En ese caso, todavía depende de los conductores prestar atención.

Pero, ¿qué posibilidad tendría una persona de hacerse cargo de cualquier control si las cosas empiezan a salir mal en su futuro? vehículo completamente autónomo. ¿Sabrían siquiera cómo detectar las primeras señales de un desastre inminente?

Perdiendo nuestro camino?

Impulsar esto es un determinismo tecnológico que cree que cualquier innovación es intrínsecamente buena. Si bien las tecnologías emergentes aún pueden definir lo que es ser humano, el desafío es reconocer el riesgo y qué hacer para asegurarse de que las cosas no salgan mal.

Eso es cada vez más difícil ya que hemos estado agregando complejidad, especialmente con la conducción autónoma de trenes suburbanos, taxis aéreos y drones de entrega.

Los diseñadores de sistemas han estado construyendo sistemas más grandes y entrelazados para compartir la carga de procesamiento de la computadora a pesar de que esto hace que sus creaciones sean los principales candidatos para el desglose. Están pasando por alto el hecho de que una vez que todo está conectado, los problemas pueden diseminarse tan fácilmente como las soluciones, a veces más.

La creciente e inmensa complejidad de un mundo automatizado presenta riesgos similares.

Puntos de peligro

En retrospectiva, lo que se necesita es una habilidad para cortar redes libres cuando hay puntos de falla, o al menos para sellar partes de una red única cuando hay puntos de falla en otra parte dentro de ella.

Este "islamiento" es una característica de las redes eléctricas inteligentes que brinda la posibilidad de dividir la red en fragmentos capaces de autosostener su demanda de energía interna. El modelado ha demostrado que menos conexiones pueden conducir a más seguridad.

¿Podría la ciencia de la complejidad emergente ayudar a identificar dónde podrían estar los puntos de peligro en redes altamente interconectadas? Marten Scheffer y sus colegas pensado así. Había visto similitudes entre el comportamiento de (sus) sistemas naturales y los sistemas económicos y financieros.

Su trabajo anterior en lagos, arrecifes de coral, mares, bosques y pastizales, descubrió que los ambientes sujetos a cambios graduales como el clima, la carga de nutrientes y la pérdida de hábitat pueden alcanzar puntos de inflexión que los vuelven a un estado inferior a veces irreversible.

¿Podrían los banqueros y los economistas lidiar con la estabilidad de los mercados financieros aprender de los investigadores en ecología, epidemiología y climatología para desarrollar marcadores de la proximidad a los umbrales críticos y el desglose del sistema?

En febrero 2016 todo esto se unió en forma de un documento sobre teoría de la complejidad y regulación financiera co-autor de una amplia gama de expertos, incluyendo un economista, banquero, físico, climatólogo, ecologista, zoólogo, veterinario y epidemiólogo.

Recomendaron una integración en línea de datos, métodos e indicadores, y se alimentaron con pruebas de estrés para los sistemas socioeconómicos y financieros mundiales en tiempo casi real. El primero es similar a lo que se ha logrado al tratar con otros sistemas complejos como el clima.

Podemos comenzar a ver cómo nuestro ejemplo de un mundo de conducción autónomo se pliega en cuestiones de estabilidad de red. Imagine una red altamente interconectada de vehículos autónomos.

Hay una clara necesidad de saber cómo detectar y aislar cualquier posible punto de falla en una red así, antes de que las cosas salgan mal con consecuencias potencialmente trágicas. Esto es más que solo proteger al conductor y al pasajero de cualquier falla del sistema en un solo vehículo autónomo.

Es hora de pensar cómo podríamos usar esos avances multidisciplinarios para comprender la estabilidad de tales redes a gran escala y así evitar consecuencias drásticas.

Sobre el Autor

Peter Fisher, Profesor Adjunto de Estudios Globales, Urbanos y Sociales, Universidad RMIT

Este artículo se publicó originalmente el La conversación. Leer el articulo original.

Libros relacionados

at InnerSelf Market y Amazon