Los expertos se equivocaron catastróficamente, según Dominic Cummings, ex asesor principal del primer ministro británico Boris Johnson. Cummings ha argumentado que el asesoramiento científico oficial del gobierno del Reino Unido en marzo de 2020 malinterpretó enormemente cómo se desarrollaría la pandemia, lo que llevó a un retraso en el cierre que costó miles de vidas.

Según Cummings, fueron ciertos especialistas con menos conocimientos sobre pandemias o medicina, como el científico de datos Ben Warner, el investigador de inteligencia artificial Demis Hassabis de DeepMind y el matemático Tim Gowers, quienes dieron pronósticos más precisos en este punto.

Cummings también es conocido por ser un ventilador of Superforecasting de Philip Tetlock, un libro sobre personas que predicen eventos futuros de forma más fiable que la mayoría. Algunos super pronosticadores han sido elogiados por sus predicciones sobre la pandemia, mientras que otros también han sido crítico de los expertos ' registro.

Entonces, ¿deberían los gobiernos hacer un mayor uso de los superpronosticadores en lugar de depender de expertos científicos? La evidencia no es tan clara. Pero ciertamente parece que hay cosas que los gobiernos podrían aprender de la superprevisión.

En un famoso estudio americano en los superpronosticadores publicados en 2014, eran una tripulación de élite. Solo el 2% superior de los contendientes se desempeñó lo suficientemente bien en un torneo de pronóstico geopolítico como para ganar el título. Su tarea consistía en asignar probabilidades a posibles respuestas a decenas de preguntas.

Los investigadores proporcionan algunos ejemplos ilustrativos. ¿Quién sería el presidente de Rusia en 2012? ¿Detonará Corea del Norte otra arma nuclear en los próximos tres meses? ¿Cuántos refugiados huirán de Siria el próximo año?

Por supuesto, el hecho de que a alguien le vaya bien un año no prueba que sea más hábil que cualquier otra persona. Quizás solo tuvieron suerte. Tenemos que ver qué tan bien lo hicieron en los años siguientes para evaluar cuán “súper” realmente son.

Sorprendentemente, estos superpronosticadores mantuvieron su ventaja a medida que avanzaba el torneo durante tres años más. De hecho, después de combinarse en "equipos de superpronosticadores" que contienen solo a otros de alto desempeño, su desempeño aumentó en un margen sustancial. Los investigadores también encontraron que trabajar en equipo y recibir capacitación relevante mejoró el desempeño de otros pronosticadores, en comparación con los pronosticadores en una condición de control.

Equipos y formación

Ya sea que tomemos o no la palabra de Cummings de que la planificación para una pandemia del Reino Unido sufrió una “clásica burbuja de pensamiento grupal”, sabemos que los equipos no siempre toman decisiones acertadas. ¿Qué fue lo que hizo que los equipos tuvieran más éxito en el estudio de EE. UU.?

Es difícil decirlo con certeza, pero los investigadores alentaron específicamente a los equipos a hacer preguntas precisas para fomentar un pensamiento más claro sobre la evidencia que respalda un pronóstico en particular, para "buscar evidencia que contradiga su predicción actual" y para introducir de manera constructiva puntos de vista alternativos. .

Tal debate bien puede mejorar el juicio colectivo y protegerse contra el pensamiento de grupo. Tampoco se requirió que los miembros del equipo llegaran a un consenso. Aunque compartieron información y opiniones, aún hicieron predicciones individuales que se combinaron mediante algoritmos. Los equipos de super pronosticadores en particular muy comprometido, compartiendo información con frecuencia y haciendo preguntas a otros miembros del equipo.

Otro estudio echó un vistazo más de cerca a qué técnicas de entrenamiento específicas parecían ayudar más. Tres técnicas se asociaron particularmente con una mayor precisión. El primero fue el uso de las llamadas clases de comparación.

Por ejemplo, si estoy tratando de predecir la probabilidad de que Benedict Cumberbatch y Sophie Hunter sigan juntos en cinco años, puede ser útil pensar en otras "clases" que sean relevantes, por ejemplo, la clase de matrimonios de celebridades, o incluso matrimonios en general. Esto me permite mirar la historia para informar mis predicciones: ¿Qué porcentaje de los matrimonios de celebridades terminan en un período de cinco años determinado?

El segundo fue hacer uso de modelos matemáticos y estadísticos, cuando estuvieran disponibles, para ayudar a informar los puntos de vista. El tercero fue “seleccionar las preguntas correctas”, una recomendación para dedicar más tiempo a predecir respuestas a preguntas en las que usted sabe más que otros sobre el tema, o en las que es probable que valga la pena investigar más. Sin embargo, los investigadores enfatizaron que todos los componentes de el entrenamiento puede haber contribuido de manera integral a un mejor desempeño.

La investigación también ha demostrado que la precisión mejora cuando hacemos un seguimiento de nuestro desempeño pasado - pero el tipo de retroalimentación es importante. ¿Los resultados que pensaba que ocurrirían el 20% del tiempo en realidad sucedieron el 20% del tiempo? ¿Qué pasa con los resultados que pensó que ocurrirían el 90% del tiempo? El rendimiento mejora para quienes reciben este tipo de información.

¿Pueden los gobiernos hacerlo mejor?

¿Podría el gobierno del Reino Unido haberlo hecho mejor en COVID-19 solicitando aportaciones de equipos de superpronosticadores? Es posible. Superpronosticadores en Buen juicio abierto y pronosticadores experimentados en Metáculo (en el que he participado) cada uno parece haberlo hecho bien en COVID-19, con Metaculus afirmando tener expertos superados en junio de 2020. Dicho esto, en un series recientes De las predicciones relacionadas con COVID-19, los pronosticadores capacitados no siempre fueron más precisos que los expertos. Los investigadores detrás de la encuesta están experimentando con formas de combinar predicciones de expertos en el dominio y pronosticadores capacitados en un "pronóstico de consenso".

También parece plausible que incluso la formación que ayudó a los que no son supervivientes a hacer mejores pronósticos hubiera sido útil. Por ejemplo, Cummings afirmó que, aunque se prestó mucha atención a los modelos epidemiológicos, se ignoró la evidencia que contradecía los supuestos de los modelos, como los datos reportados por las unidades de cuidados intensivos. Ciertamente parece plausible que alguien entrenado para "buscar evidencia que contradiga su predicción actual" pudiera haber detectado esto antes.

Por supuesto, no todas las recomendaciones de la literatura son prácticas en entornos gubernamentales. En teoría, los gobiernos podrían probar esas recomendaciones por sí mismos, adoptando las que parecieran beneficiosas. Desafortunadamente, no puede mejorar lo que no mide.

In Superforecasting, Tetlock enfatiza que cualquier organización que se tome en serio la mejora de sus pronósticos debe asignarles cifras concretas, al menos internamente. Una frase como "posibilidad seria" puede significar un 20% de probabilidad para una persona y un 80% de probabilidad para otra.

Esto es casi con certeza a lo que se refería Cummings. cuando dijo:: "Un tipo llamado Phil Tetlock escribió un libro y en ese libro dijo que no debes usar palabras como razonable, probable y probable, porque confunde a todos". Quizás no debería sorprendernos si las organizaciones que no hacen pronósticos de una manera que puedan ser evaluados no están equipados para aprender cómo mejorarlos. Para mejorar, primero tienes que intentarlo.