¿Qué pensar cuando la evidencia médica no está de acuerdo?

Para saber si un nuevo tratamiento para una enfermedad es realmente mejor que los tratamientos de mayor edad, los médicos y los investigadores a buscar la mejor evidencia disponible. profesionales de la salud quieren una "última palabra" en la evidencia para resolver preguntas sobre cuáles son las mejores formas de tratamiento son.

Pero no toda la evidencia médica se crea igual. Y existe una clara jerarquía de evidencia: la opinión de expertos y los informes de casos sobre eventos individuales se encuentran en el nivel más bajo, y los ensayos controlados aleatorios bien realizados están cerca de la cima. En la parte superior de esta jerarquía hay metaanálisis: estudios que combinan los resultados de múltiples estudios que hicieron la misma pregunta. Y el mismo, muy la parte superior de esta jerarquía son los metanálisis realizados por un grupo llamado Colaboración Cochrane.

Para ser miembro de la Colaboración Cochrane, se requiere que los investigadores individuales o grupos de investigación cumplan con pautas muy estrictas sobre cómo se deben informar y realizar los metanálisis. Es por eso que las revisiones Cochrane generalmente se consideran los mejores metanálisis.

Sin embargo, nadie ha preguntado si los resultados de los metanálisis realizados por la Colaboración Cochrane son diferentes de los metanálisis de otras fuentes. En teoría, si comparara un metanálisis de Cochrane y no de Cocrhane, ambos publicados en un marco de tiempo similar, tendería a esperar que hubieran elegido los mismos estudios para analizar, y que sus resultados e interpretación serían más o menos emparejar.

Nuestro equipo de la Facultad de Salud Pública de la Universidad de Boston decidió averiguarlo. Y sorprendentemente, eso no es lo que encontramos.


gráfico de suscripción interior


¿Qué es un metaanálisis, de todos modos?

Imagine que tiene cinco ensayos clínicos pequeños que todos encontraron un beneficio generalmente positivo para, digamos, tomar aspirina para prevenir ataques cardíacos. Pero debido a que cada uno de los estudios solo tenía un pequeño número de sujetos de estudio, ninguno podía afirmar con confianza que los efectos beneficiosos no se debieran simplemente a la casualidad. En lenguaje estadístico, tales estudios se considerarían "de poca potencia".

Hay una buena manera de aumentar el poder estadístico de esos estudios: combine esos cinco estudios más pequeños en uno solo. Eso es lo que hace un metaanálisis. Combinar varios estudios más pequeños en un análisis y tomar el promedio de esos estudios a veces puede inclinar la balanza, y dejar que la comunidad médica sepa con confianza si una intervención determinada funciona, o no.

Los metanálisis son eficientes y baratos porque no requieren la ejecución de nuevos ensayos. Más bien, se trata de encontrar todos los estudios relevantes que ya se han publicado, y esto puede ser sorprendentemente difícil. Los investigadores deben ser persistentes y metódicos en su búsqueda. Encontrar estudios y decidir si son lo suficientemente buenos para confiar es dónde el arte y el error de esta ciencia se convierte en un tema crítico.

Esa es realmente una razón importante por la cual se fundó la Colaboración Cochrane. Archie Cochrane, un investigador de servicios de salud, reconoció el poder de los metanálisis, pero también la tremenda importancia de hacerlo bien. Los metanálisis de la Colaboración Cochrane deben cumplir con estándares muy altos de transparencia y rigor metodológico y reproducibilidad.

Desafortunadamente, pocos pueden dedicar el tiempo y esfuerzo para unirse a la Colaboración Cochrane, y eso significa que la gran mayoría de los meta-análisis no se llevó a cabo mediante la colaboración, y no están obligados a adherirse a sus normas. Pero significa esto realmente importa?

¿Qué tan diferentes pueden ser dos metaanálisis?

Para averiguarlo, empezamos por identificar pares 40 de los metanálisis, uno de Cochrane y no uno, que cubrían la misma intervención (por ejemplo, aspirina) y el resultado (por ejemplo, ataques al corazón), y luego se compararon y los contrastados.

En primer lugar, encontramos que casi el porcentaje de 40 de los metanálisis Cochrane y no Cochrane no estuvieron de acuerdo en sus respuestas estadísticas finales. Eso significa que los lectores típicos, los médicos o los responsables de las políticas de salud, por ejemplo, presentarían una interpretación fundamentalmente diferente de si la intervención fue efectiva o no, dependiendo de qué metaanálisis hayan leído.

En segundo lugar, estas diferencias parecen ser sistemática. Las revisiones no Cochrane, en promedio, tendían a sugerir que las intervenciones estaban probando eran más potentes, más probabilidades de curar la enfermedad o evitar alguna complicación médica que las revisiones Cochrane sugirieron. Al mismo tiempo, las revisiones no Cochrane eran menos precisos en su exactitud, lo que significa que había una mayor probabilidad de que los resultados no eran más que debido a la casualidad.

Un metanálisis no es más que un simple promedio ponderado de sus estudios componentes. Nos sorprendió descubrir que aproximadamente el 63 por ciento de los estudios incluidos eran únicos para uno u otro conjunto de metanálisis. En otras palabras, a pesar del hecho de que los dos conjuntos de metanálisis probablemente buscarán los mismos documentos, utilizando criterios de búsqueda similares, durante un período de tiempo similar y de bases de datos similares, solo alrededor de un tercio de los documentos tenían los dos conjuntos. Incluidos eran los mismos.

Parece probable que la mayoría o todas estas diferencias se reduzcan al hecho de que Cochrane insiste en criterios más estrictos. Un metanálisis es tan bueno como los estudios que incluye, y tomar el promedio de una investigación deficiente puede conducir a un resultado pobre. Como dice el refrán, "basura adentro, basura afuera".

Curiosamente, los análisis que informaron los tamaños del efecto mucho más altas tendían a citado de nuevo en otros documentos a una velocidad mucho más alta que los análisis de informes del tamaño del efecto menor. Se trata de una forma de realización de la estadística viejo dicho periodístico "Si sangra, conduce." Grande y en negrita efectos reciben más atención que los resultados que muestran los resultados marginales o equívocos. La comunidad médica es, después de todo, humano.

¿Por qué este tema?

En su nivel más básico, esto muestra que Archie Cochrane tenía toda la razón. La coherencia metodológica, el rigor y la transparencia son esenciales. Sin eso, existe el riesgo de concluir que algo funciona cuando no funciona, o incluso simplemente exagerar los beneficios.

Pero en un nivel superior, esto nos muestra, una vez más, cuán difícil es generar una interpretación unificada de la literatura médica. Los metanálisis a menudo se usan como la última palabra sobre un tema dado, como los árbitros de la ambigüedad.

Es evidente que el papel se ve desafiada por el hecho de que dos meta-análisis, ostensiblemente sobre el mismo tema, pueden llegar a conclusiones diferentes. Si consideramos que el meta-análisis como el "patrón oro" en nuestra era actual de la "medicina basada en la evidencia", ¿cómo es que el médico o formulador de políticas promedio o incluso paciente a reaccionar cuando dos normas de oro se contradicen entre sí? Cuidado con este hotel.

Sobre el AutorLa conversación

Christopher J. Gill, Profesor Asociado, Departamento de Salud Global; Especialista en Enfermedades Infecciosas, Universidad de Boston.

Este artículo se publicó originalmente el La conversación. Leer el articulo original.


Libro relacionado:

at InnerSelf Market y Amazon