Verificación Cochrane de hechos con resultados absurdos

Verificador de datos del 17 de febrero Iria Carballo Carbajal, un neurocientífico de formación, pero aparentemente sin ninguna educación en epidemiología, publicó una "verificación de hechos" artículo en el sitio web de Comentarios sobre la salud. En su titular, Carballo-Carbajal hace la siguiente declaración: “Múltiples estudios muestran que las máscaras faciales reducen la propagación de COVID-19; una revisión Cochrane no demuestra lo contrario”.

Este artículo ahora está siendo utilizado por las empresas de redes sociales para suprimir todas las referencias al estudio Cochrane. Me di cuenta de esto el 10 de marzo cuando recibí una notificación de que una publicación de un miembro de un grupo de Facebook que administro contenía “información falsa”.

La publicación se refería a un opinión artículo sobre la revisión Cochrane en el New York Times, publicado el 10 de febrero. El recurso del “verificador de hechos independiente” al que se hizo referencia fue el mencionado artículo de Carballo-Carbajal. Obtener un sello de verificación de hechos puede ser un problema serio para un periódico, no menos para una institución científica. Por lo tanto, no fue una sorpresa que el 10 de marzo, la editora de Cochrane, Karla Soares-Weiser, publicara una declaración que intentaba restar importancia a los resultados del estudio, afirmando incorrectamente que el estudio solo tenía como objetivo evaluar la efectividad de las intervenciones para promover uso de máscaras, mientras que el claramente establecido objetivo del estudio es evaluar la eficacia de las propias intervenciones físicas, no sólo la eficacia de su promoción.

El mismo dia el New York Times una publicación pieza afirmando en el titular que las máscaras ciertamente funcionan, pero en su mayor parte dedicadas a difamar al autor del estudio Cochrane, el Dr. Tom Jefferson. Por ejemplo, el artículo afirma que Jefferson declaró en un entrevista que no hay evidencia de que el virus SARS-CoV-2 se transmita por el aire, mientras que lo que en realidad dice es que hay muchas rutas de transmisión y se necesita más evidencia para determinar con precisión cómo ocurre la transmisión.

Esta cadena de eventos es un ejemplo sorprendentemente claro de cómo funciona la industria de la censura. Es aún más impactante si se tiene en cuenta lo gravemente defectuoso que es el artículo de "verificación de hechos" de Carballo-Carbajal, en cuanto a los hechos, la lógica y la ética.

1. El hombre de paja

Carballo-Carbajal comienza creando un testaferro, en este caso una afirmación atribuida al Dr. Robert Malone, en referencia a un reciente post en su blog. Bajo el título "Afirmación", la supuesta afirmación se establece así: "Las máscaras faciales son ineficaces para reducir la propagación de COVID-19 y otras enfermedades respiratorias, según demuestra una revisión de Cochrane". Esta afirmación, citada además de una foto del Dr. Malone, no se encuentra en ninguna parte de su publicación de blog.

Como si esto no fuera suficiente, continúa Carballo-Carbajal, presentando lo que ella llama una "afirmación completa:" La revisión "no pudo encontrar ni siquiera un 'efecto modesto' en la tasa de infección o enfermedad:" "los CDC exageraron enormemente la evidencia que respalda los mandatos de máscara .”

El problema con esto es que, si bien se cita correctamente al Dr. Malone en la primera parte del párrafo, la segunda es algo que simplemente no dice en la publicación de su blog.

2. El ad hominem

Carballo-Carbajal luego se encarga de atacar al Dr. Malone, alegando que ha difundido “información errónea sobre las vacunas contra el covid-19”, refiriéndose a otro artículo, también publicado por Health Feedback. Ahora bien, ¿en qué consiste la supuesta desinformación, según dicho artículo? El artículo es una "verificación de hechos" de un Washington Times artículo de opinión del Dr. Malone y el Dr. Peter Navarro publicado en 2021, donde argumentan en contra de la política de vacunación universal del gobierno de EE. UU., argumentando que se basa en cuatro suposiciones erróneas. Primero, que la vacunación universal pueda erradicar el virus, segundo, que las vacunas sean altamente efectivas, tercero, que sean seguras, y cuarto, que la inmunidad mediada por vacunas sea duradera.

Carballo-Carbajal difícilmente podría haber tenido menos suerte con su referencia. Ahora está muy claro que la vacunación universal no puede erradicar el virus, que la inmunidad mediada por la vacuna disminuye muy rápidamente, incluso hasta el punto de volverse negativa, ya que la infección estudios y reinfección estudios ya han mostrado. El hecho de que las vacunas no sean “(casi) perfectamente efectivas”, citando el artículo de Malone y Navarro, es obvio desde hace mucho tiempo; de hecho, es la razón por la que no pueden erradicar el virus.

En cuanto al tercer punto, esto es lo que dicen Malone y Navarro en su artículo: “El tercer supuesto es que las vacunas son seguras. Sin embargo, los científicos, médicos y funcionarios de salud pública ahora reconocen riesgos que son raros pero de ninguna manera triviales. Los efectos secundarios conocidos incluyen afecciones cardíacas y trombóticas graves, alteraciones del ciclo menstrual, parálisis de Bell, síndrome de Guillain-Barré y anafilaxia. En otras palabras, no son seguros, tienen muchos conocido efectos secundarios raros, y esto en realidad se convierte en más clara mientras el tiempo pasa.

En resumen, Carballo-Carbajal intenta descalificar al Dr. Malone acusándolo de “desinformación” sobre algo más que el tema de su artículo. Esta es la clásica táctica ad-hominem casi universal en las piezas de "verificación de hechos". Su fracaso es espectacular, ya que todas las supuestas piezas de "desinformación" ahora ya son hechos verificados.

3. La argumentación

El resumen principal de Carballo-Carbajal (incluyendo “Detalles” y “Clave para llevar”) es el siguiente:

Las afirmaciones de que las máscaras faciales no son efectivas para reducir la propagación de COVID-19 según una revisión Cochrane no tuvieron en cuenta las limitaciones de la revisión. Si bien muchos usuarios presentaron esta revisión como la evidencia de la más alta calidad, los estudios individuales que evaluó variaron mucho en términos de calidad, diseño del estudio, poblaciones estudiadas y resultados observados, lo que impidió que los autores sacaran conclusiones definitivas. 

Los ensayos controlados aleatorios se consideran el estándar de oro al evaluar la efectividad de una intervención. Sin embargo, este tipo de estudio puede variar mucho en calidad, particularmente en intervenciones complejas como las máscaras faciales, lo que afecta la confiabilidad de los resultados. En este contexto, muchos científicos consideran que los ensayos controlados aleatorios deben verse como parte de una evidencia más amplia que incluya otros diseños de estudio. Al tener en cuenta esos estudios, la evidencia sugiere que el uso generalizado de mascarillas puede reducir la transmisión comunitaria del SARS-CoV-2, especialmente cuando se combina con otras intervenciones como el lavado frecuente de manos y el distanciamiento físico.

Ahora dividiré esta declaración en partes y luego verificaré la validez de cada parte. Debemos tener en cuenta que la fuente citada es la publicación del blog del Dr. Malone, por lo que cualquier referencia a "afirmaciones" debe ser a la publicación del blog de Malone, que es la única fuente citada. Las referencias a fuentes no identificadas, como "muchos sitios web y publicaciones en redes sociales", deben ignorarse por la razón obvia de que no se proporcionan referencias:

1. Declaración: el Dr. Malone afirma que la revisión Cochrane muestra que las máscaras no son efectivas para reducir la propagación de Covid-19.

Discusión: Como se muestra arriba, el Dr. Malone no hace esta afirmación. En cambio, afirma que el estudio "no pudo encontrar ni siquiera un 'efecto modesto' en la tasa de infección o enfermedad". Existe una distinción fundamental entre afirmar que A no funciona y afirmar que no se ha demostrado que A funcione. Los dos no tienen el mismo significado.

Veredicto: La afirmación de Carballo-Carbajal es falsa.

2. Declaración: el Dr. Malone no tiene en cuenta las limitaciones de la revisión al hacer esta afirmación.

Discusión: Para empezar, el Dr. Malone nunca hace la afirmación referida, sino una afirmación diferente. A pesar de esto, en su publicación de blog cita claramente el descargo de responsabilidad de los autores del estudio sobre la incertidumbre sobre los efectos de las máscaras faciales: "La certeza baja a moderada de la evidencia significa que nuestra confianza en la estimación del efecto es limitada y que el verdadero efecto puede ser diferente de la estimación observada del efecto".... “[e]l alto riesgo de sesgo en los ensayos, la variación en la medición de los resultados y el cumplimiento relativamente bajo de las intervenciones durante los estudios impiden sacar conclusiones firmes y generalizar los hallazgos a la pandemia actual de COVID‐19.  Por lo tanto, no es cierto que el Dr. Malone “no tuvo en cuenta las limitaciones de la revisión."

Veredicto: La afirmación de Carballo-Carbajal es falsa.

3. Declaración: “[L]os estudios individuales […] evaluados [en la revisión] variaron mucho en términos de calidad, diseño del estudio, poblaciones estudiadas y resultados observados, […] [impidiendo] que los autores sacaran conclusiones definitivas .”

Discusión: El estudio  los resultados son claros: "Existe evidencia de certeza baja de nueve ensayos (3,507 participantes) de que el uso de una máscara puede lograr poca o ninguna diferencia en el resultado de la enfermedad similar a la influenza (ETI) en comparación con no usar una máscara (riesgo relativo [RR] 0.99, 95 por ciento Intervalo de confianza (IC) 0.82 a 1.18 Existe evidencia de certeza moderada de que el uso de una máscara probablemente hace poca o ninguna diferencia en el resultado de la influenza confirmada por laboratorio en comparación con no usar una máscara (RR 0.91, IC del 95 por ciento 0.66 a 1.26; 6 ensayos; 3,005 participantes).... El uso de un respirador N95/P2 en comparación con una máscara médica/quirúrgica probablemente hace poca o ninguna diferencia para el resultado objetivo y más preciso de la infección por influenza confirmada por laboratorio (RR 1.10, IC del 95 por ciento 0.90 a 1.34; evidencia de certeza moderada; 5 ensayos; 8,407 participantes)".

Esos resultados se repiten en las conclusiones de los autores, agregando el descargo de responsabilidad de que "[e]l alto riesgo de sesgo en los ensayos, la variación en la medición de los resultados y el cumplimiento relativamente bajo de las intervenciones durante los estudios impiden sacar conclusiones firmes y generalizar los hallazgos a la pandemia actual de COVID-19".

Este descargo de responsabilidad es la gota que colma el vaso a la que Carballo-Carbajal se aferra con todas sus fuerzas. Pero como ha explicado el autor principal del estudio, esto no cambia los resultados del estudio, solo establece que los resultados pueden verse afectados por las incertidumbres derivadas de las limitaciones de los estudios utilizados. En sus propias palabras:

“Se llama precaución y se llama ser honesto con la evidencia que hemos encontrado. Esta es la mejor evidencia que tenemos” (ver la referencia a continuación).

Parece que Carballo-Carbajal no entiende el significado de un descargo de responsabilidad en un artículo científico; en cambio, trata de usar esto para invalidar los resultados del estudio y respaldar su afirmación de que las máscaras funcionan, a pesar de la evidencia. Un descargo de responsabilidad en un estudio no invalida sus resultados.

Veredicto: La declaración de Carballo-Carbajal es engañosa.

4. Declaración: Los ensayos controlados aleatorios se consideran el estándar de oro al evaluar la efectividad de una intervención.

Discusión: La referencia en la que se basa esta declaración es el blog del Dr. Malone. Si bien esta afirmación bien puede ser cierta, inferir que algo generalmente se “considera el estándar de oro” según la opinión de un científico es un grave error lógico.

Veredicto: Declaración de Carballo-Carbajal lógicamente inválida.

5. Declaración: Los estudios estándar de oro varían mucho en calidad.

Discusión: Esta afirmación no está respaldada por ninguna evidencia. Puede que sea cierto, o puede que no.

Veredicto: La declaración de Carballo-Carbajal no está respaldada por pruebas.

6. Declaración: Muchos científicos consideran que los ensayos controlados aleatorios deben verse como parte de una evidencia más amplia.

Discusión: La fuente de esto es un artículo en The Conversación de tres epidemiólogos y un experto en atención primaria de salud. Los autores ciertamente hacen esta afirmación, pero sin citar ninguna referencia. Así, la afirmación de que se basa en la opinión de “muchos epidemiólogos” es simplemente falsa. Esta es una afirmación hecha por tres epidemiólogos y considerando la gran cantidad de personas con esa capacitación, la palabra "muchas" ciertamente no está justificada. Hay que añadir que apelar a los números (argumentum ad populum) es un error lógico.

Veredicto: La declaración de Carballo-Carbajal no está respaldada por pruebas. Su supuesta relevancia se basa en argumentum ad populum, un error lógico.

7. Declaración: cuando se tienen en cuenta los estudios que no cumplen con los requisitos de la investigación estándar de oro, muestran que el uso generalizado de máscaras puede reducir la transmisión comunitaria.

Discusión: Por supuesto, es cierto que al bajar el estándar se pueden obtener resultados diferentes, pero esta afirmación es problemática, ya que Carballo-Carbajal parece sacar de ella la conclusión de que, a pesar del resultado de la revisión Cochrane, las mascarillas, de hecho, previenen la transmisión. . Esto es evidente en este pasaje, hacia el final del artículo: “Un creciente cuerpo de evidencia de ECA y estudios observacionales sugiere que el uso constante de máscaras puede reducir de manera efectiva la propagación de virus respiratorios como el SARS-CoV-2 tanto en entornos de atención médica como comunitarios. … Por el momento, las máscaras faciales son otra capa de protección además de la vacunación, el lavado frecuente de manos y el distanciamiento físico cuando la circulación de virus respiratorios es alta”.

Esto significa que la afirmación de Carballo-Carbajal no es solo que los estudios de baja calidad sugieren algo; la declaración final muestra que ella afirma claramente que lo que sugieren es realmente cierto. Esta afirmación es aún más clara en su titular.: “Múltiples estudios muestran que las máscaras faciales reducen la propagación de COVID-19”. Una diferencia sutil en la superficie, pero de suma importancia. Significa que está justificado reformular la declaración original como: “Cuando se tienen en cuenta los estudios que no cumplen con los requisitos de la investigación estándar de oro, muestran que el uso generalizado de mascarillas puede reducir la transmisión comunitaria. y esta es una conclusión válida."

Esto nos lleva a la pregunta de por qué los estudios de baja calidad citados por Carballo-Carbajal no se incluyeron en la revisión Cochrane. Por suerte tenemos un transcripción de una entrevista detallada entre el autor principal del estudio, el Dr. Tom Jefferson (JF) y el Dr. Carl Heneghan (CH), donde se analiza en detalle:

CH. Ahora mira, te voy a llevar a la tarea aquí. En las conclusiones del autor, las personas leerán esta revisión y comenzarán a ver esto y dirán, miren, tenemos evidencia de alta calidad, tenemos ensayos controlados aleatorios y, en particular, a nivel de mascarilla, dirán , mire, está mostrando en la comunidad esta falta de efecto, pero comienza con el alto riesgo de sesgo en el ensayo, la variación en la medición de los resultados y la adherencia relativamente baja a la intervención durante los estudios, lo que nos impide sacar conclusiones firmes. . Ahora insisto en ese punto porque la respuesta obvia entonces es ir a todos los estudios observacionales donde las personas han realizado revisiones sistemáticas y ciertamente han sacado conclusiones firmes sobre qué hacer. Entonces, ¿podría dar más detalles sobre lo que eso significa en el contexto de 78 ensayos? Esa es una gran cantidad de evidencia de ensayos controlados aleatorios. ¿Puede dar más detalles sobre lo que eso significa?

TJ. Se llama precaución y se llama ser honesto con la evidencia que hemos encontrado. Esta es la mejor evidencia que tenemos, pero a diferencia de algunos de los ideólogos que impulsan la idea de que los estudios no aleatorios, los estudios observacionales podrían dar respuestas, algunos de ellos ofrecen respuestas generales, afirmaciones generales, certezas, que simplemente no pertenecen a ciencia. La ciencia no se trata de certeza, la ciencia se trata de incertidumbre, se trata de tratar de avanzar en la agenda y acumular conocimiento. El uso de estudios no aleatorios en la evaluación de virus respiratorios de las intervenciones con virus respiratorios significa que las personas no entienden, los que realizaron esos estudios no entienden el juego de varios factores. Por ejemplo, la estacionalidad, por ejemplo, las caprichosas idas y venidas de estos agentes, están aquí un día y al siguiente se han ido. Si observa el comportamiento del SARS-CoV-2 en la vigilancia del Reino Unido durante los últimos 12 meses, sube y baja, y es completamente independiente de cualquier intervención, y también sube y baja muy rápidamente. Los estudios observacionales no pueden dar cuenta de eso. Además, una gran proporción de los estudios observacionales son retrospectivos, por lo que están sujetos a un sesgo de recuerdo despiadado; Los investigadores sacan conclusiones de los datos que obtuvieron al hacer preguntas como "¿Puedes recordar hace un mes cuántas veces usaste una máscara" o "¿Qué hiciste este o qué hiciste el otro día" sin llevar un diario? Esto simplemente no es ciencia. Inferir metraje, distanciamiento, cuando los estudios originales no hacían tal cosa. Entonces, esta es solo una lista interminable de sesgos que los estudios observacionales no pueden tener en cuenta. Y la única forma que tenemos de responder a las preguntas es realizar grandes ensayos controlados aleatorios prospectivos para responder una pregunta específica en una población específica”.

Como explica aquí Jefferson, las limitaciones de los estudios observacionales hacen prácticamente imposible sacar de ellos la conclusión que saca Carballo-Carbajal. Carballo-Carbajal cita una serie de estudios de observación para respaldar su afirmación. No los repasaré todos aquí, pero mirar algunos ejemplos debería ser suficiente para proporcionar evidencia de algunos de los problemas que discute Jefferson, así como para refutar algunas de las conclusiones sin fundamento de Carballo-Carbajal.

Por ejemplo, uno de los estudios citados, Wang et al, concluye que el uso de máscaras faciales por parte del caso primario y los contactos familiares antes de que el caso primario desarrollara síntomas fue 79 por ciento efectivo para reducir la transmisión. Este es un estudio observacional retrospectivo en el que la evidencia del uso de mascarillas se basa únicamente en el autoinforme posterior del participante. 

Otro, Mello et al.. muestra cómo se acumulan las partículas virales en las mascarillas, pero Carballo-Carbajal toma esto como evidencia de que “Los datos disponibles indican que el uso de mascarillas es más eficaz cuando se combina con otras medidas de control, como el distanciamiento físico y el lavado frecuente de manos”.

En resumen, Carballo-Carbajal afirma que, dado que los estudios de alta calidad no prueban la eficacia de las máscaras contra la transmisión, los estudios observacionales poco confiables, que están excluidos de la meta-revisión del "estándar de oro", precisamente por su falta de confiabilidad, prueban lo que la alta los estudios de calidad no logran demostrarlo.

Veredicto: La afirmación de Carballo-Carbajal (reformulada) es falsa. Sin reformularlo es irrelevante.

8. Afirmación: El efecto del uso de mascarillas es mayor cuando se combina con otras intervenciones.

Discusión: Esta afirmación es problemática. Ya está claro a partir de la evidencia de alta calidad proporcionada por la revisión Cochrane que la afirmación de que las máscaras reducen la transmisión no está probada. Esto significa que afirmar que se suman a la protección proporcionada por otras intervenciones debe ser incorrecto.

Veredicto: La afirmación de Carballo-Carbajal es falsa.

Carballo-Carbajal comienza atribuyendo falsamente al Dr. Robert Malone dos afirmaciones que nunca ha hecho. Esas afirmaciones falsas se convierten en la base de su "verificación de hechos".

Luego acusa erróneamente al Dr. Malone de hacer declaraciones falsas sobre un asunto diferente, un argumento ad hominem irrelevante para el tema del artículo.

De las ocho afirmaciones hechas por Carballo-Carbajal en su resumen, respaldadas por su texto principal, cuatro son claramente falsas, una es lógicamente inválida, una es engañosa y dos no están respaldadas por ninguna prueba, de las cuales una se basa en un error lógico también.

Teniendo en cuenta cómo este artículo seriamente defectuoso ahora aparentemente se usa para suprimir la difusión de un artículo científico importante, para presionar al editor en jefe de Cochrane para que haga afirmaciones falsas sobre el objetivo del artículo y minimice sus resultados, y para censurar una revisión de las conclusiones de un importante periódico de gran circulación, es evidente que existe una necesidad urgente de actuar enérgicamente contra la llamada industria de "verificación de hechos". El nivel al que ha llegado esta censura es una amenaza clara y presente para la investigación y el desarrollo científicos.