[Este artículo fue escrito en colaboración con Michael R. Jenkins, profesor adjunto de marketing en la Universidad Estatal de Mississippi.]
En el ámbito académico, parece haber un consenso creciente de que el sistema de revisión por pares —que alguna vez fue la columna vertebral de la investigación académica— está obsoleto. ¿Pero es irreparable? Quizás. Como mínimo, vale la pena analizar el deterioro de su forma actual. Sin embargo, en lugar de abandonar por completo el proyecto, creemos tener una solución innovadora. Pero primero, examinemos dónde falló el sistema.
En la Edad Media, la mayor parte de la investigación científica se autopublicaba, ya que los eruditos compartían sus hallazgos entre sí. Pero, con el crecimiento de la profesión, esto se volvió impracticable, y la revista científica surgió como una forma de difundir la información. Un erudito tenía una idea, investigaba, resumía sus conclusiones y enviaba el manuscrito resultante a una revista. Allí, el editor o los editores lo revisaban y decidían si publicar el trabajo tal cual, solicitar revisiones o rechazarlo por completo. Con el tiempo, a medida que el número de eruditos seguía proliferando, todos ellos bajo una presión creciente para publicar, publicar y publicar —para ser contratados, obtener la titularidad y optar a subvenciones— la tarea de los editores de revistas se volvió abrumadora. Simplemente había demasiadas propuestas para darles a todas una consideración justa.
Así pues, se les ocurrió la idea de delegar la evaluación de los trabajos a equipos de revisores no remunerados, otros académicos del mismo campo o de uno relacionado que, al menos en teoría, estaban cualificados para juzgar la calidad de la investigación en cuestión. Esto aliviaría la carga de los editores y, al mismo tiempo, otorgaría un sello adicional de legitimidad al producto final. La pertinencia de publicar un trabajo académico no la determinarían una o dos personas, sino un grupo de expertos independientes. De este modo, la etiqueta de «revisión por pares» se convirtió en el estándar de oro de la investigación académica. Una publicación en una revista con revisión por pares se ha considerado durante mucho tiempo prácticamente inexpugnable, hasta el punto de que políticos y periodistas parecen convencidos de que pueden ganar cualquier debate simplemente citando un trabajo de investigación con revisión por pares.
Inicialmente, era un sistema bastante bueno y funcionó razonablemente bien durante mucho tiempo. Pero parece que ya ha llegado a su fin. Los requisitos para la permanencia en el puesto se han vuelto más cuantitativos. Internet ha reducido las barreras para la presentación de trabajos, lo que anima a más investigadores a enviar más artículos a más revistas. El número de trabajos enviados por universidades de Asia, África y Oriente Medio se ha disparado. Aun con más revistas y más revisores, el sistema ha colapsado, como acaba ocurriendo con todos los sistemas grandes y complejos. Sabemos que esto es así debido a un problema identificado hace 20 años por el científico de Stanford John Ioannidis, que desde entonces se conoce como la «crisis de replicación».
Una de las características distintivas de la buena ciencia es que un experimento se puede replicar; es decir, otro investigador que utilice la misma metodología obtendrá el mismo resultado, lo que significa que los hallazgos son válidos y consistentes. Pero lo que Ioannidis argumentó en su artículo fundamental de 2005 “Por qué la mayoría de los resultados de las investigaciones publicadas son falsos(Actualizado en 2022) El problema radicaba en que, en realidad, la mayoría de los resultados de las investigaciones publicadas son defectuosos. Los experimentos no se pueden replicar, lo que pone en duda su validez.
Otros investigadores han cuestionado la tesis de Ioannidis, especialmente su uso del término «la mayoría». Los científicos sociales, en particular, argumentan que los experimentos con sujetos humanos a menudo no se pueden replicar precisamente porque las personas mismas son inconsistentes. Sin embargo, los investigadores coinciden en general en que la crisis de replicación es real, aunque no tan generalizada como sugiere Ioannidis.
¿Qué tiene que ver esto con la revisión por pares? Obviamente, si el sistema funcionara como debe, con equipos de expertos reconocidos revisando y comprobando el trabajo de los demás, cabría esperar que muy pocos estudios defectuosos pasaran desapercibidos. En otras palabras, no habría una crisis de replicación si la revisión por pares funcionara correctamente.
Lamentablemente, la precisión del sistema ni siquiera es el mayor problema. Como muchas instituciones, se ha convertido en una cámara de eco altamente politizada. En lugar de un mecanismo para determinar y difundir la verdad mediante un sistema de controles y equilibrios académicos, la revisión por pares se ha transformado en un instrumento para promover e imponer la ortodoxia. Ya no es una comunidad de académicos que, de forma rigurosa pero colegiada, ponen a prueba las hipótesis de los demás; los editores y revisores de revistas se han erigido en guardianes. Solo se admite a quienes recitan las contraseñas correctas.
Tomemos como ejemplo el campo de la investigación climática. Desde hace al menos un par de décadas, el consenso científico es que el cambio climático antropogénico representa una amenaza existencial para la humanidad. Cualquiera que cuestione esta ortodoxia, independientemente de la calidad de su investigación o la lógica de sus argumentos, encuentra muy difícil publicar sus hallazgos en revistas de prestigio. Los responsables de la publicación (es decir, los revisores) simplemente no lo permiten.
¿Y qué hay de la ideología transgénero? Incluso antes de que supiéramos que la Asociación Mundial de Profesionales para la Salud Transgénero (WPATH) ocultaba y manipulaba sus datos, ¿por qué tan pocos académicos cuestionaron la afirmación de que la transición social, médica o quirúrgica para menores reducía su sufrimiento? Ya conocen la respuesta: sabían que no podían hacerlo sin poner en peligro sus carreras. Incluso ahora, corremos un riesgo profesional simplemente al señalar esto. Eso no es ciencia, que impulsa la búsqueda de la verdad; es política, que la obstaculiza.
Para ser justos, es fácil entender por qué sucede esto. Ni siquiera afirmamos que sea del todo malintencionado. Es simplemente la naturaleza humana. Las ideas que desafían la forma de pensar establecida siempre han sido impopulares entre quienes la imponen, desde Copérnico y Martín Lutero. Los nuevos hallazgos y las teorías que surgen de ellos amenazan con desacreditar las teorías de la generación anterior de académicos, ¿y adivinen quiénes son los principales revisores? Cuando hablamos de «política», no nos referimos necesariamente a ella en un sentido partidista, sino más bien en un sentido personal: ¿A quién beneficia esto?
Pero, por supuesto, la política partidista —y la ideología, en concreto— también suele entrar en juego. Incluso en disciplinas menos politizadas que la climatología o los estudios de género —como la contabilidad o el marketing—, los jóvenes investigadores deben someterse a los dogmas ideológicos de sus colegas más veteranos. Deben rendir el debido homenaje a conceptos como «diversidad, equidad e inclusión», «blancura» y «poblaciones marginadas», aunque estos conceptos no tengan nada que ver con su investigación o, peor aún, no estén respaldados por sus hallazgos. Y, claro está, si de verdad quieren publicar, encontrarán la manera de vincular esos hallazgos con la tendencia política del momento. De ahí que encontremos artículos con títulos como «Cómo el marketing basado en la blancura perjudica a los consumidores BIPOC» o «Cómo abordar a las poblaciones marginadas en la investigación en gestión». (Uno de estos es real; el otro lo hemos inventado. ¿Puedes distinguir cuál es cuál?)
¿Y ahora qué? Creemos que es hora de retomar el modelo medieval de «comunidad de eruditos», pero con un toque del siglo XXI. Si bien en la mayoría de las disciplinas es casi imposible reunir a todos los académicos para que compartan manuscritos (como bien saben quienes han asistido a congresos), gracias a la tecnología moderna, los académicos sí pueden compartir sus manuscritos, compartiendo sus trabajos en curso con colegas de todo el país y del mundo.
Nuestra idea consiste en crear foros oficiales en línea para cada disciplina, donde los investigadores puedan publicar ensayos sobre sus ideas en cualquier etapa, exponiendo el marco teórico, proponiendo hipótesis, divulgando los resultados de la investigación (incluida la metodología) y extrapolando implicaciones o predicciones. Otros investigadores de la comunidad pueden comentar esos ensayos, ofreciendo críticas, aportando información faltante y sugiriendo nuevas líneas de investigación. También pueden realizar los experimentos por sí mismos para comprobar si obtienen resultados iguales o similares e informar al grupo. Posteriormente, los autores originales pueden utilizar esa información para profundizar en el tema de investigación.
Una ventaja de este enfoque es su carácter iterativo, en el que cada investigador se basa en el trabajo de quienes le precedieron. Otra ventaja es que los investigadores pueden publicar independientemente de sus resultados. Una crítica común al sistema actual de revisión por pares es que los investigadores solo pueden publicar si obtienen resultados positivos. Sin embargo, los resultados negativos también son resultados y contribuyen, a su manera, al avance del conocimiento. Así como los investigadores necesitan saber qué se ha comprobado para seguir progresando, también deben saber qué se ha demostrado falso para evitar cometer los mismos errores.
Las publicaciones en los foros llevarían una marca de tiempo, lo que permitiría a los autores demostrar fácilmente la autoría de las ideas. Los mensajes podrían incluir hipervínculos para facilitar la investigación y las citas posteriores. Para disuadir a quienes actúan de mala fe, no habría anonimato para los colaboradores ni los comentaristas. Además, los foros estarían moderados de forma sutil para garantizar que las publicaciones cumplieran con los estándares académicos, con el decoro, la cortesía y la atribución adecuados. Sin embargo, todas las ideas serían consideradas. No habría filtros ni restricciones. En cambio, la comunidad se autorregularía, aplicando criterios de moderación (para usar el término de las redes sociales) en lugar de censurar las ideas consideradas "malas".
Obviamente, para que este sistema acabe sustituyendo al actual sistema de revisión por pares, las universidades tendrían que adoptarlo y encontrar la manera de evaluar la productividad de los académicos a efectos de conceder la titularidad, etc., quizás basándose en el número de publicaciones y la reacción de la comunidad ante ellas.
Pero creemos que hacia ahí se dirigen las cosas, y las universidades, las disciplinas y las sociedades científicas harían bien en sumarse. El sistema actual ha quedado obsoleto, convirtiéndose en un obstáculo para la búsqueda de la verdad en lugar de un medio para apoyarla.
Unirse a la conversación:
Publicado bajo un Licencia de Creative Commons Atribución Internacional
Para reimpresiones, vuelva a establecer el enlace canónico en el original Instituto Brownstone Artículo y Autor.
