No te creas todo lo que piensas

ANDRÉS ROEMER

O quizá debería empezar con: no te creas lo que otros piensan. En abril de este año, un estudiante de posgrado de la Universidad de Massachusetts Amherst encontró errores que podrían cambiar las conclusiones de un famoso trabajo realizado por dos economistas internacionalmente reconocidos de la Universidad de Harvard. Al estudiante Thomas Herndon se le dio la tarea de replicar los resultados del popular trabajo de Reinhart y Rogoff, el cual encuentra una relación positiva negativa entre alta deuda soberana y leve crecimiento económico en períodos de crisis. Los resultados no eran idénticos y no parecía haber una razón del porqué, hasta que Thomas se dio cuenta de un error accidental en la hoja de cálculo de los economistas de Harvard: Reinhart y Rogoff habían cometido un error, y un estudiante lo había encontrado.

Uno generalmente no piensa en retar a las autoridades en una disciplina y menos si se trata de la universidad más prestigiada del mundo, pero el hecho de que algunos investigadores tengan una extraordinaria trayectoria no quiere decir que no cometan errores o que todo lo que emane de su boca sea necesariamente verdadero. Las palabras de expertos son, sin duda alguna, valiosas, pero no son incuestionables.

Los ejercicios de repetición de resultados, como el que hizo Thomas, son comunes, pero resultan relativamente poco “sexys”. El caso de Reinhart y Rogoff atrajo la atención mediática por tratarse de un tema de coyuntura económica —es un argumento a favor de las políticas de austeridad en tiempos de crisis—pero en general las réplicas de experimentos son raramente atractivas y menos publicadas. Tomen por ejemplo las profecías. Tendemos a concentrarnos en aquellas que se hicieron realidad, como la que se dice que predijo Nostradamus para el 11 de septiembre de 2001. Pero si miramos con cuidado, veremos que hay miles de profecías (no sólo de él) que no resultaron verdaderas, ni remotamente (a menos de que tergiversemos sus palabras para que digan lo que queremos escuchar).

Entonces, vende más una idea en positivo que una en negativo o una hipótesis no probada. (Un resultado positivo es cuando la hipótesis se prueba, un resultado nulo es cuando la hipótesis no se prueba). Si alguien llegara a probar que el consumo de lechuga ocasiona cáncer, sería mucho más atrayente que uno que probara que el consumo de lechuga no ocasiona cáncer. Esta idea de que es mejor publicar resultados positivos tiene incluso un nombre “el sesgo de publicación” (o publication bias, en inglés).

Cuando se publican experimentos en ciencia, muchas veces se replican. Sin embargo, las revistas académicas pocas veces están dispuestas a publicar resultados de experimentos repetidos, pues prefieren conocimiento nuevo que desafíe los supuestos convencionales. ¿Por qué esto es un problema? Porque puede ser que el experimento pionero esté errado; repeticiones del mismo experimento, esclarece dudas de su veracidad.

El hecho de que no se publiquen los resultados nulos es especialmente peligroso en medicina. En EU, la FDA debe aprobar los medicamentos y drogas con pruebas en humanos dándole a un grupo de personas medicamento, mientras a otro grupo se la da un placebo (un “medicamento” sin ingrediente activo); si hay más personas que se curaron con el medicamento que con el placebo y esta diferencia es estadísticamente significativa, entonces se aprueba el medicamento. En un estudio se dio a conocer que de pruebas de 12 antidepresivos, 38 de los experimentos resultaron positivos, es decir, el medicamento funcionó, mientras que en 36 el resultado fue nulo. Cuando el investigador miró los trabajos publicados sobre estos experimentos, encontró para su sorpresa que 37 de los experimentos positivos fueron publicados en revistas académicas (las que consultan los médicos para recetar medicamentos), mientras que solamente tres de los nulos lo fueron. Esto quiere decir que hubo 33 estudios que fueron realizados, pero que no se publicaron en una revista especializada. Si los médicos vieran que el resultado de estos medicamentos es 50-50, probablemente no los recetarían tan fervientemente.

Por supuesto que el problema no es exclusivo de las ciencias exactas o biológicas, en las ciencias sociales hay una propensión por probar positivamente una hipótesis, en especial cuando se trata de trabajo estadístico y con datos duros. Los investigadores quieren probar su idea, y si sus datos fallan en hacerlo, intentan encontrar más datos, cambiar las variables, añadir controles e intentar con diferentes herramientas estadísticas. Por supuesto que una vez que se encuentra que la prueba a la hipótesis, todas las fallas anteriores no se reportan. Como dice Ronald Coase, uno de los padres del derecho y economía, “Si torturas a los datos lo suficiente, ellos confesarán”.

El problema del sesgo de publicación no tiene que ver solamente con que las revistas académicas prefieren publicar resultados positivos, los sistemas de incentivos para los investigadores muchas veces están basados en un tipo de productividad fácilmente medible: número de publicaciones. Es decir, si un investigador quiere ganar mejor y tener un mejor estatus, debe publicar más, y si éste quiere ser publicado más, tiene que reportar resultados positivos (porque son los que prefieren las revistas).

¿Cuál es la solución al problema del sesgo de publicación? La respuesta sin duda no es fácil, pero por lo pronto lo mejor que podemos hacer es no creernos todo lo que pensamos… ni lo que otros publican.

Fuente: La Crónica