Cómo los científicos pueden dejar de engañarse con las estadísticas

POR DOROTHY BISHOP

Fuente: Nature / 03/08/2020

Fotografía: Pixabay

El muestreo de datos simulados puede revelar formas comunes en las que nuestros prejuicios cognitivos nos engañan.

En el último decenio se han realizado numerosos esfuerzos para fomentar una investigación sólida y creíble. Algunos se centran en cambiar los incentivos, por ejemplo, modificando los criterios de promoción y publicación para favorecer la ciencia abierta en lugar de los avances sensacionales. Pero también hay que prestar atención a las personas. Los prejuicios cognitivos demasiado humanos pueden llevarnos a ver resultados que no existen. El razonamiento defectuoso, da lugar a una ciencia de mala calidad, incluso cuando las intenciones son buenas.

Los investigadores deben ser más conscientes de estos escollos. Así como a los científicos de laboratorio no se les permite manejar sustancias peligrosas sin entrenamiento de seguridad, a los investigadores no se les debe permitir acercarse a un valor P o a una medida similar de probabilidad estadística, hasta que hayan demostrado que entienden lo que significa.

Todos tendemos a pasar por alto las pruebas que contradicen nuestros puntos de vista. Cuando nos enfrentamos a nuevos datos, nuestras ideas preexistentes pueden hacernos ver una estructura que no existe. Ésta es una forma de sesgo de confirmación, por la que buscamos y recordamos información que encaja con lo que ya pensamos. Puede ser adaptativo: los humanos necesitan ser capaces de separar la información importante y actuar rápidamente para salir del peligro. Pero este filtrado puede llevar a un error científico.

La medición de 1913 del físico Robert Millikan de la carga en el electrón es un ejemplo. Aunque afirmó que su trabajo incluía todos los puntos de datos de su famoso experimento de la gota de petróleo, sus cuadernos revelaron otros puntos de datos, no reportados, que habrían cambiado el valor final sólo ligeramente, pero que le habrían dado un mayor error estadístico. Ha habido un debate sobre si Millikan pretendía engañar a sus lectores. Pero no es raro que personas honestas supriman los recuerdos de hechos inconvenientes (R. C. Jennings Sci. Eng. Ethics 10, 639-653; 2004).

Cómo los científicos se engañan a sí mismos y cómo pueden detenerlo

Un tipo diferente de limitación promueve malentendidos en cuanto a la probabilidad y las estadísticas. Hace tiempo que sabemos que la gente tiene problemas para comprender la incertidumbre inherente a las muestras pequeñas (A. Tversky y D. Kahneman Psychol. Bull. 76, 105-110; 1971). Como ejemplo tópico, supongamos que el 5% de la población está infectada con un virus. Tenemos 100 hospitales que analizan a 25 personas cada uno, 100 hospitales que analizan a 50 personas y 100 que analizan a 100 personas. ¿Qué porcentaje de hospitales no encontrarán ningún caso y concluirán erróneamente que el virus ha desaparecido? La respuesta es que el 28% de los hospitales hacen pruebas a 25 personas, el 8% de los que hacen pruebas a 50 personas y el 1% de los que hacen pruebas a 100. El promedio de casos detectados por los hospitales, será el mismo independientemente del número de personas analizadas, pero el rango es mucho mayor con una pequeña muestra.

Esta escala no lineal es difícil de comprender intuitivamente. Lleva a la gente a subestimar lo ruidosas que pueden ser las pequeñas muestras y, por lo tanto, a realizar estudios que carecen del poder estadístico necesario para detectar un efecto.

Los investigadores tampoco aprecian que la importancia de un resultado expresado en un valor P dependa crucialmente del contexto. Cuantas más variables se exploren, más probable es que se encuentre un valor "significativo" espurio. Por ejemplo, si se analizan 14 metabolitos en busca de asociación con un trastorno, entonces la probabilidad de encontrar al menos un valor P por debajo de 0,05 -un umbral de significación estadística comúnmente usado- por casualidad no es de 1 en 20, sino más cercana a 1 en 2.

¿Cómo podemos inculcar la comprensión de esto? Una cosa está clara: la formación convencional en estadística es insuficiente, o incluso contraproducente, porque podría dar al usuario una confianza equivocada. Estoy experimentando con un enfoque alternativo: la generación de datos simulados que los estudiantes pueden someter a varios tipos de análisis estadístico. Utilizo esto para enseñar dos conceptos cruciales.

En primer lugar, si se les presentan conjuntos de datos nulos (como números aleatorios), los estudiantes descubren rápidamente lo fácil que es encontrar resultados falsos que parecen estadísticamente "significativos". Los investigadores tienen que aprender que la interpretación de un valor P es muy diferente cuando su pregunta es "¿Está A asociado con B?" de cuándo es "Para las variables A, B, C, D y E, ¿hay alguna correlación donde P < 0,05?" Preguntar si un determinado metabolito está asociado a una enfermedad, no es lo mismo que buscar un conjunto de metabolitos para ver si alguno está asociado a ella. Esto último requiere pruebas mucho más rigurosas.

Los datos simulados también proporcionan información cuando las muestras provienen de dos "poblaciones" con medios diferentes. Los estudiantes aprenden rápidamente que, con muestras de pequeño tamaño, un experimento puede ser inútil para revelar incluso una diferencia moderada. Una sesión de 30 minutos de simulación de datos puede dejar a los investigadores atónitos cuando entienden las implicaciones.

Los investigadores necesitan construir hábitos de por vida para evitar ser llevados por el sesgo de la confirmación. Las observaciones que son contrarias a nuestras expectativas necesitan una atención especial. En 1876, Charles Darwin dijo que se había acostumbrado a que "cada vez que un hecho publicado, una nueva observación o un nuevo pensamiento se me presentaba, que se oponía a mis resultados generales, lo memorizara sin falta y de inmediato: porque había comprobado por experiencia que esos hechos y pensamientos eran mucho más aptos para escaparse de la memoria que los favorables". Yo mismo lo he experimentado. Cuando escribía reseñas literarias, me ha sorprendido darme cuenta de que había olvidado por completo mencionar los trabajos que van en contra de mis propios instintos, a pesar de que los trabajos no tenían ningún defecto en particular. Ahora hago un esfuerzo por enumerarlos.

A todos nos resulta difícil ver los defectos en nuestro propio trabajo - es una parte normal de la cognición humana. Pero comprendiendo estos puntos ciegos, podemos evitarlos.

Nature 584, 9 (2020)

doi: 10.1038/d41586-020-02275-8

Dorothy Bishop es una psicóloga experimental de la Universidad de Oxford, Reino Unido.