El sesgo de confirmación en ciencia

Un fenómeno observado en ciencia que riñe con su imagen idealizada como un proceso donde impera siempre la razón más pura y desapasionada, es el de la resistencia de la comunidad de expertos a reconocer cuando una hipótesis previamente aceptada como válida, es refutada por la evidencia. El ser humano tiende a encontrar fallas en estudios que arrojan resultados contrarios a sus creencias previas, y mientras más fuerte y arraigada es la creencia, más fuerte es la tendencia a encontrar defectos en el estudio que la contradice. En este artículo utilizo ejemplos médicos para ilustrar el fenómeno, pero este de ninguna manera es único ni peculiar a la Biomedicina.

Ted Kaptchuk (BMJ 2003;326:1453–5) explica que la calidad de cualquier hallazgo experimental debe primero ser evaluada. ¿Fue el experimento llevado a cabo de forma correcta? Hay mil y una formas en que un estudio, incluso un estudio clínico aleatorizado doblemente ciego, el llamado ‘gold standard' en Biomedicina, puede estar contaminado de tal modo que sus resultados no sean fiables. De modo que no necesariamente el que el científico rechace un hallazgo como poco fiable, implica que está barriendo la evidencia bajo la alfombra. En principio puede haber razones genuinas para cuestionar los hallazgos de un estudio que contradice creencias previas. ‘Una teoría puede chocar con la evidencia porque la evidencia esté contaminada, y no solo porque la teoría sea incorrecta', dice Feyerabend. El problema se da cuando juzgamos con mayor severidad la evidencia si riñe con nuestras creencias previas, que cuando las corrobora. Hay bastante evidencia de que en el mundo real de la investigación científica, esto es justamente lo que ocurre con regularidad.

Jan Vandenbroucke (Lancet 1998; 352: 2001–06) refiere sobre un meta-análisis publicado en 1997 (Lancet 1997; 350: 834–43) sobre estudios clínicos de la eficacia de tratamientos homeopáticos para diversas dolencias. Los autores de dicho meta-análisis hallaron que ‘los resultados de nuestro meta-análisis no son compatibles con la hipótesis de que los efectos clínicos observados de la homeopatía son exclusivamente debidos al [efecto] placebo'. Los autores explican que dicho hallazgo no es fácil de atribuir al sesgo de publicación, pues en atención al gran tamaño del efecto hallado vs. placebo, estimaron que el número de estudios hechos y no publicados con hallazgos nulos, que se requerirían para que el sesgo de publicación explicase los resultados, sería de aproximadamente mil estudios, algo muy poco probable.

En cuanto a la calidad de la evidencia, los autores indican que como todo meta-análisis, los estudios analizados son de calidad heterogénea, pero afirman que aun excluyendo los estudios de calidad cuestionable y dejando solo los de alta calidad comparable a estudios clínicos publicados en journals médicos de alto impacto, si bien se reduce el tamaño del efecto clínico de la homeopatía sobre el placebo, dicho tamaño de efecto sigue estando por encima de los umbrales de significancia estadística y de relevancia clínica. Los autores del meta-análisis afirman que ‘nuestro estudio no tiene mayores implicaciones para la práctica clínica porque hallamos poca evidencia de efectividad de cualquier enfoque homeopático individual sobre cualquier condición clínica específica… sin embargo… creemos que amerita un serio esfuerzo de investigación en homeopatía a pesar de su implausibilidad [biológica]'.

A ver, volvamos a la visión del bosque. Vandenbroucke, a través de quien llegamos a este meta-análisis, nos dice entonces: ‘Hagamos ahora un peligroso experimento mental. Imaginemos que este gráfico… [el del meta-análisis en cuestión, que muestra gran efecto de la homeopatía frente al placebo] no era sobre homeopatía, sino sobre algo en que creemos –nuestra enfermedad favorita y nuestro fármaco favorito del que estamos seguros que funciona. Si el gráfico… de todos los estudios clínicos aleatorios se mirara como el [arrojado por el meta-análisis de estudios sobre tratamientos homeopáticos], ¿qué diríamos?'. Vandenbroucke procede entonces a enunciar algunos de los argumentos auxiliares que probablemente utilizaríamos para convencernos nosotros mismos de que esa misma evidencia respalda de forma robusta la eficacia del fármaco en cuestión. ¿Ve usted el problema?

Lo anterior no es solo un juicio hipotético basado en el experimento mental propuesto por Vandenbroucke. El fenómeno ha sido puesto a prueba y la evidencia indica -¡sorpresa!-- que, efectivamente, los investigadores científicos son seres humanos y no robots. En el caso de la homeopatía, uno de los sesgos que tenemos y lleva a los investigadores a atribuir baja calidad metodológica a los estudios que hallan efectividad en dichos tratamientos, es el sesgo de plausibilidad: como no existe una hipótesis que plantee un mecanismo de acción plausible –a la luz del conocimiento existente en Biomedicina— para la homeopatía, se nos hace difícil encontrar que su aparente efectividad pueda deberse a otra cosa que al efecto placebo. En cambio, cuando confrontamos evidencia que contradice la efectividad de tratamientos cuyos mecanismos de acción teóricos nos parecen no solo plausibles sino evidentes, tendemos a ignorar dicha evidencia refutatoria y nos dejamos convencer por la evidencia corroborativa, aunque esta última sea de baja calidad. Kaptchuk ofrece como ejemplo la Terapia de Reemplazo Hormonal (HRT, siglas en inglés) para prevención cardiovascular en mujeres, intervención que venía siendo recomendada a la población femenina adulta en general a partir de la menopausia, basado en la idea de que las hormonas femeninas eran protectoras frente a la enfermedad cardiovascular, idea que a su vez surgió de una ‘paradoja': en las mujeres, a diferencia de los varones hasta los 60 años de edad, el mayor LDL plasmático está correlacionado con mayor longevidad y menor mortalidad por enfermedad cardiovascular (CVD).

Pero cuando comenzó a acumularse la evidencia –bastante robusta, consistente y de alta calidad-- de que HRT no solo no salva vidas en mujeres sino que probablemente causa muertes en el balance neto -tanto por diversos tipos de cáncer como por CVD, justamente la condición para la que por muchos años se había recomendado la intervención— gran parte de la comunidad médica por mucho tiempo se negó a aceptar la validez de los hallazgos que refutaban su bella hipótesis. El sesgo de confirmación, ve usted, es bien fuerte.

ABOGADO

‘Una teoría puede chocar con la evidencia porque la evidencia esté contaminada [...]' Feyerabend

‘[...] cuando confrontamos evidencia que contradice [...], tendemos a ignorar dicha evidencia [...]'