Vacunas contra la covid-19: ¿son realmente eficaces?

Foto: Baltimore County Government

Mientras países de todo el mundo aceleran el despliegue de sus planes de vacunación, las vacunas contra la covid-19 siguen despertando dudas entre la población. ¿Hasta qué punto son efectivas estas vacunas? ¿Son totalmente ciertas las afirmaciones sobre su eficacia?

Hablamos con Bart de Langhe, profesor asociado de marketing en Esade, sobre los desafíos del big data y los peligros de centrarse en los resultados de las vacunas en términos de eficacia. "Es peligrosamente fácil malinterpretar los datos, especialmente cuando se dan en porcentajes en lugar de cifras absolutas", advierte de Langhe en Harvard Business Review.

Do Better: ¿Cómo podemos saber que las vacunas para la covid-19 son realmente efectivas?

Bart de Langhe: Cuando Pfizer anunció por primera vez que su vacuna tenía una efectividad superior al 90%, presenté los datos a mis estudiantes del Máster en Marketing, que habían recibido antecedentes sobre ensayos de control aleatorios. Me di cuenta de que prestaban mucha atención al hecho de que había más de 43.000 participantes en el estudio y que tenían perfiles muy variados.

Cuanto mayor sea la muestra, mejor, ¿verdad?

En general, sí. Pero mis alumnos no se dieron cuenta de que estos ensayos de control aleatorios fueron diseñados para examinar un evento de baja probabilidad. Esto significa que incluso si se dispone de grandes cantidades de datos, cuando se trata de un evento de baja probabilidad −por ejemplo, la probabilidad de que alguien contraiga la covid-19− el volumen de datos se reduce sustancialmente. Al final, los datos que nos deberían importar no son las más de 43.000 personas que participan en el estudio, sino la cantidad de personas en el estudio que contrajeron covid-19. Y en el momento del comunicado de prensa de Pfizer, solo 95 participantes habían dado positivo.

No parecen datos suficientes como para utilizar esta vacuna en todo el mundo.

El primer error es pensar que más de 43.000 participantes es mucho sin darse cuenta de que los datos cruciales se hallan en el pequeño subconjunto de participantes que dan positivo en la prueba. El segundo error es pensar que el pequeño subconjunto es demasiado pequeño; no lo es. Si se trata de un ensayo de control aleatorio, como el de Pfizer, por ejemplo, y se observa que la gran mayoría de las personas con covid-19 están en el grupo placebo, se puede concluir que la vacuna es eficaz y funciona. Es extremadamente poco probable que ocurran grandes diferencias en los casos confirmados entre los grupos en un ensayo aleatorizado debido a la casualidad o a cualquier otra razón que no sea la vacuna.

¿Qué no permite concluir?

No permite concluir que funciona mejor para las personas mayores que para los jóvenes. O que funciona mejor con las personas de raza blanca que con las de raza negra. O que es más eficaz con las personas que tienen diabetes que con las personas que no la tienen. Nos permite decir: en general, esta vacuna parece ser altamente eficaz, pero no se pueden hacer comparaciones más precisas. El anuncio de Pfizer fue razonable, aunque su afirmación de que su vacuna tenía "más del 90% de efectividad" fue un poco engañosa.

El primer error es pensar que más de 43.000 participantes es mucho sin darse cuenta de que los datos cruciales se hallan en el pequeño subconjunto de participantes que dan positivo en la prueba

¿Por qué es engañosa?

A pesar de que el estudio involucró a más de 43.000 participantes, solo 8 personas del grupo vacunado desarrollaron covid-19, en comparación con 86 en el grupo placebo. Esto le da una tasa de eficacia –una estimación puntual– del 90,7%. Pero existe cierta incertidumbre en torno a esa estimación puntual. En realidad, no podemos estar seguros de que sea el 90,7%. Quizás sea más baja. O más alta.

¿Cómo?

En el momento del comunicado de prensa de Pfizer, no había datos suficientes para decir con certeza que la eficacia de la vacuna era superior al 90%. No sé exactamente cuál fue su intervalo de confianza. No creo que lo hayan anunciado, pero supongo que quizás el nivel más bajo habría sido más o menos del 75%. En ese momento, no tenían los datos para hacer una afirmación tan precisa sin un intervalo. Si nos fijamos en las otras empresas farmacéuticas que anunciaron sus vacunas en las semanas siguientes, impulsaron aún más esta precisión. Y quizás se pregunte por qué la especificidad.

Cierto, ¿por qué?

Creo que esta precisión es para ser persuasivo. Cuando alguien te da un número preciso, confías más en él. Pero el problema es que la precisión socava la exactitud. No podemos observarlo, pero en algún lugar existe un porcentaje real de eficacia de la vacuna que las compañías farmacéuticas están tratando de estimar con sus ensayos. Podemos aproximarnos, pero cuanto más precisos seamos con nuestras estimaciones, menos probabilidades tendrán de ser exactas. Si digo que la eficacia de la vacuna está entre 0% y 100%, soy exacto.

Extremadamente exacto.

Pero no soy preciso y tampoco esclarecedor. Si vamos al otro extremo, como las afirmaciones de Moderna de que su vacuna tiene una eficacia del 94,5%, se es muy preciso y se da una ilusión de información porque se está perdiendo precisión. Pero es muy inexacto porque la eficacia de la vacuna puede ser del 75% según los datos que habían recopilado hasta ese momento.

Es fácil malinterpretar los números…

Creo que es peligroso, especialmente en un contexto como el de las vacunas donde un grupo considerable de personas se muestra escéptico sobre su eficacia y sus riesgos. Al hacer estas comparaciones, la gente podría llegar a la conclusión de que no quiere las vacunas con tasas de eficacia más bajas. Aunque no está en sus manos decidir qué vacuna inyectarse, sí que podría disminuir su disposición a vacunarse. Así que definitivamente existe un peligro.

Cuanto más precisos seamos con nuestras estimaciones, menos probabilidades tendrán de ser exactas

El problema de la precisión es algo que se ve por doquier en la analítica comercial y de marketing. Tendemos a comunicarnos de manera precisa y no en términos de incertidumbre. Deberíamos hacer mucho más para cuantificar la incertidumbre que tenemos en torno a nuestras estimaciones. En última instancia, si deseamos hacer buenos planes y prepararnos para el futuro en un mundo que es bastante complicado, se trata de visualizar escenarios alternativos. Si somos demasiado precisos y hacemos caso omiso de la incertidumbre, será menos probable que podamos prepararnos para el futuro.

Volviendo a las vacunas, ¿cuál sería su consejo práctico para que las personas eviten malinterpretar los datos?

Siempre que usted vea una estimación precisa, dése cuenta de que lo que la gente está tratando de hacer es estimar una cantidad incierta y pregúntese: si no hubiera observado esta estimación y yo quisiera calcular esta cantidad incierta, ¿qué datos necesitaría conocer para llegar a una estimación? Esta pregunta resalta la complejidad de todo ello: ¡no hay forma de que pueda estimar la incertidumbre con tanta precisión!

Parece imposible…

Otro ejemplo es tratar de estimar las tasas de mortalidad global debida a la covid-19; es un esfuerzo increíblemente complejo. Los científicos aún no lo han logrado. Debe darse cuenta de que no puede tomar grandes cantidades de datos al pie de la letra. Los macrodatos son a menudo pequeños datos disfrazados.

Deberíamos hacer mucho más para cuantificar la incertidumbre que tenemos en torno a nuestras estimaciones

El enorme número de personas involucradas en las redes sociales es otro ejemplo. Hay empresas que acumulan millones de seguidores, pero la verdad es que solo una fracción muy pequeña de esos millones de personas verá sus publicaciones. Y de esa pequeña fracción, solo una fracción aún más pequeña interactuará. Desde el punto de vista técnico, empiezas con más de dos mil millones de usuarios activos en Facebook pero, al final, terminas publicando para cinco personas. No estoy diciendo que las empresas no deberían preocuparse por las redes sociales, deberían, pero es fácil equivocarse con los macrodatos.

La conclusión sería: no se deje persuadir por los grandes números y no subestime el valor de los números pequeños. Los macrodatos a menudo son precisamente incorrectos. Y los datos pequeños a menudo son vagamente correctos. Y en muchas circunstancias es mejor estar vagamente en lo cierto que precisamente equivocado.

En su artículo de HBR menciona una lección vinculada al anuncio de AstraZeneca. ¿Qué sucedió?

Cuando anunciaron que su vacuna tenía “solo un 70% de efectividad” también afirmaron una tasa de eficacia del 90% basada en un pequeño subconjunto de 2.741 participantes a los que se administró un régimen de media dosis. Cuando se empiezan a mirar subconjuntos de subconjuntos de grupos grandes, los datos comienzan a hacerse demasiado pequeños. Y cuanto más pequeños son los subconjuntos que comparamos, más ruido y más incertidumbre hay, y más cautos debemos ser al hacer comparaciones.

Si AstraZeneca hubiera dicho de antemano: vamos a hacer un estudio en el que procederemos a variar el régimen de dosificación para comparar la eficacia de la dosis baja con respecto a la dosis alta, entonces tendríamos más confianza en su conclusión de que la dosis baja funciona mejor.

Cuando se empiezan a mirar subconjuntos de subconjuntos de grupos grandes, los datos comienzan a hacerse demasiado pequeños

¿Por qué no deberíamos confiar en ello ahora?

Porque no lo planearon con antelación. Hay que distinguir la predicción de la “posdicción”. Se les ocurrió la hipótesis de que el régimen de dosificación podría ser importante al analizar los datos. Cuando dividimos los datos de muchas formas, encontraremos diferencias. Todo el mundo puede hacer “posdicciones”. Es muy fácil encontrar diferencias e incluso posibles explicaciones. Pero cuando estás “posdiciendo”, es más probable que tu explicación sea solo una historia. En las historias hay un componente explicativo, pero no son explicaciones reales de por qué las cosas pudieron haber sucedido como sucedieron. Debemos estar atentos a la posdicción. Si realmente comprendemos el mundo, deberíamos ser capaces de hacer predicciones.

Así que la recomendación aquí sería: cada vez que alguien haga una predicción sobre el futuro, anótela, realice un seguimiento y, cuando el futuro haya ocurrido, verifique si fue precisa. Porque hay demasiados "gurús" que predicen lo que sucederá y luego no se les hace responsables.

Porque nadie hace un seguimiento...

Deberíamos hacer eso como organizaciones. Necesitamos desarrollar algún tipo de sistema contable de predicciones para ver si nuestras predicciones salen bien. La lección general es la de ser escépticos. No tome los macrodatos al pie de la letra, no tome los datos precisos al pie de la letra y tenga mucho cuidado con las personas que le cuentan lo que sucedió: no es lo mismo que las personas que le dicen lo que sucederá y demuestran que realmente ha sucedido.

¿Se va usted a vacunar próximamente?

En este momento, hay pruebas suficientes de que las vacunas que existen funcionan. A pesar de que la vacuna de AstraZeneca tuvo un rendimiento menor, la eficacia del 70% es similar a la de la vacuna normal contra la gripe y más alta que la establecida por la OMS. De modo que es una buena vacuna. No sé cuándo estará disponible la vacuna, pero me la pondré.