Buenas y malas encuestas

¿Qué criterios deben considerarse para evaluar una encuesta electoral? ¿Tan sólo la coincidencia entre sus mediciones y las votaciones finales, o existen detalles de metodología determinantes? ¿Qué información debe hacerse pública, y cómo pueden la ley y los medios de comunicación contribuir a ello? En esta columna para CIPER, dos expertos en el tema desarrollan puntos a los que prestarles atención en la construcción de una confianza basada en trabajo sistemático y permanente, más allá de aciertos y errores puntuales.

Entre las varias sorpresas recogidas el pasado domingo, probablemente la mayor sea cómo las vilipendiadas encuestas estimaron, con grados variables de precisión, los resultados de los comicios. Para las elecciones previas de convencionales, gobernadores y primarias presidenciales, las estimaciones de los sondeos habían sido mucho más distantes, y la opinión pública —precisamente aquella que las propias encuestas buscan medir— fue desarrollando un creciente escepticismo hacia los sondeos políticos en general. Al igual que los actores e instituciones que estos estudios evalúan periódicamente, las encuestas también han experimentado su propia crisis de confianza, aquí y en el mundo.

Un estudio de la Dirección de Estudios Sociales (DESUC) de la Universidad Católica de Chile (mayo 2021) constata que un 23% de las personas declara tener «mucha» o «bastante» confianza en las encuestas, y otro 32% reporta «algo» de confianza. Estos registros no son tan magros, si se tiene en cuenta que se trata de niveles superiores a los que se presentan en la misma investigación respecto a los tribunales de justicia, empresas, municipios y parlamentarios. Pero bien sabemos de la escasa confianza depositada en esas entidades, y que quienes responden encuestas probablemente confían más que quienes no lo hacen. De todos modos podría esperarse una cifra más alta, dado que se trata de un instrumento de medición que —en teoría— se basa en metodología y evidencia científica. Si el examen es respecto a otras referencias, tales como las universidades, cuya base de confianza recae en el saber experto, la comparación no es tan positiva (43% de las personas declara tener «mucha» o «bastante» confianza en ellas).

El cuestionamiento a las encuestas arrecia con aún más fuerza en periodos electorales álgidos; en parte porque actores y públicos con mayor identificación política contradicen sus preferencias e intereses electorales, más que porque se haga una detenida e informada evaluación de su metodología. Si por ejemplo el candidato que lidera las encuestas no es de las propias huestes, son muchos quienes resuelven su disonancia cognitiva no sólo cuestionando los resultados del sondeo, sino también la intencionalidad de este>.

Un juicio detenido nos permitiría dedicar más tiempo a discriminar entre buenas y malas encuestas, de acuerdo a su metodología y transparencia en la presentación de resultados. Ante ello, ¿qué criterios deben considerarse para evaluar una encuesta? Asimismo, ¿basta el último acierto de las encuestas electorales para revertir la opinión de sus detractores?

Ciertamente, construir la confianza en estos sondeos debe ser un trabajo sistemático y permanente.

**********

El debate público en torno a las encuestas —como tantos otros— suele partir de simplificaciones. En primer lugar, usualmente se establece una correspondencia natural entre encuestas sociales y electorales, cuando sabemos que estas últimas son un tipo específico de medición, cuyas estimaciones son difíciles de elaborar por la dificultad natural de seleccionar una muestra a partir de una población que no existe en el momento en que la encuesta se realiza (i.e. los futuros votantes). Esto supone el cálculo de la probabilidad de que quien responde vaya a votar, así como de su preferencia por un candidato.

Esta situación se torna aún más compleja por la volatilidad, fragmentación y competencia del actual escenario político. Existe en Chile una pérdida de identificación de la ciudadanía con los partidos políticos, así como la percepción generalizada de que estos no reflejan las demandas de los ciudadanos. Esto, que es propio del proceso de modernización que ha vivido Chile durante los últimos treinta años, hace que los electores sean menos leales y sus preferencias más volátiles. En elecciones presidenciales pasadas, quien terminaba ganando los comicios se posicionaba delante del resto de los candidatos en las encuestas con una ventaja considerable y mucha anticipación. Ahora no se observó eso. Los dos candidatos que llegaron a la segunda vuelta se posicionaron con pocos meses de anticipación. Apenas un par de meses atrás, José Antonio Kast no tenía oportunidad de lograrlo. Hace seis meses, Gabriel Boric no podía conseguir las firmas para inscribir su candidatura en la primaria.

En segundo lugar, una simplificación frecuente en el debate público sobre la calidad de las encuestas es centrarse solo en si acaso estiman correctamente los resultados electorales. Sin duda, ello es relevante, pero igual de importante es considerar otros «indicadores de proceso» respecto a sus procedimientos metodológicos, pues de lo contrario no se podría descartar que las estimaciones fuesen correctas por efectos del azar.

Al respecto, para el caso de las recientes elecciones, esta labor resulta difícil de ejercer debido a la falta de estandarización de reportes, lo cual impide en todos los casos extraer lecciones generales de qué hicieron bien las encuestas. La industria aún mantiene muchas cajas negras metodológicas por desclasificar. Una omisión común es no informar el modo de reclutamiento de los participantes de los paneles digitales. Otro error habitual, por ejemplo, es evaluar una encuesta sólo por la cantidad de casos o las tasas de respuestas, antes que la selección de quienes responden (que es muchísimo más importante, en particular si fueron seleccionados al azar; es decir, su carácter probabilístico). Una encuesta puede contar con miles de encuestados, pero si el reclutamiento de los participantes fue a través de métodos no probabilísticos, todas las premisas estadísticas pierden validez y no resulta posible la proyección de sus resultados a la población general [ver más en AAPOR 2013].

En muchos casos, tampoco se describe con precisión la forma en que se calculó el porcentaje de la muestra que votará en las elecciones (el llamado «votante probable»). La mayoría ni siquiera publica la base de datos para que el público pueda replicar los análisis. Tampoco la prensa ni los medios de comunicación ven siempre la necesidad de incorporar mayores detalles metodológicos ni hacer una adecuada «curadoría» al publicar los estudios.

Por último, para evaluar la calidad de las encuestas existe un punto aún más básico que los anteriores: en un escenario electoral tan móvil y competitivo como el actual, ¿qué resultados tomamos? ¿Aquellos realizados quince días antes de la elección, dada la prohibición de difundir resultados posterior a eso?

La veda legal que rige desde 2015 en Chile y que prohíbe la publicación de sondeos con preferencias electorales quince días antes de los comicios es una de las más largas del mundo, según lo reportado por ESOMAR y WAPOR, organizaciones internacionales que promueven estándares técnicos, profesionales y éticos de la práctica de encuestas. Se cree que tal prohibición es positiva debido a la supuesta influencia que las encuestas tienen en el proceso de formación de preferencias electorales. Sin embargo, una evaluación comprehensiva de esta evidencia, muestra que «mientras más natural es la situación de la evaluación, más pequeña es la influencia [de las encuestas] o la falta de influencia en absoluto», de modo que «los efectos primero que todo son mínimos, y en segundo lugar pueden ser vistos como completamente inocuos» [Donbasch 2011, p. 13]. Quienes sobreestiman los efectos de las encuestas olvidan que la decisión de voto está sujeta a múltiples otros factores.

La experiencia en otros países que han establecido similar prohibición muestra que ésta tiende a producir una situación peor que la que intenta prevenir. Tal como se advirtió con anterioridad en Chile, las encuestas se realizan igual, circulan rumores sobre sus resultados o, peor aún, estudios falsos intentan pasar por verdaderos. Cuando rige la prohibición, las encuestas no son de dominio público, no hay transparencia y es imposible verificar y evaluar los resultados completos de forma independiente.

En el caso de las recientes elecciones en Chile, algunas de las compañías que habían entregado resultados con anterioridad igualmente realizaron sondeos para «uso privado» durante el periodo de prohibición de publicación de encuestas. De no haberlo hecho, estos estudios no habrían recogido la caída de las preferencias por Kast y el alza de Sichel tras el debate de ANATEL, a pocos días de las elecciones. En otras palabras, si nos hubiéramos quedado con las encuestas publicadas antes de la prohibición, las preferencias por Kast habrían sido sobreestimadas.

Con ello, los resultados de las encuestas realizadas durante la prohibición serían consecuentes con la experiencia comparada, que ilustra que los estudios más precisos tienden a ser aquellos que se realizan más cerca del día de la elección [Traugott 2015]. Por lo tanto, y en consecuencia con lo observado en democracias avanzadas como la que aspiramos a ser, debería derogarse el artículo de la ley que restringe la libertad de publicar encuestas electorales quince días antes de los comicios.

Como producir encuestas electorales no es equivalente a preguntar por la satisfacción con los servicios bancarios o por el aroma de los jabones, se requieren estándares de transparencia más altos si las compañías quieren realizar sondeos de este tipo. Solo así se les podrá evaluar debidamente.

**********

La confianza es un concepto en boca de muchos, pero que pocos profundizan. Tomando la distinción realizada por Segovia et al. respecto a instituciones políticas, sobre la base de lo planteado por diversos autores, se puede entender que la confianza se funda en dos tipos de expectativas. La primera es la efectividad o competencia técnica percibida para cumplir con lo que se espera en el ámbito propio de experticia. La segunda refiere a la «benevolencia», o la creencia de que el actor u organización será fiel y responderá a la confianza depositada en él/ella, pues tiene la voluntad de contribuir al bien de los demás.

Si extendemos esta distinción al caso de las encuestas, para acrecentar la confianza con base en la competencia técnica, resulta necesario que las compañías interesadas en hacer encuestas electorales publiquen aún más información sobre cómo hacen sus sondeos, siguiendo indicadores estandarizados y avalados por la investigación especializada. La Asociación Americana de Opinión Pública recomienda publicar una ficha metodológica que incluya la población que el estudio intenta representar, la metodología usada para seleccionar la muestra —si fue seleccionada al azar o no—, las etapas y modos utilizados para contactar a las personas, las fechas de recolección de los datos, los márgenes de error en estudios probabilísticos, las tasas de participación según códigos específicos, los procesos de cómo se ponderan los datos, las limitaciones del diseño muestral y los cuestionarios tal como fueron aplicados, entre otros. Creemos también que la publicación de la base de datos es necesaria para verificar y evaluar los resultados completos de forma independiente.

Por su parte, para acrecentar la confianza, basada en la intencionalidad de beneficiar a otros, es sumamente relevante conocer los motivos tras la producción de sondeos electorales: ¿es la influencia política?; ¿o una estrategia para «posicionarse en el mercado»?; ¿o bien un genuino interés en utilizar los recursos a mano para informar a la población? Una pregunta relacionada es quién financia estas encuestas: ¿fondos propios u otras personas o instituciones? Por supuesto es importante declarar y transparentar eventuales conflictos de interés. Resulta complejo evaluar la neutralidad de estos estudios en el caso de compañías que mantienen contratos con determinadas candidaturas en competencia, incluso si se trata de diferentes sondeos. Así lo ilustran en el último tiempo el caso de Karina Oliva y su acuerdo con una empresa de encuestas [ver reportaje en CIPER], así como diversos productores de estos datos que figuran en los medios de comunicación en calidad de expertos «neutrales». Son situaciones que socavan la confianza en el instrumento, y que hace muy necesaria la transparencia en este ámbito.

Con todo, la derogación del periodo de prohibición de publicación de encuestas, junto a medidas adicionales que otorguen más transparencia en el reporte de la metodología usada, ayudaría a elevar la confianza en las encuestas electorales y además daría luces sobre si lo observado al respecto en la primera vuelta de la elección presidencial de 2021 es el resultado de un esfuerzo sistemático, o tan sólo una golondrina a un mes del verano.