El autor de esta columna analiza los cambios realizados en la metodología de las encuestas Plaza Pública (Cadem), y explica que “hay algo curioso en presentar una batería de controles técnicos cuando el problema de fondo nunca fue de ejecución sino de origen; no importa cuántos filtros se apliquen después si la base sobre la que se construye la condena a nacer torcida. Como se verá, cada una de las medidas tienen sentido, pero en circunstancias específicas y, en concreto, ninguna logra tocar lo que realmente hace de la encuesta Cadem una encuesta cada vez menos confiable”.

Imagen de portada: Mauricio Ávila C.

Este 11 de marzo no sólo trajo el cambio de banda presidencial, sino que también importantes cambios en la metodología de Plaza Pública (Cadem) y uno diría que tras años de ser blanco de críticas en la materia tendrían algo más elaborado para las grandilocuentes cifras que todas las semanas sobrealimentan la opinión pública. Lamentablemente lo único que se encuentran son nuevas formas de privilegiar cantidad sobre calidad. 

Y es que Plaza Pública de Cadem abandonó el diseño probabilístico para migrar a un panel online con muestreo no probabilístico por cuotas. A esto se suman otras interesantes medidas: la estratificación por macrozonas, el tamaño muestral sube de 700 a 1.000 casos, las mediciones aumentan de una a dos por semana, y la ponderación incorpora el comportamiento electoral según el padrón del SERVEL. Como contrapeso, si antes el único indicador de calidad reportado era la tasa de logro, ahora se suman controles ex ante y ex post que incluyen detección de duplicidad, filtros por velocidad de respuesta (speeders), straightlining, consistencia lógica entre respuestas, monitoreo de abandono y control de fraude automatizado.

Sin embargo, que toda esta parafernalia suene sofisticada y atingente no significa que aseguren la rigurosidad estadística que imagino exige una encuesta que determina la aprobación presidencial. Hay algo curioso en presentar una batería de controles técnicos cuando el problema de fondo nunca fue de ejecución sino de origen; no importa cuántos filtros se apliquen después si la base sobre la que se construye la condena a nacer torcida. Como se verá, cada una de las medidas tienen sentido, pero en circunstancias específicas y, en concreto, ninguna logra tocar lo que realmente hace de la encuesta Cadem una encuesta cada vez menos confiable.

NADA NUEVO BAJO EL SOL: ANTIGUAS CRÍTICAS, HOY MÁS ATINGENTES

El ahora antiguo marco muestral de la Encuesta Plaza Pública Cadem, se construía a partir de más de 18 millones de números telefónicos obtenidos mediante Random Digit Dialing (RDD), un método que genera números al azar dentro de los bloques asignados a compañías telefónicas. En teoría, esto garantizaría que cualquier persona con teléfono pudiera ser seleccionada, cumpliendo el requisito básico de un diseño probabilístico. A este diseño, en mayo de 2024 Alberto Mayol en Bio-Bio cuestionó abiertamente este aspecto específico, aludiendo principalmente a que se requiere un marco muestral sin duplicados, algo que una base de números de celular no garantiza. Tres días después, la columna tuvo una réplica por parte de Paulina Valenzuela y Jorge Fábregas en el mismo medio, que (entre que concedía puntos al sociólogo) buscaba corregir el carácter y la importancia de los muestreos probabilísticos, aunque sin atender las vacuidades que amenazaban esas preciadas características. 

Para entender la dimensión del problema, conviene precisar qué está en juego. En las encuestas probabilísticas, cada persona de la población tiene una probabilidad conocida y distinta de cero de ser seleccionada, lo que permite calcular márgenes de error y hacer inferencias estadísticamente válidas sobre el total. En una no probabilística la selección depende de criterios prácticos como cuotas o disponibilidad, lo que la hace más rápida y barata pero impide ese tipo de inferencia formal, exigiendo mayor cautela al interpretar y comunicar los resultados (para más detalles revisar Groves y Lyberg). Si bien esto no implica que los diseños no probabilísticos sean inútiles, su capacidad de generalización depende críticamente de supuestos adicionales los cuales los vuelven más vulnerables a sesgos de cobertura y de no respuesta. 

Y ese problema era ya visible en la práctica. Cadem ya acumulaba críticas como las de Francisco Cumsille, Sergio Muñoz y Carlos F. Henríquez vía Universidad  de Valparaíso, relacionadas a tasas de éxito despreciables en sus terrenos, con alrededor de un 10%. Y la ponderación posterior por variables demográficas no lograba compensar ese sesgo, pues, como señalan los académicos, «es como hacer un estudio en una sola comuna y ponderar por datos nacionales: no los convierte en información a nivel global». Si bien las tasas de respuestas han ido flexibilizando sus umbrales (cada vez menos gente responde encuestas telefónicas), no han existido esfuerzos por parte de Cadem por sopesar o reconocer las consecuencias que tienen estos índices. 

La nueva metodología posicional al Panel Cadem Online, como el marco muestral (quienes pueden ser elegidos para responder) de Plaza Pública, funciona bajo una lógica perversamente simple. Cualquier persona con acceso a internet puede registrarse voluntariamente, confirmar su correo electrónico, y comenzar a responder encuestas a cambio de puntos canjeables por gift cards y productos de grandes marcas. No hay número mínimo de encuestas que responder, no hay criterio de selección, y la participación es completamente abierta. El propio sitio lo resume sin ambigüedad: «Nuestra comunidad está abierta a todos quienes deseen compartir su opinión”.

No hay selección aleatoria de participantes, hay autorreclutamiento. El panel no representa a la población chilena porque fue diseñado para eso, sino porque Cadem aplica cuotas y ponderaciones posteriores para que parezca que sí. La diferencia no es menor: en un probabilístico, la representatividad está garantizada por el diseño desde el origen. Aquí, está construida artificialmente sobre una base de voluntarios motivados por incentivos, lo cual introduce un sesgo de perfil que ninguna ponderación puede eliminar completamente.

¿Las razones del cambio? Las formales fueron “asegurar continuidad operativa, oportunidad y sostenibilidad del estudio, aprovechando las ventajas que entregan las encuestas online y en un contexto de creciente dificultad y costo del trabajo de campo telefónico, manteniendo comparabilidad sustantiva de las series”. Las concretas parecen ser set de conveniencias económicas y comodidades operativas propias de una empresa de investigación de mercado, con todo lo peyorativo que esto significa. 

El cambio, menciona Cadem (en un documento con los detalles), incorpora resguardos metodológicos orientados a minimizar los sesgos de cobertura, no respuesta y medición. Medidas que como mencioné anteriormente, suenan bien, pero no hacen mucho. A continuación se abordarán las medidas y sus problemas puntuales:

1. Diseño de muestra controlado por cuotas/estratos y selección aleatoria dentro de celdas. 

En concreto, lo que busca realizar esta medida es generar una suerte de “selección aleatoria” entre las personas que conforman el panel, completando cuotas en función de una muestra teórica. Esto se traduce en que, semanalmente, se envía una invitación a responder a las/os panelistas elegibles. Los segmentos son sexo, edad, región (macrozona) y nivel socioeconómico. Esto busca que cada uno de estos sea “representado”. 

El punto crítico aquí es que las cuotas controlan la distribución observable de la muestra (edad, zona, NSE), pero no el sesgo de autoselección que ocurre antes de que eso siquiera importe. Quienes se registran voluntariamente en el panel Cadem Online ya son sistemáticamente distintos de quienes no lo hacen, y eso ocurre en un momento anterior a cualquier cuota. La aleatoriedad dentro de celdas es real, pero opera sobre una base de voluntarios motivados por gift cards u otros intereses personales, no sobre la población general. Es como hacer una encuesta sobre sedentarismo sorteando entre los inscritos en un gimnasio. Las cuotas pueden cuadrar perfecto con el censo (tantos hombres, tantas mujeres, tal distribución etaria, tal grupo económico) pero el solo hecho de estar ahí ya dice algo sobre quiénes son. Es una real pena que no tengamos una descripción clara de quiénes son las/os participantes del panel Cadem Online.

2. Ponderación a parámetros poblacionales oficiales 

La ponderación funciona (muy a resumidas cuentas) de la siguiente forma. Si en la muestra respondieron -por ejemplo- demasiadas mujeres y pocos hombres, se le dará más peso a las respuestas de los hombres que sí contestaron, como si cada uno valiera por varios, y menos a las mujeres. Al final, el resultado se comporta como si la proporción hubiera sido correcta desde el principio. Cadem hará eso con cinco variables: zona geográfica, género, edad, nivel socioeconómico, y una que es bastante novedosa, cómo votó cada persona en la segunda vuelta de 2025. 

Y bueno, podrán ajustar cuántos hombres, cuántas mujeres, cuántos del norte, cuántos ABC1, etcétera. En realidad, todo eso es corregible porque se puede medir y comparar con el censo. Pero hay algo que no aparece en ningún censo (ni mucho menos en la información que entrega cadem): el perfil de la persona que decide voluntariamente inscribirse en un panel de encuestas por puntos. Esa persona ya tomó una decisión que la gran mayoría de los chilenos no tomó, y esa decisión no es aleatoria.

3. Controles de calidad de datos en línea.

Los controles que describe Cadem (speeders, straightlining, preguntas de atención) son estándares de limpieza de datos, son más preocupantes que otra cosa. El escenario que buscan mitigar es, en el mejor de los casos, una confesión involuntaria. Revelan que el panel debe lidiar con personas que crean cuentas falsas, que responden en segundos sin leer, que marcan la misma opción hasta el final. Antes de preguntarse si la encuesta representa a Chile, habría que preguntarse si representa a alguien real.

EL PESO CON EL QUE CARGAMOS: TODO SEGUIRÁ IGUAL

Claramente, en el corto plazo, tanto la metodología de Cadem como los continuos reportes mediáticos de sus resultados se mantendrán a la orden del día. Por eso vale la pena nombrar abiertamente la dimensión política de todo esto. En una columna publicada en CIPER, Scherman y González advierten que los partidos han delegado en las encuestas la tarea de definir sus candidaturas presidenciales, reemplazando la discusión programática por una lógica de popularidad instantánea, mientras los medios actúan como vehículos de validación acrítica. En la misma línea, Magdalena Saldaña, también en  CIPER, añade que esto tiene consecuencias electorales concretas: si la información sobre quién va ganando es imprecisa, el votante estratégico termina tomando decisiones sobre la base de datos que son, en el mejor de los casos, aproximados, y en el peor, simplemente erróneos.

Detrás de cada porcentaje que Cadem publica hay un grupo puntual, un ejército digital de voluntarios que un día decidieron inscribirse en un panel de encuestas. En el mejor de los casos gente real, de carne y hueso, pero gente específica: con algo de tiempo libre, con acceso a internet, con alguna razón personal para opinar en voz alta. No la opinión pública. Una opinión pública. La de ellos. Y sin embargo, ahora dos veces por semana, sus respuestas se transforman en el termómetro de la nación, en el número que define si un gobierno va bien o mal, en el dato que los medios reproducen inescrupulosamente y los partidos leen como quien con desasosiego busca respuestas en el horóscopo. Chile habla, dice el titular. Y hablan ellos.

Es difícil no pensar en los breves pero contundentes escritos de Bourdieu sobre las encuestas de opinión pública, quien planteó que estas sirven para legitimar decisiones políticas y reforzar relaciones de poder bajo la apariencia de democracia cuantitativa. Sin embargo, la discusión siquiera alcanza esos niveles: antes de preguntarnos si las encuestas distorsionan la democracia, habría que preguntarse si todavía miden algo. La democracia cuantitativa no se corrompió, simplemente dejó de existir.