Una de las preguntas más frecuentes que recibimos como investigadores es ¿cuál de las encuestas que salen publicadas es mejor?
La respuesta sincera a esa pregunta es “no lo sabemos”. Esto se debe a que las empresas que publican estudios de Opinión Pública tienen metodologías radicalmente diferentes. Miden cosas distintas entre poblaciones distintas, por lo cual, las comparaciones directas son complicadas y potencialmente engañosas.
Comparar las encuestas del Centro de Investigación y Estudios Políticos (CIEP UCR), de Enfoques Opinión Pública y de OPOL, y preguntar cuál es la mejor, sería equivalente a consultar el mejor entre tres autores o el mejor entre tres libros de diferentes géneros. Hay muchas cosas que hacen difícil el contraste. Lo que vamos a hacer acá es explicar con total claridad cuáles son las diferencias y que sea usted el que decida cómo hacer una lectura adecuada de los datos de cada una de ellas.
Un asunto de transparencia
Lo primero es que debemos comparar con base en lo que las mismas empresas revelan sobre cómo hacen sus encuestas. La ficha técnica es, de alguna forma, la radiografía que nos dice la salud del paciente. Acá encontramos la primera diferencia considerable.
EL CIEP UCR es el estándar de cómo se deben hacer las cosas. Publican una introducción detallada, una ficha metodológica completa, una descripción del proceso de selección, un mapa de dispersión de las personas encuestadas y finalmente una tabla con variables de comparación para que cualquier ciudadano pueda comparar su muestra con la composición del país por sexo, edad y escolaridad. El nivel de transparencia es muy alto y esto evidentemente permite hacer una lectura mejor de sus datos.
La referencia la pueden observar acá
Enfoques Opinión Pública comparte una ficha técnica resumen en una página, en la cuál brindan datos con poco detalle de su método de recolección de información:
OPOL Consultores suele presentar fichas metodológicas con cuatro datos que no explican cómo realizan la selección de las encuestas. Durante 2021 no hemos logrado obtener una sola ficha técnica completa de sus estudios. Para hacer un análisis mejor, nos basamos en la información oficial que le enviaron al Tribunal Supremo de Elecciones (TSE) en diciembre de 2017.
De este documento nos quedan más preguntas que respuestas. Se habla de 6.200 entrevistas realizadas en 8 días, por un equipo de 23 encuestadores (¿un promedio de casi 34 al día?). Una supervisión del 1% (el estándar en investigación de mercados presencial tiende hacia el 20% o 25%) y un cuestionario adonde el registro de información clave (edad exacta de la persona, lugar de residencia, etc.) quedan fuera. Es muy difícil valorar una encuesta en la cual no hay transparencia sobre cómo se realiza.
¿Cómo se comparan?
Primero la población de estudio de las tres es diferente. El CIEP analiza a las personas con teléfono celular (una buena base porque es una amplia mayoría de la población). Enfoques estudia a todos los ciudadanos, aunque queda la duda de cómo combinan o mezclan las encuestas telefónicas con las presenciales. Y OPOL no se sabe a ciencia cierta cómo eligen o aleatorizan la muestra, por lo cuál no es posible aclarar qué o a quienes están midiendo.
Tamaños de muestra
Los tres emplean tamaños de muestra adecuados. Las aproximadamente 800 encuestas que emplean tanto el CIEP como Enfoques alcanzan para obtener resultados con un margen de error teórico de cerca de 3 puntos porcentuales, con un 95% de nivel de confianza. Los miles de encuestas de OPOL podrían, en teoría aclaro, reducir este margen de error a la mitad o una tercera parte, pero esta afirmación es dependiente al 100% de la forma como obtienen la muestra. Si no hay aleatoriedad, no hay margen de error medible. Y como ya indicamos, en su caso esto no lo podemos afirmar con la información disponible.
Los resultados
Los resultados por todas las razones anteriores varían. Sin embargo, en nuestro caso particular solemos prestar especial atención al CIEP y a Enfoques, simplemente porque poseen mayor transparencia en el instrumento de medición (el cuestionario) y en las variables de control (para ver cómo está esa muestra) y por tanto permiten hacer conclusiones más adecuadas.
Esta exposición sobre metodología, la vamos a ilustrar con datos en el mes de setiembre, cuando aparezcan publicadas las siguientes encuestas de las distintas empresas de investigación.
