29/06/08: Las encuestas de opinión nacionales y su representación del país.
Comparto con ustedes algunas reflexiones sobre la representatividad de las encuestas nacionales que se publican periódicamente en diversos medios de comunicación. Este tipo de encuestas, como por ejemplo la última encuesta del Instituto de Opinión Pública de la PUCP realizada entre el 5 y 8 de junio, o la última encuesta de Ipsos Apoyo publicada en el diario El Comercio el 22 de Junio, son en realidad “encuestas nacional-urbanas”, tal y como se precisa en sus fichas técnicas respectivas. Es decir representan la opinión de la población de las principales ciudades del país (16 en el caso de Ipsos Apoyo; 14 en el caso de la encuesta de la PUCP).
El llamar a estas encuestas “nacionales”, cuando excluyen de su muestra a cerca de la mitad de la población peruana, requiere adoptar algunas precauciones importantes. Los siguientes comentarios se refieren en especial a la encuesta de la PUCP, puesto que desde el 2004 trabajo en el Instituto de Opinión Pública de dicha casa de estudios y tengo una participación directa en la elaboración de esos estudios.
Sobre el alcance de las encuestas y su nivel de representatividad
La reciente encuesta del IOP-PUCP es una encuesta "Nacional Urbana", la población objetivo que busca ser representada es la que vive en las ciudades, en concreto las 14 ciudades más importantes del país (incluyendo Lima y Callao). En esas ciudades vive el 49% del conjunto de la población peruana y el 64% de la población urbana del país. Eso quiere decir que no se está representando a cerca de la mitad de la población del país que vive ya sea en otras ciudades más pequeñas (un 27% de la población nacional) o en zonas rurales (un 24% del total nacional).
El motivo principal de esa exclusión es de carácter financiero. Se puede hacer una muestra representativa del país con unos 1200 casos (el tamaño de la muestra de la PUCP) distribuyéndola en más ciudades y zonas rurales pero sus costos resultarían bastante más elevados. Encuestas de opinión de ese tipo, con muestras distribuidas en forma más dispersa (varias provincias más, incluyendo zonas rurales) se hacen usualmente en coyunturas electorales.
La exclusión de cerca de la mitad de la población nacional en sus muestras es probablemente la limitación más seria del conjunto de encuestas de opinión regulares que se hacen el país. Las encuestas nacionales mensuales que últimamente viene publicando Ipsos Apoyo tienen casi la misma cobertura que la encuesta nacional (bianual) de la PUCP aunque con un poco menos de casos (1000). Dicho sea de paso, es necesario indicar que muchas instituciones también hacen encuestas más representativas del conjunto del país. En el caso de la PUCP ello ocurrió durante la cobertura de la campaña electoral del 2006 (encuesta de mayo del 2006) o en otros estudios e investigaciones especiales que se realizan para proyectos específicos (como la encuesta mundial de valores realizada en diciembre del 2006)
Sin embargo hay que tomar en cuenta que si bien la opinión de la gente en las grandes ciudades puede ser diferente a la del resto de localidades del país, difícilmente será diametralmente opuesta, especialmente considerando que muchos de los que viven en las ciudades mantienen vínculos constantes con gente que vive en otros lugares. Lamentablemente, la única forma de medir qué tan diferentes son estas opiniones es haciendo encuestas más amplias y representativas del conjunto del país, lo que no sucede muy a menudo. Cuando se hace se puede ver que en efecto hay diferencias importantes, pero los efectos de esas diferencias sobre el resultado “nacional” no son tan abismales como se cree.
Por ejemplo, en la Encuesta sobre la Democracia en el Perú del PNUD que se aplicó a fines del 2005, se hizo una batería de preguntas sobre el tema de la violencia política, entre ellas una consistía en averiguar si el entrevistado estaba de acuerdo con la frase “La violencia es necesaria para hacer respetar la autoridad”. Entre los entrevistados de las principales zonas urbanas del país (equivalente a las “encuestas nacional urbanas” que estamos comentando), un 26.8% estaba de acuerdo con esa frase. En contraste, en el resto de localidades, el porcentaje de personas de acuerdo con esa idea ascendía al 32.6%. Esas “otras” localidades (medianas y pequeñas ciudades o pueblos, zonas rurales) son precisamente las que normalmente no son representadas en los sondeos nacionales que publican los principales institutos de encuestas del país. La diferencia en los porcentajes asciende a 5.5% y es mayor que el margen de error estadístico para esta encuesta. Hay que decir que se trataba de una encuesta con una muestra particularmente imporante: 11,116 casos: 4565 en las grandes ciudades y 6552 en el resto del país. Sin embargo, al calcular los datos para la muestra nacional completa, el porcentaje de entrevistados que estaban de acuerdo con la frase “La violencia es necesaria para hacer respetar la autoridad” ascendía a 29.4%. En otras palabras, la diferencia entre una encuesta “nacional urbana” y otra “nacional – nacional” era de 2.6%. Al realizar la prueba de hipótesis estadística de diferencia de proporciones, uno encontraba que estas diferencias no resultaban estadísticamente significativas. La razón de ello es que el peso o ponderación de los datos tiende a acortar y a promediar las distancias entre segmentos de la población para dar una imagen del conjunto.
Cabe decir que en esa pregunta, como en la mayoría de preguntas de opinión de este tipo de la encuesta del PNUD, la principal diferencia entre las zonas “urbanas – grandes” y el resto de localidades se ubicaba en el porcentaje de “No sabe / no responde”, el cual era hasta 4 veces superior en las pequeñas localidades respecto de las ciudades. En el caso de la pregunta que hemos presentado en este ejemplo el % de “no sabe no responde” en la parte “nacional urbana” de la encuesta era de 4.9%, mientras que en la parte “medianas y pequeñas ciudades y zonas rurales” era de 16.5%.
Ojo, hay que diferenciar las encuestas de opinión de las encuestas de condiciones de vida. Sobre estas últimas se tienen datos relativamente continuos (4 veces al año por lo menos), confiables y representativos del conjunto del país gracias las Encuestas Nacionales de Hogares del INEI y de donde provienen la mayoría de las estadísticas sociales que manejamos (composición familiar, ocupación, educación, pobreza, etc).
Sobre la distribución de encuestas y la ponderación
El programa de investigaciones del Instituto de Opinión Pública de la PUCP se plantea realizar dos encuestas nacionales al año de 1200 entrevistas cada una. Para distribuir la cantidad de entrevistas entre las 14 ciudades tomamos el siguiente criterio: 500 encuestas en Lima y Callao y 700 en el resto de ciudades. La razón es que mantenemos una serie histórica de datos para la opinión pública limeña que medimos todos los meses. Para ello queremos contar con datos que tengan aproximadamente un 4% de margen de error, lo que equivale a realizar unas 500 encuestas. La muestra para el conjunto de las otras 12 ciudades de provincia tiene un margen de error de 3.7%.
El margen de error para una ciudad o zona específica varía según la cantidad de encuestas y obviamente es mayor. Por ejemplo en las ciudades del norte (Piura, Chiclayo, Trujillo, Chimbote) hacemos en total unas 320 encuestas, lo que nos da un margen de error de 5.5% para todas esas ciudades en conjunto (cada una por separado tiene un error muy alto).
Ahora entra en juego la ponderación. Si bien en Lima – Callao hacemos 500 encuestas (42% de las encuestas), estas localidades representan el 61% de la población de las 14 ciudades que forman parte de la población objetivo. Es por ello que se calcula un factor de ponderación para cada ciudad o región, lo que explica por qué la "base ponderada" de encuestas en Lima es de 730 y de ciudades de provincias 480. A pesar que en cuanto a entrevistas aplicadas la relación es inversa.
Efectos de la ponderación
La ponderación ajusta los resultados de la encuesta en función del peso que tienen los diferentes segmentos de la población en el conjunto. En el caso de las muestras nacional - urbanas, el peso de Lima es bastante alto (61%). Cuando hacemos una encuesta nacional urbano - rural, el peso de Lima-Callao debería bajar a 30% (de acuerdo con los resultados del censo del año pasado).
¿Cómo se traduce esos pesos en los resultados de la encuesta?: En el caso de la aprobación presidencial hemos registrado un 37% de aprobación por Alan García en Lima y 21% en el resto de ciudades. Para este conjunto "Nacional Urbano" el nivel de aprobación es de 31%.
Como ya es conocido, Lima "levanta" mucho a García en el promedio nacional. Si se hiciera una encuesta nacional urbano-rural, una hipótesis probable es que la aprobación de García resulte algo menor a 31%, ¿cuánto menos?
Siguiendo con el ejemplo de la aprobación presidencial (aunque la metodología debería ser aplicable para estimar cualquier otro indicador): Como sale en la última encuesta de la PUCP, la aprobación de Alan en Lima es 37% y en las demás ciudades 21%, el promedio ponderado de ambos hace 31%. Con estos datos podríamos formular la siguiente hipótesis: ¿Qué pasaría si en las otras provincias la aprobación del presidente García fuera la misma que en las ciudades de provincia incluidas en la encuesta? (una hipótesis "conservadora o media"). De acuerdo con el censo, Lima - Callao representa 30% de la población nacional, entonces tendríamos: (37x 0.30) + (21 x 0.7) = 25.8%. Si esta hipótesis fuera cierta, la muestra "nacional - urbana" de la PUCP sobrestimaría la aprobación presidencial en poco más de 5 puntos (5.2%). Ahora bien, podemos pensar en otras dos hipótesis alternativas:
H2) que en las provincias donde no se hacen encuestas la aprobación presidencial fuera menor que en las ciudades de provincia donde sí se hacen las encuestas, incrementando la sobrestimación de la aprobación presidencial de las encuestas "Nacional - urbanas" ("hipótesis alta" o "pesimista/optimista" dependiendo que la posición política del que lee los datos)
H3) También puede suceder lo contrario: que en las provicias y zonas rurales donde no se hacen encuestas normalmente, la aprobación presidencial fuera algo mayor que en las ciudades de provincias incluidas en la muestra de las encuestadoras (aunque siga siendo menor que en Lima). Eso haría que la "sobrestimación" de la aprobación presidencial producida por las encuestas "nacional - urbana" fuera menor al 5.2% mencionado anteriormente ("Hipótesis baja"). Recuerdo en las encuestas "nacionales - urbano - rurales" de las elecciones del 2006 haber encontrado mayores opiniones críticas respecto de varios temas (por ejemplo una mayor intervención del Estado en la Economía) en las ciudades de provincias grandes que en las pequeñas o incluso que en algunas zonas rurales, una razón que podría explicar eso es que los liderazgos más críticos a nivel regional tienen su base precisamente en las ciudades de provincias. El "centralismo" de la opinión pública también tiende a reproducirse en cierta medida a escala regional. En todo caso, es un tema que ameritaría mayor discusión e investigación.
Un problema para poner a prueba estas tres hipótesis (alta, conservadora o baja) es precisamente la falta de datos. No hay forma de estimar por el momento: a) si efectivamente hay sobrestimación (lo que es bastante probable); b) el tamaño de esa sobrestimación. Jugando con los números de la encuesta de la PUCP podríamos establecer límites teóricos de entre qué extremos estaría un dato de la aprobación presidencial: 65% si en todas las provincias donde no se hacen encuestas Alan García tuviera 100% de aprobación; 15.3% si en todas las provincias donde no se hacen encuestas el presidente tuviera 0% de aprobación.
Claro que estos límites son totalmente teóricos, el punto medio (que podemos tomar como punto de referencia teórico para una hipótesis media o conservadora) sería 25% de aprobación nacional. Lamentablemente como mencioné, por el momento, la información para poner a prueba esas hipótesis no existe: en términos probabilísticos, las tres hipótesis tienen la misma chance: uno puede producir argumentos coherentes, razonables y lógicos más a favor de una que de otra, igual no dejan de ser hipótesis que deben probarse empíricamente.
Otro problema adicional es el tema del margen de error. Una encuesta de 1200 casos tiene un margen de error de +/- 2.8%. Supongamos otro escenario hipotético: si hiciésemos una "real encuesta - nacional - urbana - rural" de 1200 casos, el margen de error igual sería de +/- 2.8%. Con esa cantidad de información es difícil también (en términos púramente estadísticos) alcanzar elevados niveles de precisión para poner a prueba la hipótesis de que el nivel de sobrestimación es 5.2% (hipótesis conservadora), ya que a ese cálculo hay que añadirle un +/- 2.8% de error (en realidad el margen de error para un estadístico específico implica otros cálculos algo más complejos que pueden hacer que ese error sea diferente a 2.8%). Entonces, desde una argumentación puramente "formal", la conclusión del analista que contara con los datos apropiados sería "el nivel de sobrestimación de la aprobación presidencial que hacen las encuestas nacionales - urbanas puede estar en algún punto entre 2.4% y 8%. Este es otro asunto con los datos de las encuestas, siempre tienen un margen de error (+/- X%) que miden el nivel de precisión de la metodología empleada. Si queremos reducir el margen de error de una encuesta de 2.8% a 1% habría que pasar de 1200 entrevistas a 9604 (¡ocho veces más!).
Las encuestas y la representación del país.
¿Las encuestas de opinión “regulares” dan una imagen incompleta del país?: Definitivamente sí. Es un problema que arrastran desde siempre, que es algo menor en coyunturas electorales, pero que en periodos "normales" tienden a subrepresentar el interior del país. En algunos casos sólo representan a Lima, como es sabido la mayoría de encuestas que publica la PUCP a lo largo del año se circunscriben a la capital y la razón principal es de origen financiero: producir encuestas “nacionales” es una tarea bastante costosa.
En los últimos años varias encuestadoras han tratado de superar ese problema haciendo encuestas más nacionales. Apoyo, por ejemplo, antes hacia una al año, luego dos y ahora una cada mes, restringidas a ciudades principales, pero es más que lo que había en el pasado donde la "opinión pública" era exclusivamente "limeña". Modestamente desde nuestro campo, en el Instituto de Opinión Pública de la PUCP se hace el esfuerzo de realizar por lo menos dos de esas encuestas al año.
Por lo pronto tratamos de indicar lo más claramente posible el alcance de los datos que producimos. Puede sonar a "letra chica" de los contratos decir en la ficha técnica que la encuesta es Nacional Urbana, sobre todo cuando se difunde en los medios de comunicación. Sin embargo hay que tomar en cuenta que hay también una distancia entre los resultados que arroja una encuestadora y la forma en como los medios presentan los resultados: resaltando algunos más que otros en función de su línea editorial; haciendo análisis más o menos profundos; "explicando" más o menos algunos puntos complejos (como este). Elementos sobre los cuales, de acuerdo con nuestra experiencia, los que trabajamos haciendo encuestas tenemos poco margen de control. Si bien he tratado de hacer un "rollo" lo más claro posible para discutir estos temas, es un rollo que tiene muchos más párrafos que los que entran en una nota periodística aceptable...
La discusión de si las encuestas dan una imagen distorsionada (no solo incompleta) del país es algo más debatible. Sería una gran distorsión si se asume que en el Perú solo existen las personas que viven en las 13 ciudades donde se hacen las encuestas, y que además esas personas son completamente diferentes (en sus preferencias políticas, valores o maneras de opinar) que el resto de peruanos. Creo que hay muchas razones para pensar que a pesar de las distancias (que las hay), tampoco se trata de dos realidades opuestas, sobre todo en el caso de las ciudades de provincias donde se hacen encuestas y donde no. Pero ese es una forma extrema de enfocar el problema.
Otro elemento que hay que tomar en cuenta es que la población que vive en esas ciudades es la que tiene mayores posibilidades de ser escuchada por los políticos y tiene un peso importante en influenciar la "opinión nacional", en razón de la importancia demográfica, electoral y económica de estas ciudades. En tal sentido, las encuestas están reflejando también una correlación de fuerzas que siendo excluyente, no deja también de ser real y actuante. ¿Al reflejar esa correlación de fuerzas se contribuye a mantenerla o reproducirla?, sí hasta cierto punto, pero esa correlación no es generada por las encuestas sino por las estructuras sociales, económicas y políticas del país, donde hay otros actores y componentes que tienen muchísimo mayor poder que las encuestas para fijar relaciones de poder o sentidos comunes (como los medios de comunicación por ejemplo). Este argumento no busca ser una justificación de por qué habitualmente se excluyen de las muestras las medianas y pequeñas ciudades y las zonas rurales. Como dije, la justificación es básicamente de carácter financiero. El objetivo de este argumento es indicar qué tipo de realidad social y política están reflejando las muestras de las encuestas para precisar su alcance con mayores elementos.
¿Deben las encuestas ayudar a representar mejor a los no representados?, creo que sí, tanto por necesidades de comprensión de la realidad (una necesidad científica para mí) como de promover mayor democracia (una responsabilidad ética, también para mí). Sin embargo ahí entra a tallar el tema de los recursos para hacer encuestas y por el momento no son todos los que quisiéramos tener. Por otro lado, más allá de las encuestadoras, creo que son los partidos y los liderazgos políticos y sociales quienes tienen la principal labor de representar a los peruanos, sin olvidar también que los medios tienen un poder mucho mayor para construir imágenes colectivas (distorsionadas o no) que las que pueden tener las encuestas que son leídas con atención por un público relativamente pequeño de personas.
El llamar a estas encuestas “nacionales”, cuando excluyen de su muestra a cerca de la mitad de la población peruana, requiere adoptar algunas precauciones importantes. Los siguientes comentarios se refieren en especial a la encuesta de la PUCP, puesto que desde el 2004 trabajo en el Instituto de Opinión Pública de dicha casa de estudios y tengo una participación directa en la elaboración de esos estudios.
Sobre el alcance de las encuestas y su nivel de representatividad
La reciente encuesta del IOP-PUCP es una encuesta "Nacional Urbana", la población objetivo que busca ser representada es la que vive en las ciudades, en concreto las 14 ciudades más importantes del país (incluyendo Lima y Callao). En esas ciudades vive el 49% del conjunto de la población peruana y el 64% de la población urbana del país. Eso quiere decir que no se está representando a cerca de la mitad de la población del país que vive ya sea en otras ciudades más pequeñas (un 27% de la población nacional) o en zonas rurales (un 24% del total nacional).
El motivo principal de esa exclusión es de carácter financiero. Se puede hacer una muestra representativa del país con unos 1200 casos (el tamaño de la muestra de la PUCP) distribuyéndola en más ciudades y zonas rurales pero sus costos resultarían bastante más elevados. Encuestas de opinión de ese tipo, con muestras distribuidas en forma más dispersa (varias provincias más, incluyendo zonas rurales) se hacen usualmente en coyunturas electorales.
La exclusión de cerca de la mitad de la población nacional en sus muestras es probablemente la limitación más seria del conjunto de encuestas de opinión regulares que se hacen el país. Las encuestas nacionales mensuales que últimamente viene publicando Ipsos Apoyo tienen casi la misma cobertura que la encuesta nacional (bianual) de la PUCP aunque con un poco menos de casos (1000). Dicho sea de paso, es necesario indicar que muchas instituciones también hacen encuestas más representativas del conjunto del país. En el caso de la PUCP ello ocurrió durante la cobertura de la campaña electoral del 2006 (encuesta de mayo del 2006) o en otros estudios e investigaciones especiales que se realizan para proyectos específicos (como la encuesta mundial de valores realizada en diciembre del 2006)
Sin embargo hay que tomar en cuenta que si bien la opinión de la gente en las grandes ciudades puede ser diferente a la del resto de localidades del país, difícilmente será diametralmente opuesta, especialmente considerando que muchos de los que viven en las ciudades mantienen vínculos constantes con gente que vive en otros lugares. Lamentablemente, la única forma de medir qué tan diferentes son estas opiniones es haciendo encuestas más amplias y representativas del conjunto del país, lo que no sucede muy a menudo. Cuando se hace se puede ver que en efecto hay diferencias importantes, pero los efectos de esas diferencias sobre el resultado “nacional” no son tan abismales como se cree.
Por ejemplo, en la Encuesta sobre la Democracia en el Perú del PNUD que se aplicó a fines del 2005, se hizo una batería de preguntas sobre el tema de la violencia política, entre ellas una consistía en averiguar si el entrevistado estaba de acuerdo con la frase “La violencia es necesaria para hacer respetar la autoridad”. Entre los entrevistados de las principales zonas urbanas del país (equivalente a las “encuestas nacional urbanas” que estamos comentando), un 26.8% estaba de acuerdo con esa frase. En contraste, en el resto de localidades, el porcentaje de personas de acuerdo con esa idea ascendía al 32.6%. Esas “otras” localidades (medianas y pequeñas ciudades o pueblos, zonas rurales) son precisamente las que normalmente no son representadas en los sondeos nacionales que publican los principales institutos de encuestas del país. La diferencia en los porcentajes asciende a 5.5% y es mayor que el margen de error estadístico para esta encuesta. Hay que decir que se trataba de una encuesta con una muestra particularmente imporante: 11,116 casos: 4565 en las grandes ciudades y 6552 en el resto del país. Sin embargo, al calcular los datos para la muestra nacional completa, el porcentaje de entrevistados que estaban de acuerdo con la frase “La violencia es necesaria para hacer respetar la autoridad” ascendía a 29.4%. En otras palabras, la diferencia entre una encuesta “nacional urbana” y otra “nacional – nacional” era de 2.6%. Al realizar la prueba de hipótesis estadística de diferencia de proporciones, uno encontraba que estas diferencias no resultaban estadísticamente significativas. La razón de ello es que el peso o ponderación de los datos tiende a acortar y a promediar las distancias entre segmentos de la población para dar una imagen del conjunto.
Cabe decir que en esa pregunta, como en la mayoría de preguntas de opinión de este tipo de la encuesta del PNUD, la principal diferencia entre las zonas “urbanas – grandes” y el resto de localidades se ubicaba en el porcentaje de “No sabe / no responde”, el cual era hasta 4 veces superior en las pequeñas localidades respecto de las ciudades. En el caso de la pregunta que hemos presentado en este ejemplo el % de “no sabe no responde” en la parte “nacional urbana” de la encuesta era de 4.9%, mientras que en la parte “medianas y pequeñas ciudades y zonas rurales” era de 16.5%.
Ojo, hay que diferenciar las encuestas de opinión de las encuestas de condiciones de vida. Sobre estas últimas se tienen datos relativamente continuos (4 veces al año por lo menos), confiables y representativos del conjunto del país gracias las Encuestas Nacionales de Hogares del INEI y de donde provienen la mayoría de las estadísticas sociales que manejamos (composición familiar, ocupación, educación, pobreza, etc).
Sobre la distribución de encuestas y la ponderación
El programa de investigaciones del Instituto de Opinión Pública de la PUCP se plantea realizar dos encuestas nacionales al año de 1200 entrevistas cada una. Para distribuir la cantidad de entrevistas entre las 14 ciudades tomamos el siguiente criterio: 500 encuestas en Lima y Callao y 700 en el resto de ciudades. La razón es que mantenemos una serie histórica de datos para la opinión pública limeña que medimos todos los meses. Para ello queremos contar con datos que tengan aproximadamente un 4% de margen de error, lo que equivale a realizar unas 500 encuestas. La muestra para el conjunto de las otras 12 ciudades de provincia tiene un margen de error de 3.7%.
El margen de error para una ciudad o zona específica varía según la cantidad de encuestas y obviamente es mayor. Por ejemplo en las ciudades del norte (Piura, Chiclayo, Trujillo, Chimbote) hacemos en total unas 320 encuestas, lo que nos da un margen de error de 5.5% para todas esas ciudades en conjunto (cada una por separado tiene un error muy alto).
Ahora entra en juego la ponderación. Si bien en Lima – Callao hacemos 500 encuestas (42% de las encuestas), estas localidades representan el 61% de la población de las 14 ciudades que forman parte de la población objetivo. Es por ello que se calcula un factor de ponderación para cada ciudad o región, lo que explica por qué la "base ponderada" de encuestas en Lima es de 730 y de ciudades de provincias 480. A pesar que en cuanto a entrevistas aplicadas la relación es inversa.
Efectos de la ponderación
La ponderación ajusta los resultados de la encuesta en función del peso que tienen los diferentes segmentos de la población en el conjunto. En el caso de las muestras nacional - urbanas, el peso de Lima es bastante alto (61%). Cuando hacemos una encuesta nacional urbano - rural, el peso de Lima-Callao debería bajar a 30% (de acuerdo con los resultados del censo del año pasado).
¿Cómo se traduce esos pesos en los resultados de la encuesta?: En el caso de la aprobación presidencial hemos registrado un 37% de aprobación por Alan García en Lima y 21% en el resto de ciudades. Para este conjunto "Nacional Urbano" el nivel de aprobación es de 31%.
Como ya es conocido, Lima "levanta" mucho a García en el promedio nacional. Si se hiciera una encuesta nacional urbano-rural, una hipótesis probable es que la aprobación de García resulte algo menor a 31%, ¿cuánto menos?
Siguiendo con el ejemplo de la aprobación presidencial (aunque la metodología debería ser aplicable para estimar cualquier otro indicador): Como sale en la última encuesta de la PUCP, la aprobación de Alan en Lima es 37% y en las demás ciudades 21%, el promedio ponderado de ambos hace 31%. Con estos datos podríamos formular la siguiente hipótesis: ¿Qué pasaría si en las otras provincias la aprobación del presidente García fuera la misma que en las ciudades de provincia incluidas en la encuesta? (una hipótesis "conservadora o media"). De acuerdo con el censo, Lima - Callao representa 30% de la población nacional, entonces tendríamos: (37x 0.30) + (21 x 0.7) = 25.8%. Si esta hipótesis fuera cierta, la muestra "nacional - urbana" de la PUCP sobrestimaría la aprobación presidencial en poco más de 5 puntos (5.2%). Ahora bien, podemos pensar en otras dos hipótesis alternativas:
H2) que en las provincias donde no se hacen encuestas la aprobación presidencial fuera menor que en las ciudades de provincia donde sí se hacen las encuestas, incrementando la sobrestimación de la aprobación presidencial de las encuestas "Nacional - urbanas" ("hipótesis alta" o "pesimista/optimista" dependiendo que la posición política del que lee los datos)
H3) También puede suceder lo contrario: que en las provicias y zonas rurales donde no se hacen encuestas normalmente, la aprobación presidencial fuera algo mayor que en las ciudades de provincias incluidas en la muestra de las encuestadoras (aunque siga siendo menor que en Lima). Eso haría que la "sobrestimación" de la aprobación presidencial producida por las encuestas "nacional - urbana" fuera menor al 5.2% mencionado anteriormente ("Hipótesis baja"). Recuerdo en las encuestas "nacionales - urbano - rurales" de las elecciones del 2006 haber encontrado mayores opiniones críticas respecto de varios temas (por ejemplo una mayor intervención del Estado en la Economía) en las ciudades de provincias grandes que en las pequeñas o incluso que en algunas zonas rurales, una razón que podría explicar eso es que los liderazgos más críticos a nivel regional tienen su base precisamente en las ciudades de provincias. El "centralismo" de la opinión pública también tiende a reproducirse en cierta medida a escala regional. En todo caso, es un tema que ameritaría mayor discusión e investigación.
Un problema para poner a prueba estas tres hipótesis (alta, conservadora o baja) es precisamente la falta de datos. No hay forma de estimar por el momento: a) si efectivamente hay sobrestimación (lo que es bastante probable); b) el tamaño de esa sobrestimación. Jugando con los números de la encuesta de la PUCP podríamos establecer límites teóricos de entre qué extremos estaría un dato de la aprobación presidencial: 65% si en todas las provincias donde no se hacen encuestas Alan García tuviera 100% de aprobación; 15.3% si en todas las provincias donde no se hacen encuestas el presidente tuviera 0% de aprobación.
Claro que estos límites son totalmente teóricos, el punto medio (que podemos tomar como punto de referencia teórico para una hipótesis media o conservadora) sería 25% de aprobación nacional. Lamentablemente como mencioné, por el momento, la información para poner a prueba esas hipótesis no existe: en términos probabilísticos, las tres hipótesis tienen la misma chance: uno puede producir argumentos coherentes, razonables y lógicos más a favor de una que de otra, igual no dejan de ser hipótesis que deben probarse empíricamente.
Otro problema adicional es el tema del margen de error. Una encuesta de 1200 casos tiene un margen de error de +/- 2.8%. Supongamos otro escenario hipotético: si hiciésemos una "real encuesta - nacional - urbana - rural" de 1200 casos, el margen de error igual sería de +/- 2.8%. Con esa cantidad de información es difícil también (en términos púramente estadísticos) alcanzar elevados niveles de precisión para poner a prueba la hipótesis de que el nivel de sobrestimación es 5.2% (hipótesis conservadora), ya que a ese cálculo hay que añadirle un +/- 2.8% de error (en realidad el margen de error para un estadístico específico implica otros cálculos algo más complejos que pueden hacer que ese error sea diferente a 2.8%). Entonces, desde una argumentación puramente "formal", la conclusión del analista que contara con los datos apropiados sería "el nivel de sobrestimación de la aprobación presidencial que hacen las encuestas nacionales - urbanas puede estar en algún punto entre 2.4% y 8%. Este es otro asunto con los datos de las encuestas, siempre tienen un margen de error (+/- X%) que miden el nivel de precisión de la metodología empleada. Si queremos reducir el margen de error de una encuesta de 2.8% a 1% habría que pasar de 1200 entrevistas a 9604 (¡ocho veces más!).
Las encuestas y la representación del país.
¿Las encuestas de opinión “regulares” dan una imagen incompleta del país?: Definitivamente sí. Es un problema que arrastran desde siempre, que es algo menor en coyunturas electorales, pero que en periodos "normales" tienden a subrepresentar el interior del país. En algunos casos sólo representan a Lima, como es sabido la mayoría de encuestas que publica la PUCP a lo largo del año se circunscriben a la capital y la razón principal es de origen financiero: producir encuestas “nacionales” es una tarea bastante costosa.
En los últimos años varias encuestadoras han tratado de superar ese problema haciendo encuestas más nacionales. Apoyo, por ejemplo, antes hacia una al año, luego dos y ahora una cada mes, restringidas a ciudades principales, pero es más que lo que había en el pasado donde la "opinión pública" era exclusivamente "limeña". Modestamente desde nuestro campo, en el Instituto de Opinión Pública de la PUCP se hace el esfuerzo de realizar por lo menos dos de esas encuestas al año.
Por lo pronto tratamos de indicar lo más claramente posible el alcance de los datos que producimos. Puede sonar a "letra chica" de los contratos decir en la ficha técnica que la encuesta es Nacional Urbana, sobre todo cuando se difunde en los medios de comunicación. Sin embargo hay que tomar en cuenta que hay también una distancia entre los resultados que arroja una encuestadora y la forma en como los medios presentan los resultados: resaltando algunos más que otros en función de su línea editorial; haciendo análisis más o menos profundos; "explicando" más o menos algunos puntos complejos (como este). Elementos sobre los cuales, de acuerdo con nuestra experiencia, los que trabajamos haciendo encuestas tenemos poco margen de control. Si bien he tratado de hacer un "rollo" lo más claro posible para discutir estos temas, es un rollo que tiene muchos más párrafos que los que entran en una nota periodística aceptable...
La discusión de si las encuestas dan una imagen distorsionada (no solo incompleta) del país es algo más debatible. Sería una gran distorsión si se asume que en el Perú solo existen las personas que viven en las 13 ciudades donde se hacen las encuestas, y que además esas personas son completamente diferentes (en sus preferencias políticas, valores o maneras de opinar) que el resto de peruanos. Creo que hay muchas razones para pensar que a pesar de las distancias (que las hay), tampoco se trata de dos realidades opuestas, sobre todo en el caso de las ciudades de provincias donde se hacen encuestas y donde no. Pero ese es una forma extrema de enfocar el problema.
Otro elemento que hay que tomar en cuenta es que la población que vive en esas ciudades es la que tiene mayores posibilidades de ser escuchada por los políticos y tiene un peso importante en influenciar la "opinión nacional", en razón de la importancia demográfica, electoral y económica de estas ciudades. En tal sentido, las encuestas están reflejando también una correlación de fuerzas que siendo excluyente, no deja también de ser real y actuante. ¿Al reflejar esa correlación de fuerzas se contribuye a mantenerla o reproducirla?, sí hasta cierto punto, pero esa correlación no es generada por las encuestas sino por las estructuras sociales, económicas y políticas del país, donde hay otros actores y componentes que tienen muchísimo mayor poder que las encuestas para fijar relaciones de poder o sentidos comunes (como los medios de comunicación por ejemplo). Este argumento no busca ser una justificación de por qué habitualmente se excluyen de las muestras las medianas y pequeñas ciudades y las zonas rurales. Como dije, la justificación es básicamente de carácter financiero. El objetivo de este argumento es indicar qué tipo de realidad social y política están reflejando las muestras de las encuestas para precisar su alcance con mayores elementos.
¿Deben las encuestas ayudar a representar mejor a los no representados?, creo que sí, tanto por necesidades de comprensión de la realidad (una necesidad científica para mí) como de promover mayor democracia (una responsabilidad ética, también para mí). Sin embargo ahí entra a tallar el tema de los recursos para hacer encuestas y por el momento no son todos los que quisiéramos tener. Por otro lado, más allá de las encuestadoras, creo que son los partidos y los liderazgos políticos y sociales quienes tienen la principal labor de representar a los peruanos, sin olvidar también que los medios tienen un poder mucho mayor para construir imágenes colectivas (distorsionadas o no) que las que pueden tener las encuestas que son leídas con atención por un público relativamente pequeño de personas.
Etiquetas :
Total de Votos: 5 - Rating: 4.20
Ingrese su correo electrónico para suscribirse a los comentarios de este artículo:
