Encuestadores en crisis: el futuro después del inesperado triunfo de Donald Trump

Acaso no fue la primera vez que la ciencia que mide la opinión se equivocó: sucedió con la votación del Brexit, sucedió en 2015 cuando se predijo que los israelíes estaban cansados de Benjamin Netanyahu, sucedió en 2014 cuando los republicanos obtuvieron el control del Senado y la Cámara de Representantes. Pero en 2016 fue la primera vez que en los Estados Unidos las encuestas dieron por perdedor a un candidato a la presidencia que —caramba— ganó.

El error sistemático, o correlacionado, afectó la mayoría de las encuestas. La American Association for Public Opinion Research (AAPOR, Asociación Nacional de Investigación sobre Opinión Pública) integró un comité para estudiar los resultados, que se expedirá en mayo de 2017. El presidente de AAPOR, Roger Tourangeau, dijo a Infobae que "hablar de una crisis de las encuestas es una exageración".

Coincidió con él David Dutwin, vicepresidente y encargado de metodología en la encuestadora SSRS: "He visto muchos artículos sobre la crisis de las encuestas. Y no hay dudas de que los sondeos hoy enfrentan más desafíos que nunca, pero creo que hablar de una crisis es una reacción desmedida".
Tourangeau —experto en metodología y vicepresidente de la encuestadora Westat— reconoció que "la mayor parte de las encuestas predijo un victoria de Clinton". No obstante, señaló, "los sondeos nacionales predijeron un margen de victoria de 3% a 4% en el voto popular, el cual se ubicó bastante cerca del real: aproximadamente 2% a favor de Clinton".

Ese margen de error "no es, en términos históricos, el peor de los sondeos que se ha hecho", completó Dutwin. "Es un poco más alto, pero no demasiado más alto. La diferencia principal es que los encuestadores han tenido errores en el pasado pero han predicho a la persona correcta". Hace cuatro años, recordó, las encuestas erraron en un 2% también "pero predijeron a Obama". Y en contexto, esa ha sido la historia de la encuesta política en los Estados Unidos: "Desde 1984 las encuestas han sido exitosas, salvo este error".

¿Qué pasó de diferente este año? ¿Por qué el margen de error fue el mismo pero se predijo al ganador equivocado?

Se presume que muchos indecisos se inclinaron por los republicanos, en su mayoría porque ese fue su origen o su simpatía primaria. El perfil del votante probable, a quien las encuestas ponen en su centro, omitió a muchos votantes de Trump, a quienes normalmente no les interesa la política y no han votado en las elecciones anteriores; muchos de ellos ni siquiera contestaron a las encuestas, convencidos —como les insistió su candidato— de que las elecciones estarían amañadas. También hubo votantes de Trump que no quisieron admitir que se inclinaban por el millonario, ya que la imagen negativa que se creó de sus simpatizantes —xenófobos, machistas, racistas, violentos— los avergonzaba.
Pero también la investigación trabajó datos inexactos.
Las encuestas en los distintos estados se equivocaron mucho más que las del conjunto de la población nacional. Los cambios tecnológicos afectaron la realización de los sondeos: la telefonía celular y la internet están cambiando el modo en que se realizan las predicciones electorales.

Con el Colegio Electoral, ¿importa el voto popular?

En los años electorales se pone a prueba la medición de la opinión pública como pocas veces. "Los sondeos dominan los medios y su exactitud puede ser confirmada o refutada por el resultado de la votación", explicó la AAPOR en el comunicado donde anunció el análisis de los fallos de 2016. "Las encuestas claramente se equivocaron y Donald J. Trump es el ganador que se proyecta en el Colegio Electoral. Aunque Clinton puede de hecho ganar el voto popular, su margen es mucho menor que el 3% a 4% de ventaja que indicaban las encuestas. Y muchos de los sondeos estatales sobreestimaron el nivel de apoyo a Clinton".

En un país donde el voto no es directo, sino que los delegados de cada estado definen en el Colegio Electoral quién es el presidente, las encuestas nacionales son menos importantes que las estatales.
Ese el es primer problema.
—Trump ganó por márgenes ínfimos en tres estados: Pennsylvania, Michigan y Wisconsin —señaló Tourangeau, también coautor de The Psychology of Survey Response, La psicología de la respuesta a los sondeos—. No está claro si hubo un cambio de voto de último momento en esos estados.
—Las encuestas estatales son muy difíciles —dijo Dutwin, también integrante de AAPOR e integrante del Programa para la Investigación de la Opinión y los Estudios Electorales en la Universidad de Pennsylvania—. Hoy mismo no me siento demasiado mal con respecto al resultado de las encuestas nacionales, pero no puedo decir lo mismo sobre muchas encuestas estatales. Está claro que varias encuestas estatales dieron significativamente mal.

—¿Cuáles son las dificultades específicas de las encuestas estatales?
—No cuentan con mucho dinero, no se hacen con la misma frecuencia (la última encuesta en Wisconsin comenzó en octubre y terminó al comenzar noviembre: hubo una semana entera, la última, sin encuestas en Wisconsin), el tamaño de las muestras suele ser más pequeño, el modelo de votante probable suele ser menos sofisticado. Por estas razones no son tan exactas como las nacionales, una verdad que se conoce hace décadas, aclaremos: nada cambió en ese punto esta elección. Pero ahora vimos el resultado final: en las encuestas estatales hubo un error de 5% a 6%, lamentablemente.

Una dificultad central de las encuestas electorales es que, a diferencia de las de opinión general, se hacen sobre un grupo imaginario. Explicó Dutwin: "Cuando quiero saber qué piensan los estadounidenses sobre Obamacare y quiero entrevistar a adultos de 18 años en adelante, sé exactamente quiénes son. Pero en las encuestas electorales se sondea a una población que todavía no existe: realmente nunca se sabe quién va a ir a votar. Un número importante de gente que dice que va a votar finalmente no lo hace; e inversamente, un número importante de gente que dice que no va a votar van el día de las elecciones".

En las elecciones primarias resulta todavía más complicado, porque se presenta menos gente que a una elección presidencial. "Puede ser el 20% o el 30% de los votantes registrados", agregó. "Uno trata de descifrar cuál 25% de las personas que se encuestan realmente votará en las primarias".

Los sondeos via celulares e internet: puede fallar

Las líneas fijas parecen cada vez más una reliquia del ayer: el crecimiento del uso de teléfonos celulares es abrumador. Si hace diez años el 6% de la población de los Estados Unidos tenía un móvil, en 2014 el 43% lo tenía, y el 17% lo prefería. Escribió Cliff Zukin, profesor de Políticas Públicas y Ciencia Política en la Universidad de Rutgers, en su artículo "What's the Matter With Polling?" ("¿Qué pasa con los sondeos?"): "En otras palabras, una muestra realizada únicamente sobre la base de líneas fijas dejaría de lado a tres quintas partes del público estadounidense, casi tres veces más de lo que hubiera dejado de lado en 2008".

El problema es que las normativas de la Comisión Federal de Comunicaciones prohíben el marcado automático —cuando un sistema lo hace, y el encuestador sólo interviene si alguien atiende la llamada—, de modo tal que seres humanos reales deben digitar los números de los celulares de las personas en la muestra a encuestar: "Para completar un sondeo de 1.000 personas, no es infrecuente tener que marcar más de 20.000 números aleatorios", agregó Zukin. "Marcar manualmente los celulares lleva una gran cantidad de tiempo pagado a los entrevistadores, y las encuestadoras también compensan a quienes responden con hasta USD 10 por sus minutos perdidos".

—Ante la preeminencia de teléfonos celulares se presentó la opción de encuestas más baratas pero menos exactas por internet. ¿Cómo cree usted que puede evolucionar este problema de la industria?
—Sin dudas los sondeos enfrentan muchos desafíos nuevos —enfatizó Tourangeau, que investiga sobre opinión pública y terrorismo en la Universidad de Maryland—. Por otra parte, los encuestadores han tratado de adaptarse a un mundo en cambio y todavía hay que ver cuán bien o mal les fue este año. Esa evaluación es el trabajo del grupo especial [el comité evaluador de AAPOR, que se expedirá en mayo de 2017]. Si se tiene todo en cuenta, parece que les fue bien durante las primarias. Y parecen haber actuado casi igual de bien que siempre en la elección general, aunque se equivocaron en el resultado del Colegio Electoral. Algo similar parece haber sucedido en las últimas elecciones parlamentarias en Gran Bretaña: la gente advirtió mucho más los errores —que no eran mayores que de costumbre— porque hubo una predicción errónea del resultado.

Dutwin analizó las desventajas y también las ventajas de la difusión de los celulares, "a los que ya hemos estado llamando hace más de una década", señaló, para exculparlos de los errores. "Cuantos más celulares se marca, más exacta suele ser la encuesta. Y se consiguen más jóvenes que antes. Acaso nunca usen el teléfono para llamar a sus amigos o sus novias y novios, pero cuando les suena lo atienden. Y participan como todo el mundo".

—¿El costo es mayor?
—Sí, por el marcado manual y también por la cuestión geográfica: uno puede llamar a un número cuyo código de área pertenece a Nueva York, pero la persona que atiende se ha mudado a San Francisco y no cambió el número.
—¿Qué opina de las encuestas basadas en internet?
—La fuerza de la investigación de la opinión pública, y de toda buena investigación, se basa en un principio: la aleatorización. Puedo elegir 100 personas de modo tal que representen a los 300.000.000 de habitantes: es algo asombroso, pero tal es el poder de esta ciencia. Lo que sucede con las encuestas hechas via internet es que no hay aleatorización: se trata de gente que decide unirse a un panel porque le pagan algo o porque los entretiene. No fueron elegidos de manera aleatoria: se eligieron a sí mismos. Hay gente que responde encuestas periódicamente.
—Son económicas pero fallan.
—Son de una calidad muy, muy variable. Y lo digo con cuidado: la investigación ha demostrado que a veces una encuesta de internet es altamente precisa, y otras veces son altamente inexactas. El problema es que en la mayoría de los casos no se puede saber. Se da una distorsión sistemática más amplia que en las encuestas sobre teléfonos celulares: en 2012, la más acertada fue hecha en internet, pero en 2016 no fue el caso. El desafío es cómo trabajar los datos para que sean cada vez más precisos, pero por ahora no lo son.

Las encuestas telefónicas son precisas pero caras, y las de internet son variables pero baratas: esa cuestión de recolección de datos está en el centro de los problemas de los errores que se vieron en 2016. "Hay gente que está trabajando en ensayos híbridos, con técnicas avanzadas para tratar de combinar los datos", agregó el experto en metodología de SSRS.

Último problema: cada vez menos gente responde

En su artículo para The New York Times, Zukin mencionó otra "tendencia inquietante": el porcentaje de personas que acepta contestar a las preguntas de los sondeos se ha desplomado.

"Cuando comencé a hacer encuestas telefónicas, a finales de la década de 1970 en New Jersey, considerábamos que una tasa de respuesta del 80% era aceptable, y aun así nos preocupaba si el 20% que nos perdíamos era diferente del 80% que conseguíamos en sus actitudes y sus comportamientos. Llegan las contestadotas telefónicas y otras tecnologías. Hacia 1997, la tasa de respuesta de Pew [Research Center] era de 36%, y la declinación se ha acelerado. En 2014 la tasa de respuesta ha caído al 8%", escribió.

Del 80% al 8%: la caída parece tan significativa que difícilmente se podría pensar que no afecta los resultados de las encuestas. Pues sería un error hacerlo, argumentó Dutwin, quien en pocos meses publicará un artículo de investigación sobre el tema: "Es importante advertir que si la gente que corta es la misma que la que no corta, es decir que hubieran contestado en general lo mismo que las personas que responden a la encuesta, en realidad no importa que la tasa de respuesta sea menor: de todos modos se van a obtener datos fidedignos. Y la investigación muestra que ese es el caso: las muestras siguen siendo representativas".

Citó otro análisis, de Nate Silver, "Is The Polling Industry In Stasis Or In Crisis?" ("¿La industria de los sondeos está estática o en crisis?"), donde se objetó el concepto de crisis de los sondeos: "Describió la exactitud de cada encuesta durante las elecciones presidenciales, legislativas y de gobernadores durante los 20 años pasados. Ilustró los errores en un gráfico, y son todas líneas chatas: el error no aumentó. Es muy atractivo decir que la industria del sondeo está en crisis, y no hay dudas de que la tasa de respuesta se ha reducido, pero a lo sumo lo que eso causa es que la encuesta telefónica resulte más cara de realizar, y para muchos medios es difícil absorber el costo de eso. Pero en lo que se refiere a la calidad de los datos no hay prueba de que hay más distorsión sistemática en la investigación de opinión pública", concluyó el consultor de SSRS.
—¿Cómo imagina el escenario de las próximas encuestas presidenciales en los Estados Unidos en 2020?
—Creo que va a haber más similitudes que diferencias con 2016. Todavía tendremos investigación telefónica, los medios todavía se tomarán las encuestas muy en serio, los políticos van a enamorarse de las cifras cuando son favorables para ellos y las van a odiar cuando no les muestren lo que quieren ver.
—¿Alguna lección de 2016 que se pueda aplicar?
—La industria de los sondeos es hoy mucho más introspectiva de lo que ha sido antes, y eso es algo realmente bueno. Los resultados de ese aprendizaje serán probablemente mejoras modestas, pero mejoras al fin. Las encuestas se beneficiarán de este fallo en 2016. Se puede mejorar el modelo de votante posible: preguntarle a la gente cuánta atención le presta a la campaña, si votaron hace dos años, si votaron hace cuatro, cuánto entusiasmo le causan las elecciones… Y tenemos que aprender mucho sobre cómo trabajar los sondeos estado por estado, ya que aprendimos por las malas que importa mucho, y tal vez en lugar de predecir al ganador del voto popular tendríamos que predecir al del Colegio Electoral.

LEA MÁS: