Outro planeta

Passei esta semana em Braga, na Universidade do Minho, num Curso de Verão organizado pelo Núcleo de Investigação em Politicas Económicas, onde trabalha o meu amigo LA-C. O curso foi leccionado por Joshua Angrist, do MIT, um economista americano muito conhecido que falou sobre um conjunto de técnicas econométricas destinadas a estimar rigorosamente efeitos causais recorrendo a dados observacionais ou a corrigir problemas ocorridos em estudos experimentais onde, apesar da aleatorização dos sujeitos, não se consegue evitar que os grupos de controlo e de tratamento se seleccionem, em parte, a si próprios. Parte significativa da matemática utilizada para provar teoremas, confesso, passou-me por cima. Mas as técnicas e a sua aplicação não são especialmente complicadas e a coisa toda foi muito bem feita, bem organizada e muito estimulante.

Se falo nisto é apenas para assinalar que muitos dos trabalhos de Angrist têm como objectivo estimar as consequências de variações institucionais e de intervenções concretas nas politicas públicas. Que tipos de escolas produzem melhores resultados nos exames dos alunos? Qual o efeito da dimensão das turmas? Vale a pena avaliar os professores, e como? Que impacto têm as políticas laborais activas? Quais os efeitos do serviço militar obrigatório nos rendimentos futuros dos recrutados? E do prolongamento da escolaridade obrigatória? Etc, etc, etc. Aquilo que mais me impressionou no contacto com esta bibliografia é a compreensão da distância abissal entre a natureza do debate sobre as politicas públicas em Portugal e nos Estados Unidos. Nos EUA, a preocupação com medir os efeitos das politicas vai ao ponto de os organismos públicos organizarem frequentemente experiências. Um dos exemplos dados por Angrist foi uma experiência em Minneapolis, onde, para os casos de violência doméstica, os polícias tinham instruções para lidar com eles de formas diferentes mas aleatorizadas, de forma a que a comparação entre os efeitos das diferentes abordagens (medidos como a necessidade de regressar à mesma casa nos 6 meses seguintes) pudesse ser feita sem necessidade de excessiva preocupação com todos os outros factores que podem afectar esses efeitos. E como estas experiências há centenas.

E Portugal? Posso estar enganado. E se me dessem exemplos de uma (1) medida legislativa que tivesse sido precedida por estudos deste género eu ficava contente por me ter enganado. Mas estamos, creio, noutro planeta.

Legislativas. Eurosondagem, 25-30 Junho, N=1024, Tel.

PS: 35,1%
PSD: 33,0%
CDU: 9,7%
BE: 9,6%
CDS-PP: 7,4%
OBN: 5,2%

Aqui. Uma frase intrigante na notícia: "Registe-se ainda que neste barómetro os indecisos situam-se nos 19,5% e a taxa dos que não sabem e não respondem atinge os 16,7%."

Porto. CESOP, 22-28 Junho, N=684, Tel.

Podem descarregar aqui uma síntese dos resultados. É um bocadinho mais pesado que o costume porque tem gráficos.

Legislativas. Marktest, 16-20 Junho, N=800, Tel.

PSD: 35,8%
PS: 34,5%
BE: 13,1%
CDU: 7,7%
CDS: 4,4%
OBN: 4,5%


Aqui.

Actualização: agora que os resultados estão no site da Marktest, é possível corrigir a própria notícia da TSF linkada acima, que atribui 9,4% à CDU. Na verdade, são 7,7%. Mas ao contrário do que é sugerido num comentário muito infeliz a este post, o CDS-PP tem mesmo 4,4%. Já tinha na notícia da TSF, e continua a ter na ficha técnica da sondagem da Marktest.

Consensos e outros não tanto

"Estudos sobre o sector", mais "difusão de informação", publicação no site da ERC das fichas técnicas e iniciativa da ERC em reunir as empresas são coisas boas e foram consensuais. Mas a minha posição (e creio não estar sozinho) continua a mesma: há hipóteses em cima da mesa para explicar o que se passou; a abstenção não é a única das possíveis explicações; sem estudos, essas hipóteses nunca passarão disso mesmo.

"Freguesias-tipo"?

O único conhecimento que tenho deste assunto é pela notícia de jornal. Mas a confirmar-se a argumentação, a única coisa que posso fazer é sugerir a leitura do seguinte excerto:

"Because it is so important that the sample for an opinion poll is a true reflection of the country as a whole, the sample of constituencies for an opinion poll is checked for political balance. This is done in much the same way, by calculating the share of the votes at the last general election just in those constituencies sampled, and comparing it with the national result."

in Nick Moon. 1999. Opinion polls: history, theory and practice. Manchester: Manchester University Press, pp. 51-52 (itálicos meus, a ver se se percebe a utilização do plural).

Auditar ou proibir?

Por estar ligado à temática deste blogue, reproduzo também aqui o artigo de ontem no Público:

Em 1992, as últimas sondagens realizadas no Reino Unido apontavam para uma eleição renhida, mas com uma curta vantagem dos Trabalhistas. Contados os votos, os Conservadores tinham ganho a eleição com 7,6 pontos de vantagem, subestimada pelas sondagens em cerca de 9 pontos percentuais. Seguiu-se uma controvérsia sobre a fiabilidade das sondagens e a Market Research Society reuniu um painel de peritos para investigar o assunto. O relatório final listava as possíveis causas para o fracasso das sondagens: a inadequação das variáveis utilizadas para definir quotas ou para ponderar os resultados de amostras aleatórias, levando a uma sub-representação de eleitores Conservadores; a desactualização dos dados das estatísticas nacionais utilizados; taxas de recusa diferenciais entre eleitores Trabalhistas e Conservadores (os “shy Tories”), levando a que os segundos estivessem ainda mais sub-representados nas amostras; e opções inadequadas quer para a redistribuição de indecisos quer para tratamento de “abstencionistas declarados”. Este relatório* teve consequências importantes na forma como se passaram a fazer sondagens no Reino Unido, seja na amostragem seja na forma como se passou a lidar com os eleitores que se afirmam “indecisos” ou “abstencionistas” nas sondagens.

À luz do recente fracasso das sondagens para as eleições europeias, por que não promover uma “auditoria” semelhante em Portugal após esta e futuras eleições? As fichas técnicas divulgadas na imprensa, ou mesmo as depositadas na Entidade Reguladora para a Comunicação Social (ERC), estão longe de fornecerem toda a informação necessária para apreciar a enorme quantidade de opções técnicas e práticas adoptadas pelos diferentes institutos. Uma investigação por um painel de peritos independentes poderia abordar em detalhe, por exemplo, as opções de amostragem, a construção dos questionários, a formação dos inquiridores ou o trabalho de campo. Com os dados brutos em seu poder, esse painel poderia apreciar as consequências de opções alternativas no tratamento dos dados, nomeadamente das “não respostas” e dos “indecisos”, assim como os desvios das amostras em relação a características conhecidas da população e as maneiras de os corrigir. Não faltariam pessoas capazes de fazer este tipo de auditoria. Se porventura se considerar que a ERC não é a entidade apropriada para a promover, ou que a APODEMO (a associação representativa das empresas do sector) está demasiado próxima dos interesses das empresas, certamente que na Associação Portuguesa de Sociologia, na Associação Portuguesa de Ciência Política ou na Sociedade Portuguesa de Matemática se encontrarão especialistas para formar semelhante painel. E é sempre possível convocar peritos estrangeiros, sem qualquer ligação aos interesses corporativos, económicos ou políticos em jogo.

Creio que quase todos teriam a ganhar com isto. Para o grande público, a noção de que o trabalho das empresas seria pública e regularmente escrutinado constituiria uma garantia adicional de que as empresas teriam ainda mais incentivos do que têm hoje para fazerem o melhor que está ao seu alcance dentro dos constrangimentos existentes. E haveria também benefícios para as próprias empresas. A realização destes estudos após cada eleição poderia contribuir para levar o batalhão de comentadores que, usando regular e sistematicamente as sondagens para fazer valer os seus argumentos e preferências políticas entre eleições, se mostram logo dispostos após as eleições a declarar a “incompetência” (após os fracassos) ou a “competência” (após os sucessos) das empresas de sondagens, a proferirem as suas sentenças com um pouco mais de informação. Para quem trabalha no ramo, isto seria também uma ocasião para aprender, repensar opções metodológicas e melhorar a qualidade do trabalho. “Segredos”? Há limites para o tipo de “segredos” que pode haver numa actividade com esta importância e potencial (apesar de raramente demonstrado) impacto político. É verdade que isto não garante que as coisas iriam sempre correr bem. Em várias eleições britânicas desde 1992, os desvios das sondagens foram ainda consideráveis. Em França, depois da catástrofe de 1997, onde as sondagens foram incapazes de antecipar a derrota da direita, os vários estudos realizados não impediram um segundo fracasso em 2002, com a subestimação da votação em Le Pen. Outros exemplos destas persistentes dificuldades poderiam ser avançados. Mas até a forma como esse fracassos são lidos e interpretados poderia ser um pouco mais tranquila e racional se fossem sempre seguidos de uma abordagem transparente do que se terá passado.

A alternativa que tem sido avançada a tudo isto é a de proibir a realização e divulgação de sondagens durante a campanha. Não seríamos caso único. Mas podemos, por isso mesmo, apreciar melhor as consequências de semelhante proibição. Na verdade, seria uma medida com a qual quer os partidos quer algumas empresas do sector poderiam concordar facilmente. Muitas continuariam a poder conduzir a maior parte do trabalho que já fazem hoje nestas áreas, ou seja – especialmente em véspera de autárquicas – trabalhos para os partidos políticos. E não seria a proibição da divulgação de sondagens nas últimas duas, três ou quatro semanas antes de uma eleição que impediria alguns partidos de fazerem aquilo que já fazem hoje. Por exemplo, comparar sondagens realizadas a um mês ou mais das eleições com os resultados finais, em eleições actuais ou passadas, sempre que isso lhes for útil para a sua argumentação política. Nem os impediria de anunciar, durante a campanha, a existência de “sondagens” realizadas por si ou para si próprios, cujos resultados e métodos permaneceriam completamente opacos e inverificáveis para os eleitores.

Nunca estive seguro de que as sondagens de intenções de voto divulgadas ao longo da campanha dessem uma grande contribuição para a nossa democracia. Elas alimentam a ilusão de que os resultados podem ser sempre infalivelmente previstos e ocupam porventura excessivo espaço na cobertura das eleições, transformando-as numa “corrida de cavalos” que talvez nos afaste do essencial que deveria ser discutido numa campanha. E já perdi as derradeiras ilusões sobre a capacidade do que escrevi acima para persuadir aqueles que preferem sempre ver nas sondagens um esforço deliberado para manipular a opinião pública. No que proponho, esses verão provavelmente um esforço adicional de manipulação, disfarçando sob uma discussão técnica aquilo que julgam ser um ânimo político das sondagens contra estes ou aqueles partidos. Seja. Não se pode discutir racionalmente com quem tem interesse em, precisamente, afastar a racionalidade da discussão. Contudo, aos restantes, mesmo que sejam uma minoria, sugiro que ponderem as consequências da proibição: mais desinformação, mais opacidade e mais (em vez de menos) manipulação política da opinião pública.

*Resumido aqui, e um estudo adicional aqui.

Deputados

(Graças a comentários de leitores, rectificado. Obrigado. ):

Num comentário abaixo, sugere-se que seria interessante ver qual seria a distribuição de deputados numas legislativas se os resultados por distrito fossem exactamente iguais aos de ontem. Recorrendo ao site da RTP - que ao Ministério da Justiça, por alguma razão, não consigo aceder - é possível obter os dados por distrito. Não os tenho em base de dados, pelo que os valores foram introduzidos à mão, podendo - espero que não - haver erro de digitação. Mas com estas salvaguardas, os resultados (com a nova distribuição de deputados que está em vigor para as eleições de Setembro/Outubro) seriam os seguintes:

PSD: 96 deputados
PS: 73 deputados
CDU: 23 deputados
BE: 21 deputados
CDS: 16 deputados
MEP: 1 deputado

Estou aqui a presumir que os resultados nos círculos Europa e Fora da Europa seriam iguais aos de 2002. Em suma, neste exercício, PSD+CDS têm 112 deputados. PS+CDU+BE têm 117.

Uma das rectificações que menciono na abertura teve a ver com o MEP. De facto, com 46 deputados a serem eleitos em Lisboa, os 2,32% do MEP seriam suficientes para 1 deputado.

A outra tem a ver com os dados a que acedi de manhã no site da RTP, que estavam incorrectos. Um parágrafo que estava aqui anteriormente sobre me ter chamado a atenção o facto do BE ter ultrapassado os 10% em vários distritos a Norte do Tejo deixou de fazer sentido assim que pude ver os dados no site do MJ.

Safa. Vou mudar o nome deste blogue para A Lei de Murphy. Bem, nem isso consigo: já há.