A Falsidade das Margens de Erro de Pesquisas Eleitorais Baseadas em Amostragem por Quotas

6 06 2010

Se os candidatos do PIG...

Texto motivado por ocasião do debate: “A Estatística na Pesquisa Eleitoral,” promovido pelo CONRE, no dia 26 de agosto de 2006, em São Paulo.
No sábado, dia 26 de agosto, um de nós (JFC) esteve em uma reunião promovida pelo Conselho Regional
de Estatística em São Paulo, sob título: DEBATE: A ESTATÍSTICA NA PESQUISA ELEITORAL. Foi uma festa, tudo muito bem organizado, vários amigos a se reencontrarem. O debate iniciou-se com apresentações de palestrantes ilustres: Dr Lourival dos Santos, professor da USP, que nos mostrou como as pesquisas eleitorais afetam o voto do eleitor, ilustrando o tema com a descrição de diversos casos concretos; o Dr Carlos Alberto de Bragança Pereira, também da USP, que mostrou um modo Bayesiano para estimar as proporções de votos e que, em comentário, evidenciou a tolice da proposição de um único valor para o “erro admissível” na estimação das proporções de votos. JFC pôde ficar somente na parte matinal da reunião, ainda em tempo de ouvir a palestra da colega Márcia Cavallari, diretora de pesquisas do IBOPE.
A excelente palestra de Márcia renovou o interesse por uma questão sempre presente. Vale a declaração, feita em pesquisas de intenção de voto, de que “a margem de erro é tantos por cento, para cima ou para baixo, com tal confiança”? Foi dito na palestra, que:
1. a amostragem conduzida pelo IBOPE não é probabilística; ela se baseia no esquema de quotas;
2. o esquema de quotas é usado, em que pese o reconhecimento das “vantagens” de um esquema probabilístico, por questões de tempo de execução;
3. o professor Leslie Kish, em seu livro, apresenta e justifica o emprego de amostragem por quotas;
4. houve estudo feito na Inglaterra, em que se mostrou a adequabilidade do esquema de amostragem por quotas.
5. Quando houve problemas com uma pesquisa em Brasília, o problema foi solucionado com o uso correto da amostragem probabilística que foi demorada e mais custosa.
Claro que essas citações são feitas de memória e que elas refletem apenas parte da palestra, justamente a que nos interessa para esta discussão.
As pesquisas eleitorais assumem importância fundamental no processo de eleições. Não somente balisam os candidatos, para orientarem seus trabalhos de convencimento de eleitores, mas também, como aprendemos na palestra do Prof. Lourival, podem influenciar o eleitor. São instrumentos não só de prospecção, mas também de condução do processo. Deve ser por isso que as autoridades que ordenam o processo de eleições façam exigências, como o registro de pesquisas, a nomeação de um responsável técnico e da declaração da margem de erro.
A amostragem por quotas, largamente usada em pesquisas de opinião e em pesquisas de mercado, não pode ser considerada alternativa válida à amostragem probabilística. Problemas de presteza na execução e de orçamento não servem como justificativa. O problema é que não há como se estimar parâmetros populacionais cientificamente, a partir de uma tal amostragem. As margens de erro declaradas, como admite o IBOPE, são baseadas em fórmulas de amostragem aleatória simples, a conhecida expressão para a variância, pq/n. Mas esta variância não se aplica à amostragem por quotas ou a qualquer método de amostragem não probabilística.
As justificativas apresentadas na palestra são baseadas em dois argumentos. Um é o princípio da autoridade, fundamentado em um trabalho experimental feito na Inglaterra e na opinião do professor Kish, que são apresentados, sem mais explicações, como defesas do método. O outro argumento é a presteza na execução: a amostragem aleatória demoraria demasiadamente. Não há uma justificativa matemática, logicamente correta. Infelizmente, somos obrigados a dizer que as justificativas apresentadas são, em si mesmas, falsas: a opinião publicada do professor Kish é diametralmente oposta à declarada; e bem outra é a nossa leitura do resultado de uma pesquisa empírica, conduzida na Inglaterra e publicada em 1953, que não recomenda o uso do método de quotas em pesquisas nas quais os resultados devem ser derivados por métodos propriamente respaldados pela teoria estatística de amostragem.
A pesquisa inglesa

A pesquisa empírica mencionada anteriormente é descrita no artigo de Moser e Stuart (1953) e, dados os seus objetivos, – comparar amostragem por quotas com amostragem probabilística era um deles – vale a pena focar alguns de seus resultados. O estudo foi feito face a controvérsias envolvendo pesquisas conduzidas em amostragens por quotas, na Inglaterra e Estados Unidos, já naquela época, a década de 50.
O desempenho de quatro tipos de amostras por quotas foi comparado com o de uma amostra aleatória, a partir de pesquisas realizadas em três cidades: Birmingham, Bristol e Edinburgh, no ano de 1952. Como parâmetro de avaliação, utilizaram-se as discrepâncias entre as estimativas geradas pelos métodos concorrentes e os números observados pelo censo de 1951.
Para analisar os dados referentes à distribuição por ocupação entre homens e mulheres, foram calculadas estatísticas qui-quadrado do teste de adequabilidade de ajuste, tomando-se os valores censitários como valores esperados (Moser e Stuart, 1953, página 366). Em que pese a natureza descritiva deste procedimento, os dados relativos aos homens mostraram que, das doze estimativas geradas pelo método de quotas, sete diferiam significativamente dos dados do censo, enquanto que nenhuma das três estimativas geradas pelo método probabilístico apresentou discrepância notável dos valores censitários.
Os dados referentes às mulheres não deixam por menos: das doze estimativas geradas pelo método de quotas, onze produziram números diferindo significativamente do censo, ao passo que em apenas uma das estimativas produzidas pelo método probabilístico observou-se discrepância significativa.
Em relação à variável educação, os autores se sentiram à vontade em indicar que os resultados obtidos via amostragem por quotas tendem a captar indivíduos com melhor nível de educação. Observaram ainda que, dos quatro tipos de amostragem por quotas estudados, três produziam valores discrepantes das observações censitárias por mais de dois desvios-padrões, enquanto os valores produzidos pelo método probabilístico estavam bastante próximos dos observados pelo censo.
As análises não param por aí. Foram comparados ainda dados relativos à variância das estimativas e taxas de não-resposta observadas. Obter essas informações para o método de quotas só foi possível graças à existência de replicação do plano de amostragem e orientação explícita aos entrevistadores para registrar todos os casos de recusa das entrevistas – o que não é da praxe daqueles que utilizam o método.
Os dados indicam uma tendência da amostragem por quotas a produzir variâncias (reais) de estimadores consideravelmente maiores do que as correspondentes da amostra aleatória. O mesmo ocorre no que diz
respeito a taxas de não-resposta.
Nós desconhecemos outros trabalhos de comparação desta natureza e, por isso, somos levados a crer que a citação (do estudo inglês) é do mesmo artigo.
O livro do professor Kish

O livro Survey Sampling, de Leslie Kish (1965), menciona amostragem por quotas logo no início, ao descrever os vários esquemas de amostragem. Diz o autor que este é um esquema largamente usado em pesquisas de opinião pública e em trabalhos de pesquisa de mercado. O esquema de amostragem por quotas é apenas descrito, naquela seção do livro. Depois disso, somente na página 562 volta ao assunto, agora mais detalhadamente. Kish declara textualmente:
● o método não é científico, o que torna sua avaliação impossível
● o método é artístico (sic)
● tipicamente, não se faz uma tentativa de calcular a variância adequadamente, e a expressão pq/n
é audaciosamente (sic) assumida e apresentada…
● O assunto importante continua: ninguém sabe quão bom é o desempenho de amostragem por quotas. Afinal de contas, os métodos mais pobres podem produzir bons resultados para variáveis que são aleatorizadas sobre a população.
As pesquisas do Literary Digest foram sucessos por anos. Em muitos outros casos não há como verificar-se o desempenho. Devemos deixar de lado as tentativas ingênuas de usar os controles de quotas, como idade, sexo e região, como provas de desempenho da amostragem. Verificações em variáveis que não são usadas nas quotas
freqüentemente revelam grandes discrepâncias. Além disso, predições eleitorais freqüentemente falham, algumas vezes por larga margem. Muitas dessas são convenientemente esquecidas.
Algumas transformam-se em escândalos gritantes; então trata-se de explicar os fracassos com explanações e desculpas, as quais são ignoradas enquanto não são necessárias. Não é preciso continuar a copiar o livro, para ver que, de fato, Kish é fortemente crítico à prática da amostragem por quotas.
Se nos é permitida uma citação testemunhal, não registrada, vale dizer que um de nós (CF) esteve com o professor Kish em Ann Arbor, no Michigan, em 1996. Indagado sobre exatamente esta questão, eis sua declaração: V. não leu o meu livro? Pois eu assino embaixo, até hoje, de tudo que lá está escrito sobre a questão.
Conclusão

Bem, já que não há justificativa estatística para amostragem por quota, existiria alguma outra, talvez da prática, baseada em heurística? O extenso levantamento de resultados de pesquisas eleitorais documentado no livro Pesquisa Eleitoral: Críticas e Técnicas, do professor Jorge de Sousa, da UnB, reforça a tese de que a resposta é negativa! Jorge de Sousa teve, na ocasião, fácil acesso a dados de pesquisas eleitorais realizadas no Brasil, já que era assessor legislativo do Senado Federal. O levantamento mostrou que a maioria das pesquisas errava muito além das declaradas margens de erro.
Eis então o problema posto.
Segundo a fraca lógica de algumas firmas de pesquisa de opinião, amostragem aleatória é cara e demorada, logo inviável; alternativamente, usa-se amostragem por quotas, convenientemente mais barata e mais rápida. Ocorre que não se sabe o que pode sair de uma tal pesquisa, já que os estimadores são arbitrários e injustificados. E as margens de erro declaradas não tem fundamento.
Não existe a alternativa. Estamos em uma situação como a de um paciente, que sofre de mal incurável, a quem lhe aplicam um tratamento, algum tratamento, mesmo sabendo-se que para nada serve. Isso pode configurar má-fé e, mesmo em havendo boa fé, é um erro médico. Nós achamos que a declaração da margem de erro em amostragem por quotas configura-se em um erro estatístico, aqui usando-se o termo como empregado em erro médico.
Se não se pode fazer o levantamento de modo adequado, melhor não o fazer! E se não se garante a precisão das estimativas, melhor não se divulgar algo, possivelmente errado, que pode influenciar o processo eleitoral.
É de todo recomendável que as autoridades que conduzem o processo eleitoral exijam não apenas a declaração da margem de erro, mas que demandem a prova de que a margem é mesmo aquela declarada. Francamente, duvidamos que alguém possa sensatamente calcular margens de erro (erro máximo admissível) em amostragens por quotas.
Referências
MOSER, C.A. and STUART, A. (1953) An experimental study of quota sampling, JRSS (A), 116, 349-
405.
KISH, L. (1965) Survey Sampling, John Wiley and Sons, NY
SOUZA, J. (1990) Pesquisas Eleitorais: Críticas e Técnicas; Centro Gráfico do Senado Federal, Brasília
– DF.
Autores deste texto:
José Ferreira de Carvalho
(1) Estatístico (CONRE 4414)
Professor (aposentado) de Estatística – UNICAMP
Ex-membro do Centro de Estudos de Opinião Pública (CESOP) – Unicamp
Consultor, Statistika Consultoria
carvalho@statistika.com.br
Cristiano Ferraz
(2) Estatístico
Professor de Estatística da UFPE
Coordenador do Bacharelado em Estatística da UFPE
cferraz@de.ufpe.br
Anúncios

Ações

Information

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s




%d blogueiros gostam disto: