Entender Política

Como ler estudos

Este guia explica, em linguagem simples, como ler os estudos citados no site. Você não precisa saber estatística. Cada termo é explicado quando aparece.

A pergunta central: o que aconteceria sem a política?

Dizer que uma política "funcionou" significa comparar o que aconteceu com o que teria acontecido sem ela. Só que ninguém observa esse "sem ela". Cada tipo de estudo abaixo é uma forma diferente de estimar essa comparação, e cada um pode mostrar certas coisas e não outras.

Os tipos de estudo

Descritivo

Mostra como algo mudou ou como grupos diferem, por exemplo a renda média por ano. Pode mostrar o que aconteceu. Não mostra por quê: outras coisas mudaram ao mesmo tempo. No guia do PIB per capita, o estudo sobre desigualdade e pobreza no Brasil entre 1981 e 2004 é descritivo.

Decomposição

Divide uma mudança em partes contábeis, por exemplo quanto da queda da desigualdade veio de cada fonte de renda. É aritmética, não experimento. Diz quanto cada parte pesou na conta, mas não o que teria acontecido se aquela parte não existisse. Um exemplo está na ficha do Progresa/Oportunidades, na parte sobre desigualdade de renda.

Observacional

Compara pessoas ou lugares sem que o pesquisador controle quem recebe a política. Mostra associações. Como os grupos já podiam ser diferentes antes, não prova causa. O guia do PIB per capita traz dois exemplos, sobre renda e bem-estar declarado, que parecem apontar em direções opostas.

Experimento aleatorizado

Sorteia quem recebe a política e quem fica no grupo de comparação. Como o sorteio equilibra os grupos, uma diferença depois pode ser atribuída à política. É o desenho mais forte para mostrar causa. Limites: nem sempre é possível ou ético sortear, e o resultado pode não valer em outros lugares.

Diferenças em diferenças

Compara a mudança ao longo do tempo num grupo atingido pela política com a mudança no mesmo período num grupo não atingido. Mostra causa se os dois grupos teriam mudado de forma parecida sem a política. Essa suposição não pode ser testada por completo. O guia do PIB per capita traz um estudo parecido, que compara regiões brasileiras com cortes de tarifas de importação maiores e menores.

Regressão descontínua

Aproveita uma regra de corte, como uma renda máxima para entrar num programa. Compara quem ficou logo abaixo do corte com quem ficou logo acima, que são muito parecidos. Mostra causa, mas só para quem está perto do corte.

Controle sintético

Constrói um "gêmeo" de um país ou região combinando outros que não receberam a política, e compara os dois ao longo do tempo. É útil quando só uma unidade foi atingida. Depende de achar um bom gêmeo. O guia do PIB per capita traz exemplos, como a Zona Franca de Manaus e a reunificação alemã.

Variáveis instrumentais

Usa um fator externo que empurra as pessoas para a política, mas que não afeta o resultado por outro caminho. Mostra causa se esse fator for bem escolhido, o que é difícil de provar.

Revisão sistemática e meta-análise

Uma revisão sistemática procura e junta, com regras escritas de antemão, todos os estudos sobre uma pergunta, em vez de escolher os favoritos. Uma meta-análise combina numericamente os resultados dos estudos; muitas revisões sistemáticas incluem uma, mas nem todas. Costuma ser mais confiável que um único estudo, mas só é tão boa quanto os estudos que reúne e pode misturar programas e países diferentes. A ficha do Progresa/Oportunidades usa uma revisão sistemática sobre transferências de renda.

Como ler os números

Tamanho do efeito

É quanto o resultado mudou por causa da política, na unidade do resultado ou em comparação com a variação natural dele. Um efeito pode ser estatisticamente claro e pequeno demais para importar na vida real. Sempre pergunte "quanto?", não só "houve efeito?". No guia do PIB per capita, a estimativa de quanto a reunificação alemã reduziu o PIB per capita da Alemanha Ocidental é um tamanho de efeito.

Intervalo de confiança

Todo estudo usa uma amostra, não toda a população, então a estimativa tem incerteza. O intervalo de confiança é a faixa de valores plausíveis. Num intervalo de 95%, se repetíssemos o estudo muitas vezes, cerca de 95 intervalos em 100 conteriam o valor verdadeiro. Intervalo largo quer dizer estimativa pouco precisa. Se o intervalo inclui o zero, o estudo não consegue excluir "nenhum efeito".

Valor-p e "significativo"

O valor-p responde: se a política não tivesse efeito nenhum, com que frequência veríamos um resultado pelo menos tão grande por puro acaso? Por convenção, abaixo de 0,05 (5%) o resultado é chamado de "estatisticamente significativo". Isso não quer dizer que o efeito é grande nem importante, e um valor-p acima de 0,05 não prova que não há efeito: pode ser que o estudo fosse pequeno demais para detectá-lo. No guia do PIB per capita, um estudo não encontra impacto significativo das liberalizações econômicas mais recentes; isso não prova que o efeito foi zero.

Validade externa

É se o resultado vale fora de onde foi medido. Um programa avaliado em comunidades rurais pobres pode funcionar de outro jeito numa grande cidade ou em outro país. Por isso as fichas do site têm uma seção de validade externa. A ficha do Progresa/Oportunidades mostra um caso: o programa foi avaliado no México e o texto explica por que os resultados não se transferem automaticamente para o Brasil.

De onde vem o estudo

Revisado por pares e texto para discussão

Num artigo revisado por pares, especialistas independentes avaliam o trabalho antes da publicação numa revista científica e podem exigir correções ou recusar o texto. Um texto para discussão (working paper) circula antes dessa avaliação. Pode ser bom, mas ainda não passou pelo filtro, e sua versão final às vezes muda.

Regra do site: os guias de indicadores usam apenas estudos revisados por pares. Isso não garante que o estudo esteja certo, mas garante que passou por uma checagem externa. O site também exige um DOI, o identificador permanente do artigo, que permite a qualquer pessoa encontrá-lo. Os DOIs são conferidos na Crossref (ADR 0007).

Conflito de interesse

É quando quem fez ou pagou o estudo pode ganhar com um certo resultado, por exemplo um órgão que avalia o próprio programa. Isso não torna o estudo errado, mas é um motivo para olhar com mais atenção. Boas revistas pedem que os autores declarem financiamento e vínculos.

Nível de evidência das fichas de política e dos guias

Cada ficha de política recebe um nível, pelo tipo de estudo disponível (ADR 0007):

O nível descreve o desenho, não o resultado: uma política pode ter evidência alta de que não funciona. E afirmações de causa só aparecem onde há desenho causal.