Como avaliar criticamente um governo e suas políticas de educação

O site não dá nota nem faz ranking de governos (ADR 0003). Esta página mostra como montar uma análise crítica com os dados e as páginas por governo, incluindo as políticas adotadas, as mantidas e as canceladas.

Esta visualização é descritiva e não demonstra que um governo causou a mudança. Ver a metodologia.

Cinco passos

Defina “sucesso” antes de olhar os números. Acesso (matrícula), permanência (abandono, atraso escolar), aprendizado (Saeb, Pisa), equidade (por renda e raça) e escolaridade dos adultos são coisas diferentes e nem sempre andam juntas. Escolha o que será medido e por quê, antes de ver qual governo “vai bem”.
Separe insumo, acesso e resultado. Gasto e lei são insumo. Matrícula é acesso. Aprendizado e conclusão são resultado. O catálogo tem muito insumo e acesso e quase nenhum resultado: sem aprendizado, não dá para dizer se a qualidade melhorou.
Respeite a defasagem. Anos médios de estudo e analfabetismo de adultos mudam sobretudo porque gerações mais novas e mais escolarizadas substituem as mais velhas: o que muda num mandato reflete décadas de matrículas. Indicadores de crianças e jovens (frequência líquida, atraso, conclusão) tendem a responder mais cedo, mas não necessariamente no mesmo ano. Por isso a tabela de variação mostra defasagens de zero a dois anos.
Compare com algo. Compare com a América Latina e os vizinhos, que estão na tabela: se todos subiram junto, a causa provavelmente não é o governo. E compare com a tendência anterior: a seção “Ritmo antes e durante” de cada página mostra se a série andava no mesmo passo antes. Só vale falar em mudança quando houve quebra de ritmo.
Para falar em impacto, só com desenho causal. Experimento, diferenças-em-diferenças, descontinuidade ou controle sintético, em estudo revisado por pares. Sem isso, a análise é descritiva. A literatura causal existe para poucas políticas (como o Fundef e o Bolsa Escola) e não para a maioria.

Políticas adotadas, mantidas e canceladas

Uma política tem uma história maior que o governo que a começou. Em cada cartão de “O que começou”, o bloco “Depois” diz o que veio a seguir: mantida, ampliada, reduzida, alterada, substituída ou encerrada, e por qual norma.

Ao avaliar uma política adotada, pergunte

Qual problema ela atacava e em que métrica ele aparecia?
Quem executa: a União, os estados ou os municípios? Se a União só induz, o resultado depende de quem aderiu.
Quando o efeito deveria aparecer, e a série já se movia nesse ritmo antes?
Houve avaliação com desenho causal? Se não houve, trate qualquer efeito como hipótese.
O que mais mudou ao mesmo tempo (renda, demografia, outras políticas, pandemia)?

Ao avaliar uma política cancelada ou substituída, pergunte

Foi encerrada por quê: avaliação negativa, mudança de prioridade, falta de recurso ou fusão com outra?
O que a substituiu e houve período de transição ou lacuna?
A política original tinha evidência de efeito, a favor ou contra? Cancelar algo sem efeito e cancelar algo que funcionava são casos diferentes.
O custo da troca: tempo de implementação, perda de equipes e de série histórica de dados.
Quem tomou a decisão: o Executivo, o Congresso ou o Judiciário?

Ao analisar um corte, pergunte

É dotação, bloqueio (contingenciamento) ou execução? O site mostra execução; um bloqueio revertido no mesmo ano não aparece.
Em valores nominais ou reais? Um valor que sobe em reais correntes pode cair em reais constantes. As séries federais do site estão em reais constantes.
O gasto é da União ou de todos os entes? A razão gasto/PIB sobe quando o PIB cai, sem que haja mais gasto.
Pago abaixo de empenhado pode ser adiamento (restos a pagar), não corte.
A que métrica o corte poderia chegar, e em quanto tempo?

Armadilhas comuns

Atribuir ao presidente o que o Congresso, o Judiciário, os estados ou o ciclo econômico fizeram. As páginas por governo indicam quando o ato foi do Congresso.
Anos com troca de presidente: dados anuais não separam os dois (a tabela sinaliza esses anos).
Mudança de metodologia ou quebra de série: compare dentro da mesma série.
Matrícula bruta acima de cem por cento (repetentes e alunos fora da idade): não é erro, mas exige cuidado.
Escolher o período, o país de comparação ou o indicador depois de ver o resultado.

Onde ver isso no site

Cada página por governo reúne: o que começou (com o destino de cada política), cortes e limites, variação das séries, ritmo antes e durante, gráficos com vizinhos, outros fatores e limitações. Alguns exemplos:

O que o site ainda não mede

Aprendizado (Saeb, Ideb, Pisa), analfabetismo funcional, dotação autorizada e bloqueio por ano, matrículas por rede e etapa antes de 2007 ou 2012, e séries por programa (Pronatec, Fies, ProUni, Pé-de-Meia). Veja a auditoria dos dados. Auditoria dos dados de educação.