povertyactionlab.org Avaliação das políticas públicas de desenvolvimento e de combate à pobreza William Parienté- JPAL/PSE ENA – Paris 18 de junho de 2009

Sumário Introdução : diferentes tipos de avaliação Problema da avaliação de impacto Por que o método é importante? Interesse das avaliações para as políticas de desenvolvimento e decombate à pobreza Exemplos: –Educação e Saúde : Progresa no México –Efeito do microcrédito na Índia –Políticas pró-emprego na França

Objetivo de uma avaliação Prestar contas -Foi efetuado o que devia ser feito? -Houve um efeito positivo sobre os beneficiários do programa ou da política? Aprendizagem –Alguns programas funcionam ou não funcionam –Qual o meio mais eficaz de atingir certos resultados? –Há possibilidade de generalização? Diferenças/similitudes de algumas estratégias em diferentes lugares Melhora do impacto no combate à pobreza graças a programas mais eficazes

Exemplo : fornecimento de livros escolares Livros fornecidos Livros utilizados As notas são melhores Nível fracoPoucos livros As crianças os acham úteis Não podem ser levados para a casa ONG compra livros Outros impactos Crianças pobres do Quenia

Diferentes tipos de avaliação Avaliação das necessidades necessidades Avaliaçãodoimpacto Avaliação do procedimento

Avaliação das necessidades Qual a natureza do problema a ser resolvido? –Ex: saúde, grau de instrução, etc.. –Como o programa vai resolvê-lo? Qual a população-alvo? –Quem está inserido no programa? Aqueles que mais necessitam dele? –Ex : as crianças mais pobres e menos saudáveis, as turmas em que as notas são as mais baixas? Absenteísmo elevado? Em que contexto se insere o programa? - Há uma necessidade? Necessidades não satisfeitas por outros meios.

Avaliação de Procedimento O programa é bem gerenciado? –Quais são os serviços/programas desenvolvidos para responder às necessidades? –Há efetivo fornecimento? Ex : material escolar Alvo –Fornecimento às populações alvo? Ex : fornecimento àqueles que efetivamente são mais necessitados O programa é utilisado ? –Ex : livros utilisados

Avaliação de Impacto Questão primordial : Houve um impacto? Questões auxiliares: –Qual a natureza do benefício ? exemplo: houve melhora nas notas ? Os alunos estão faltando menos? –Alguns são mais beneficiados do que outros?

Análise Custo-Benefício AnáliseCusto-Benefício Avaliação do procedimentoAvaliação de impacto Avaliação da da necessidade necessidade

Análise Custo-Benefício Por que os 3 elementos são necessários para a análise custo-benefício? A avaliação de impacto trata dos benefícios A avaliação do procedimento permite uma quantificação dos custos A avaliação da necessidade encontra o objetivo almejado

Nesta apresentação Centrar-se-á na avaliação de impacto: Por quê? Sabe-se supreendentemente pouco sobre o que realmente funciona: –Multiplicação das intervenções públicas em diversos campos –Escassez dos recursos disponíveis –Ampliação ou abandono de programas com base em critérios subjetivos –Muitos programas dispendiosos e ineficazes Frequentemente, apreciação conflituosa sobre a eficácia do programa –É necessãrio trazer elementos de evidência

tempo t = t = 1 PROGRAMA O programa trouxe uma mudança? (Observado) Sucesso escolar = Impacto? = 1

tempo t = 0 t = 1 X O que aconteceria na ausência do programa? (Observado) Sucesso escolar Impacto: 3 – X 3 2 (Não observável)

A dificuldade da avaliação de impacto Deve-se saber o que teria acontecido na ausência do programa (X, o counterfactual) Mas como saber o que teria ocorrido se o programa não tivesse acontecido? –Ou o programa é realizado, ou ele não é –Não se pode observar as duas situações ao mesmo tempo O problema fundamental da avaliação de impacto é, assim, um problema de ausência de dados Uma avaliação de impacto só é correta se a estimativa de X for correta Toda a dificuldade da avaliação de impacto consiste em reconstruir X corretamente

Como reconstruir X? Estratégia principal: – Utilisar os dados em um grupo de não beneficiários (um grupo de controle) Questão central: –Como escolher um bom grupo de controle?

tempo t = 0 t = 1 (beneficiários) (não beneficiários) Impacto: 3 – 2.4 Reconstruir X com a ajuda de um grupo de controle Sucesso escolar Grupo tratado Grupo de controle

Como escolher o grupo de controle? É possível que os não beneficiários sejam bem diferentes dos beneficiários. Por que? –Os programas visam frequentemente uma população de acordo com um ou vários critérios bem definidos (pobreza, escolarização, etc.) –As pessoas decidem participar ou não (Aquelas que decidem participar são no geral mais motivadas?) Diferença sutil, difícil de ser observada (a motivação, o acesso à informação) Se os não beneficiários são diferentes, então eles não representam um bom counterfactual A comparação sofrerá um desvio em função da seleção dos beneficiários. –Desvio de seleção

tempo t = 0 t = 1 Graficamente: O desvio de seleção Grupo de controle Grupo tratado Sucesso escolar

Como corrigir o desvio de seleção? Reconhecer que o grupo de controle era diferente (neste caso: melhor) no início Observar a trajetório do grupo de controle ao longo do tempo para prever a trajetória do grupo tratado –Não comparar níveis absolutos, mas níveis relativos (relativos à performance inicial de cada grupo) –É o que se denomina difference-in- differences

tempo t = 0 t = 1 Difference-in-differences Impacto Sucesso escolar Grupo de controle Grupo tratado X 3 2

Difference-in-differences Método a seguir: 1.Coletar dados iniciais relativos a cada grupo antes do início do programa. 2.Coletar dados relativos a cada grupo depois da realização do programa. 3.Calcular a diferença depois-antes para cada grupo 4.Subtrair a diferença observada no grupo de controle daquela observada no grupo tratado. GrupoAntesDepoisDiferença Depois-Antes 1.Grupo Tratado Grupo de Controle Impacto =

Isso é suficiente? Este método se baseia em uma forte hipótese: –Ele supõe que a trajetória do grupo tratado teria sido paralela à trajetória do grupo de controle na ausência do programa

tempo t = 0 t = 1 Difference-in-Differences Impacto Sucesso escolar

Como ter certeza de que o grupo de controle é um bom counterfactual? Situação ideal: Escolha aleatória = Dividir aleatoriamente os indivíduos em dois grupos Identificar um conjunto de pessoas que satisfaçam todos os requisitos de seleção exigidos pelo novo programa Escolher aleatoriamente a metade das pessoas que participarão do programa («grupo tratado»); A outra metade («grupo de controle») participará do programa mais tarde e, enquanto isso, servirá de referencial para a comparação A escolha aleatória possibilita a obtenção de um grupo de controle realmente similar ao grupo tratado –Elimina todos os desvios de seleção –Por quê?

Método aleatório (randomizado) Fundamenta-se na lei dos grandes números –Pegue 1000 pessoas na rua, e as divida em dois grupos aleatoriamente –Em média Os indivíduos do grupo 1 terão a mesma altura que os indivíduos do grupo Eles terão o mesmo peso médio Haverá o mesmo número de crianças em cada grupo, etc… –Nota: isso seria verdadeiro se dividíssemos 20 pessoas em dois grupos? Certamente não Mas é possível « ajudar » a sorte: estratificação

Representativa? Comparáveis (Validade interna) (Validade externa) População Alvo Amostra examinada Escolha Aleatória Grupo Tratado Grupo de Controle ParticipantesAusentes Amostra aleatória Avaliação randomizada controlada

Vantagens Em relação aos resultados não- experimentais, os resultados de uma avaliação randomizada são : –Transparentes Comparam-se médias: sem problemas metodológios, sem hipóteses duvidosas… –Fáceis de explicar, de compartilhar com quem não domina as regras da estatística –Têm mais chance de convencer os financiadores e os responsáveis pelas decisões políticas

Limites Validade interna: –Apesar da randomização, a comparação dos grupos pode ser comprometida Efeitos Hawthorne Recusa em participar Perda de contato com os indivíduos Validade externa: –Os problemas orçamentários limitam o tamanho da amostra disponível para o estudo Todavia, alguns desses problemas também encontram-se presentes em estudos não- experimentais.

Em resumo Toda a arte da avaliação de impacto consiste em encontrar um bom grupo de controle –A seleção aleatória dos beneficiários do programa entre indivíduos ou grupos elegíveis permite obter o melhor grupo de controle possível –As avaliações controladas randomizadas são assim as mais confiáveis / válidas… Com a condição de haverem sido concebidas e efetuadas corretamente!

Em resumo Para decidir as políticas sociais a serem implementadas, é necessário compreender as relações de causa e efeito As relações de causa e efeito (e.g. o impacto de um programa) só podem ser corretamente avaliadas se o counterfactual for definido corretamente Caso contrário, haverá desvio de seleção É muito importante verificar como o counterfactual é calculado

Em resumo A outra vantagem das avaliações randomizadas reside em sua clareza –Fácil de explicar, de compreender Mas como toda análise, a análise randomizada também deve ser considerada em seu contexto –A validade externa é um desafio –Por isso, é importante proceder a análises randomizadas em vários países e ao mesmo tempo

Exemplo 1 : Progresa (México) Programa : Benefício representando 1/3 do total dos rendimentos da unidade familiar. A concessão desse benefício é condicionada a: -A assiduidade das crianças na escola -A participação da família em palestras sobre prevenção de doenças. Dispositivo de avaliação : –Amostra de 506 municípios rurais (186 controle e 320 tratados) –Pesquisas junto a aproximadamente famílias antes e depois da intervenção

Exemplo 1 : Progresa (México) Resultados : –Efeito positivo sobre a frequentação escolar das crianças –Melhora do nível escolar –Aumento do número de atendimentos médicos –Diminuição de 12% na ocorrência de doenças em crianças menores de 5 anos –Efeito positivo sobre o crescimento (peso e altura) das crianças –Aumento do nível de consumo dos núcleos famíliares Implicações : –Programa mantido –Extensão do programa ao restante da população rural e urbana –Reaplicação (com avaliação) em um número considerável de países

Exemplo 2 : Microcrédito (Índia) Pouquíssimas provas empíricas rigorosas sobre o microcrédito, apesar de sua popularidade (Prêmio Nobel da Paz 2006 ao fundador da Grameen Bank) Útil avaliar o microcrédito pois missão social das Instituições de Microfinaciamento (IMF) e importantes subvenções Spandana na Índia Avaliação aleatória em 104 bairros de Hyderabad Outros estudos em curso

Crianção de empresas

Consumo

Exemplo 3 : Desempregados com risco de desemprego de longa duração (França) Dois programas –Cap Vers lEntreprise (CVE) ANPE (órgão estatal) postos –Operadores Privados de Postos (OPP) Unedic postos beneficiários potenciais Seleção aleatória de três populações –População 1 : percurso clássico ANPE –População 2 : proposta CVE : índice de inserção 45% –População 3 : proposta OPP : índice de inserção 50% Desenvolvimento de uma ferramente de afetação aleatória dos desempregados aos três grupos no momento da entrevista de inscrição (OCC) Medida do impacto sobre o índice de retorno ao trabalho Résultats : –Efeito positivo CVE (órgão estatal) –Sem efeito OPP (operadores privados)