www.worldbank.org/sief Strategic Impact Evaluation Fund Explanation of slide: Logos, to show while the audience arrive.

Metodos quase-experimentais Marie-Hélène Cloutier & Patrick Premand MEDIR O IMPACTO II Metodos quase-experimentais Marie-Hélène Cloutier & Patrick Premand Banco mundial

2 Métodos de avaliação do impacto Seleção aleatória Promoção aleatória Modelo de discontinuidade Dupla Diferenca ou “Diff-in-Diff” Métodos de avaliação do impacto Emparelhamento Emparelhamento pela marca de propensão

2 Métodos de avaliação do impacto Seleção aleatória Promoção aleatória Modelo de discontinuidade Dupla Diferenca ou “Diff-in-Diff” Métodos de avaliação do impacto Emparelhamento Emparelhamento pela marca de propensão

Modelo de discontinuidade Muitos programas sociais selecionam os beneficiários utilisando um índice ou uma límite: Programas de combate à pobreza Alvo: familias em baixo do límte de pobreza Alvo: população acima de uma certa idade Aposentaduria Destinadas aos alunos com bons resultados nos testes Bolsas de estudo Fertilizante destinado à agricultura familiar explorações (< um certo número de hectares) Agricultura

Objectivo Método Intervenção Exemplo: Efeito de subsídios para fertilizantes sobre a produção agrícola Objectivo Melhorar a produção agrícola (rendimento de arroz) das pequenas explorações. Método Explorações com terreno ≤50 ha são pequenas Explorações com terreno >50 ha são grandes Intervenção Os pequenos agricultores recebem subsídios para comprar fertilizante

Exemplo: Modelo de discontinuidade da regressão – Situação na linha de base Não elegível Elegível

Exemplo: Modelo de discontinuidade da regressão – Situação depois da intervenção IMPACTO

Caso 5: Modelo de discontinuidade Temos um índice de eligibilidade contínuo com um ponto de corte de elegibilidade bem definido. Familias com índice ≤ ponto de corte são elegíveis Familias com índice > ponto de corte são inelegíveis Ou vice-versa Intuição para o método: Para o modelo de discontinuidade, e necessário: Índice contínuo de elegibilidade Um ponto de corte de elegibilidade bem definido Unidades justo acima do ponto de corte são muito similares às justo em baixo– boa comparação Comparar resultado Y para as unidades justo acima e justo em baixo do ponto de corte For presentation (with animation effects)

Caso 5: Modelo de discontinuidade para Progresa Elegibilidade para Progresa é baseada sobre um índice nacional de pobreza Familia considerada pobre se o valor do índice ficar ≤ 750 Elegibilidade para Progresa: Elegível=1 se o valor do índice ≤ 750 Elegível=0 se o valor do índice > 750

Caso 5: Modelo de discontinuidade Valor do índice vs Caso 5: Modelo de discontinuidade Valor do índice vs. consumo antes do tratamento Valores preditos Consumo Índice de pobreza

Caso 5: Modelo de discontinuidade Valor do índice vs Caso 5: Modelo de discontinuidade Valor do índice vs. consumo depois do tratamento Valores preditos Consumo 30.58** Impacto estimado sobre o consumo (Y) | Regressão multivariada Índice de pobreza OBS: Efeito estatisticamente significativo à 1% indicado por ** e à 10% por+

! Modelo de discontinuidade Para lembrar (1) Modelo de discontinuidade Requer um índice contínuo de elegibilidade com um ponto de corte bem definido Não precisa de excluir um grupo de familias ou de indivíduos elegíveis. Produz uma estimação sem vieis do efeito do tratamento para as observações ao redor do ponto de corte de elegibilidade (que podem ser comparadas). Pode, às vezes, ser utilizado para programas já em curso.

! Modelo de discontinuidade Para lembrar (2) Modelo de discontinuidade Produz uma estimação local : Efeito do programa ao redor do ponto de corte Nem sempre se pode generalizar Poder : São necessárias muitas observações ao redor do ponto de corte de elegibilidade. Importante evitar erros no modelo estatístico : As vezes o que sembra uma discontinuidade na figura é outra coisa

2 Métodos da avaliação de impacto Selecção aleatória Promoção aleatória Modelo de discontinuidade Dupla diferença Ou Diff-in-Diff Métodos da avaliação de impacto Emparelhamento Propensity score matching

Dupla Diferença (Dif-in-dif) Y=Taxa de escolarização das raparigas P=Programa de bolsa-escola para elas Inscritas Não inscritas Depois 0.74 0.81 Antes 0.60 0.78 - - Diferença +0.14 +0.03 - = 0.11 Diff-in-Diff: Impacto=(Yt1-Yt0)-(Yc1-Yc0)

Dupla Diferença (Dif-in-dif) Y=Renda P=Programa de capacitação profissionalizante de jovens Inscritos Não inscritos Depois 0.74 0.81 Antes 0.60 0.78 Diferênça -0.07 -0.18 - - - = 0.11 Dif-in-Dif: Impacto=(Yt1-Yc1)-(Yt0-Yc0)

Dupla diferença Impacto=(A-B)-(C-D)=(A-C)-(B-D) Não inscritos C=0.81 Presenca na escola D=0.78 A=0.74 Inscritos Impacto=0.11 B=0.60 Tempo T=0 T=1

Dupla diferença Impacto=(A-B)-(C-D)=(A-C)-(B-D) Não inscritos C=0.81 Presenca na escola D=0.78 A=0.74 Impacto<0.11 Inscritos B=0.60 Tempo T=0 T=1

Impacto estimado sobre o Consumo (Y) Caso 6: Dupla Diferença Inscritos Não inscritos Diferênça Referência (T=0) Consumo (Y) 233.47 281.74 -48.27 Seguimento (T=1) 268.75 290 -21.25 35.28 8.26 27.02 Impacto estimado sobre o Consumo (Y) Regressão Lineal 27.06** Multivariada 25.53** OBS: Efeito estatisticamente significativo à 1% indicado por ** e à 10% por+

! Dupla Diferença Para lembrar Dupla Diferença: combina inscritos & não inscritos com antes & depois. Para testar isto, pelo menos 3 observações no tempo são necessárias: 2 observações antes 1 observação depois. Inclinação: Produz um cenário contrafactual para a mudança no resultado Hipótese Fondamental: As inclinações – são idênticas nos grupos de tratamento e de controle

E…Recomendação para Progresa? Impacto de Progresa sobre o Consumo (Y) Caso 1: Antes & Depois 34.28** Caso 2: Inscritos & Não inscritos -4.15 Caso 3: Assignação aleatória 29.75** Caso 4: Promoção aleatória 30.4** Caso 5: Modelo de discontinuidade 30.58** Caso 6: Dupla diferença 25.53** OBS: Efeito estatisticamente significativo à 1% indicado por ** e à 10% por+

Modelo de Discontinuidade Métodos de avaliação de impacto 2 Seleção Aleatória Promoção Aleatória Modelo de Discontinuidade Dupla Diferenças Ou Diff-in-Diff Métodos de avaliação de impacto Emparelhamento Matching

Emparelhamento (Matching) Ideia Para cada unidade tratada, escolher a melhor unidade de comparação (par) de uma outra fonte de dados. Como? Os pares são selecionados sobre a base das similaridades nas características observadas. Problema? Se há características não observáveis e que estes « não-observáveis » influenciam a participação: tendências de seleção!

Emparelhamento pelo score de propensão (PSM) Grupo de Comparação : não-participantes com as mesmas características observáveis que os participantes. Na prática, é muito difícil. Pode haver muitas características importantes! Emparelhar sobre a base do “score de propensão”, Solução proposta por Rosenbaum e Rubin: Calcular a probabilidade de participação de cada um, baseada sobre as suas características observáveis. Escolher pares que têm a mesma probabilidade de participação com as unidades tratadas. Ver anexo 2.

Densidade do score de propensão Não-Participantes Participantes Suporte Comum 1 Score de Propensão

Caso 7: Emparelhamento - Progresa Característica de referência Coeficiente Estimado Probit, Prob Inscrit=1 Idade do chefe (ano) -0.022** Idade da esposa (ano) -0.017** Educação do chefe (ano) -0.059** Educação da esposa (ano) -0.03** O chefe é uma mulher=1 -0.067 Indígeno=1 0.345** Números de membros da familia 0.216** Chão de terra=1 0.676** Quarto de banho=1 -0.197** Hectares de terra -0.042** Distância ao hospital (km) 0.001* Constante 0.664** OBS: Efeito estatisticamente significativo à 1% indicado por ** , 5% por * e à 10% par+

Caso 7: Suporte Comum (Progresa) Densidade: Pr (Inscritos) Densidade: Pr (Inscritos) Densidade: Pr (Inscritos) Pr (Inscritos)

Caso 7: Emparelhamento -Progresa Impacto Estimado sobre o Consumo (Y) Regressão lineal multivariada 7.06+ OBS: Efeito estatisticamento significativo à 1% indicado por ** , 5% por * e à 10% par+

E…Recomendação para Progresa? Impacto de Progresa sobre a Consumo (Y) Caso 1: Antes & Após 34.28** Caso 2: Inscritos & Não inscritos -4.15 Caso 3: Selecção aleatória 29.75** Caso 4: Promoção aleatória 30.4** Caso 5: Modelo de discontinuidade 30.58** Caso 6: Dupla Diferença 25.53** Caso 7: Emparelhamento 7.06+ OBS: Efeito estatisticamente significativo à 1% indicado por ** , 5% por * e à 10% par+

! Para lembrar Emparelhamento O emparelhamento requer grandes amostras e dados de boa qualidade. O emparelhamento ex-post (após intervenção) não é recomendável: Se não tiver linha de base, cuidado! O emparelhamento sobre variáveis endógenas ex-post dá maus resultados. O emparelhamento na linha de base pode ser útil: Conhecer as régras de seleção e emparelhar em função delas Combinar com outras técnicas (i.e. dif-in-dif)

Recomendação para Progresa? Impacto de Progresa sobre o Consumo (Y) Caso 1: Antes & Após 34.28** Caso 2: Inscritos & Não inscritos -4.15 Caso 3: Selecção aleatória 29.75** Caso 4: Promoção aleatória 30.4** Caso 5: Modelo de discontinuidade 30.58** Caso 6: Dupla Diferênças 25.53** Caso 7: Emparelhamento 7.06+ OBS: Se o efeito é estatisticamente significativo à um nível de uma importância de 1%, nós marcamos o impacto estimado por 2 asteriscos (**). Se é significativo à um nível de 10% , nós marcamos o impacto de +

2 Métodos da AI Caixa de ferramentas Seleção Aleatória Promoção Aleatória Combinações de métodos Modelo de Discontinuidade Dupla Diferença Ou Diff-in-Diff Métodos da AI Caixa de ferramentas Emparelhamento Propensity score matching

Da onde vêm os grupos de comparação? As régras de operação dos programas determinam a estratégia da avaliação. É quase sempre possível encontrar um grupo de comparação se: as régras de seleção dos beneficiários forem equitativas, transparentes a avaliação é concebida de maneira prospectiva.

Regras operacionais e avaliação prospectiva Aproveitar as oportunidades de produzir boms grupos de comparação e assegurar que dados de linha de base são coletados 3 perguntas para determinar qual o método apropriado para um determinado programa: Financiamento: O programa tem os recursos suficientes para passar a escala e cobrir todos os potenciais elegíveis? Regras de focalização: Quem é elegível para o programa? O programa focaliza em base a um índice ou é disponível para todos? Calendário: Como são os beneficiários incluidos no programa – todos ao mesmo tempo ou por fases?

Escolher seu método de AI Dinheiro Recursos Limitados (pedido > oferta) ilimitados Focalização Calendário Focalizado Universal Extensão por fases 1 Seleção Aleatória 4 Modelo de discontinuidade 2 Promoção aleatória 3 DD com 5 Eparelhamento 1 Seleção Aleatória por fases 5Emparelhamento Extensão imediata Se parcial: 5 Emparelhamento

Lembramo-nos (1) “ O objectivo da avaliação de impacto é de estimar o efeito causal ou o impacto de um programa sobre indicadores de resultados de interesse.

Lembramo-nos (2) “ Para estimar o impacto, nós devemos estimar o cenário contrafactual. O que teria acontecido sem o programa? Utilizar um grupo de comparação (grupo controle ou testemunha)

Lembramo-nos (3) “ Nós temos uma caixa de ferramentas com 5 métodos para identificar grupos de comparação.

Lembramo-nos (4) “ Escolher o melhor método de avaliação que é praticável no contexto operacional.

Referência Versão em francês e espanhol disponiveis Versão portuguesa em preparacão www.worldbank.org/ieinpractice

Obrigada

Anexo 1 Minimos quadrados em 2 estagios (2SLS) 2nd and 3rd day IE methods for Policy Makers Anexo 1 Minimos quadrados em 2 estagios (2SLS) Modelo com tratamento endogeno (T): Fase 1: Regressar a variável endógena sobre a variável instrumental (Z) e as outras variáveis explicativas: Calcular o valor predito para cada observação: T «  chapéu»

Anexo 1 Minimos quadrados em 2 estagios (2SLS) 2nd and 3rd day IE methods for Policy Makers Fase 2: Regressar o resultado sobre a variável predita (e outras variáveis explicativas): Corregir os erros standard (eles são baseados sobre os T Chapéu e não T) Na prática, utilizar STATA – « ivreg ». Intuição: T foi “limpado” da sua correlação com ε.

Anexo 2 Etapas do emparelhamento PSM Inquêrito representativo e altamente comparável entre os não participantes e os participantes. Re-agrupar as duas amostras e estimar um modelo « logit/probit » da participação ao programa. Restringir as amostras para garantir um suporte comum (importante fonte de vieis nos estudos observacionais) Para cada participante, encontrar uma amostra de não participantes com um índice de propensão similar. Comparar os indicadores dos resultados para cada observação e o grupo de pares: a diferênça é a estimação do impacto dado ao programa. Calcular a média destes impactos individuais para obter o impacto médio global.