A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Www.worldbank.org/hdchiefeconomist The World Bank Human Development Network Spanish Impact Evaluation Fund Strategic Impact Evaluation Fund www.worldbank.org/sief.

Apresentações semelhantes


Apresentação em tema: "Www.worldbank.org/hdchiefeconomist The World Bank Human Development Network Spanish Impact Evaluation Fund Strategic Impact Evaluation Fund www.worldbank.org/sief."— Transcrição da apresentação:

1 The World Bank Human Development Network Spanish Impact Evaluation Fund Strategic Impact Evaluation Fund

2 Marie-Hélène Cloutier & Patrick Premand Banco mundial MEDIR O IMPACTO II Metodos quase-experimentais

3 2 M étodos de avaliação do impacto Seleção aleatória Modelo de discontinuidade ou Diff-in-Diff Promoção aleatória Dupla Diferenca Emparelhamento pela marca de propensão Emparelhamento

4 2 M étodos de avaliação do impacto Seleção aleatória Modelo de discontinuidade ou Diff-in-Diff Promoção aleatória Dupla Diferenca Emparelhamento pela marca de propensão Emparelhamento

5 Modelo de discontinuidade Programas de combate à pobreza Aposentaduria Bolsas de estudo Agricultura Muitos programas sociais selecionam os beneficiários utilisando um índice ou uma límite: Alvo: familias em baixo do límte de pobreza Alvo: população acima de uma certa idade Destinadas aos alunos com bons resultados nos testes Fertilizante destinado à agricultura familiar explorações (< um certo número de hectares)

6 Exemplo: Efeito de subsídios para fertilizantes sobre a produção agrícola Melhorar a produção agrícola (rendimento de arroz) das pequenas explorações. Objectivo o Explorações com terreno 50 ha são pequenas o Explorações com terreno >50 ha são grandes Método Os pequenos agricultores recebem subsídios para comprar fertilizante Intervenção

7 Exemplo: Modelo de discontinuidade da regressão – Situação na linha de base Não elegível Elegível

8 Exemplo: Modelo de discontinuidade da regressão – Situação depois da intervenção IMPACTO

9 Caso 5: Modelo de discontinuidade Temos um índice de eligibilidade contínuo com um ponto de corte de elegibilidade bem definido. o Familias com índice ponto de corte são elegíveis o Familias com índice > ponto de corte são inelegíveis o Ou vice-versa Intuição para o método: o Unidades justo acima do ponto de corte são muito similares às justo em baixo– boa comparação o Comparar resultado Y para as unidades justo acima e justo em baixo do ponto de corte Para o modelo de discontinuidade, e necessário: 1)Índice contínuo de elegibilidade 2)Um ponto de corte de elegibilidade bem definido

10 Caso 5: Modelo de discontinuidade para Progresa Elegibilidade para Progresa é baseada sobre um índice nacional de pobreza Familia considerada pobre se o valor do índice ficar 750 Elegibilidade para Progresa: o Elegível=1 se o valor do índice 750 o Elegível=0 se o valor do índice > 750

11 Caso 5: Modelo de discontinuidade Valor do índice vs. consumo antes do tratamento Índice de pobreza Consumo Valores preditos

12 Caso 5: Modelo de discontinuidade Valor do índice vs. consumo depois do tratamento Consumo Valores preditos Índice de pobreza 30.58** Impacto estimado sobre o consumo (Y) | Regressão multivariada OBS: Efeito estatisticamente significativo à 1% indicado por ** e à 10% por+

13 Para lembrar (1) Modelo de discontinuidade Requer um índice contínuo de elegibilidade com um ponto de corte bem definido Produz uma estimação sem vieis do efeito do tratamento para as observações ao redor do ponto de corte de elegibilidade (que podem ser comparadas). Não precisa de excluir um grupo de familias ou de indivíduos elegíveis. Pode, às vezes, ser utilizado para programas já em curso. !

14 Para lembrar (2) Modelo de discontinuidade Produz uma estimação local : o Efeito do programa ao redor do ponto de corte o Nem sempre se pode generalizar Poder : o São necessárias muitas observações ao redor do ponto de corte de elegibilidade. Importante evitar erros no modelo estatístico : As vezes o que sembra uma discontinuidade na figura é outra coisa !

15 2 M étodos da avaliação de impacto Selecção aleatória Modelo de discontinuidade Ou Diff-in-Diff Promoção aleatória Dupla diferença Propensity score matching Emparelhamento

16 Dupla Diferença (Dif-in-dif) Y=Taxa de escolarização das raparigas P=Programa de bolsa-escola para elas Diff-in-Diff: Impacto=(Y t1 -Y t0 )-(Y c1 -Y c0 ) Inscritas Não inscritas Depois Antes Diferença =

17 Dupla Diferença (Dif-in-dif) Dif-in-Dif: Impacto=(Y t1 -Y c1 )-(Y t0 -Y c0 ) Y=Renda P=Programa de capacitação profissionalizante de jovens Inscritos Não inscritos Depois Antes Diferênça =

18 Dupla diferença Impacto=(A-B)-(C-D)=(A-C)-(B-D) Presenca na escola B=0.60 C=0.81 D=0.78 T=0T=1 Tempo Inscritos Não inscritos Impacto=0.1 1 A=0.74

19 Presenca na escola Impacto<0.11 B=0.60 A=0.74 C=0.81 D=0.78 T=0T=1 Tempo Inscritos Não inscritos Dupla diferença Impacto=(A-B)-(C-D)=(A-C)-(B-D)

20 Caso 6: Dupla Diferença InscritosNão inscritosDiferênça Referência (T=0) Consumo (Y) Seguimento (T=1) Consumo (Y) Diferênça Impacto estimado sobre o Consumo (Y) Regressão Lineal 27.06** Regressão Lineal Multivariada 25.53** OBS: Efeito estatisticamente significativo à 1% indicado por ** e à 10% por+

21 Para lembrar Dupla Diferença Dupla Diferença: combina inscritos & não inscritos com antes & depois. Inclinação: Produz um cenário contrafactual para a mudança no resultado Hipótese Fondamental: As inclinações – são idênticas nos grupos de tratamento e de controle Para testar isto, pelo menos 3 observações no tempo são necessárias: o 2 observações antes o 1 observação depois. !

22 E…Recomendação para Progresa? Impacto de Progresa sobre o Consumo (Y) Caso 1: Antes & Depois34.28** Caso 2: Inscritos & Não inscritos-4.15 Caso 3: Assignação aleatória29.75** Caso 4: Promoção aleatória30.4** Caso 5: Modelo de discontinuidade30.58** Caso 6: Dupla diferença25.53** OBS: Efeito estatisticamente significativo à 1% indicado por ** e à 10% por+

23 2 M étodos de avaliação de impacto Seleção Aleatória Modelo de Discontinuidade Ou Diff-in-Diff Promoção Aleatória Dupla Diferenças Matching Emparelhamento

24 Emparelhamento (Matching ) Para cada unidade tratada, escolher a melhor unidade de comparação (par) de uma outra fonte de dados. Ideia Os pares são selecionados sobre a base das similaridades nas características observadas. Como? Se há características não observáveis e que estes « não-observáveis » influenciam a participação: tendências de seleção! Problema?

25 Emparelhamento pelo score de propensão (PSM) Grupo de Comparação : não-participantes com as mesmas características observáveis que os participantes. o Na prática, é muito difícil. o Pode haver muitas características importantes! Emparelhar sobre a base do score de propensão, Solução proposta por Rosenbaum e Rubin: o Calcular a probabilidade de participação de cada um, baseada sobre as suas características observáveis. o Escolher pares que têm a mesma probabilidade de participação com as unidades tratadas. o Ver anexo 2.

26 Densidade do score de propensão Densidade Score de Propensão 0 1 Participantes Não-Participantes Suporte Comum

27 Caso 7: Emparelhamento - Progresa Característica de referência Coeficiente Estimado Probit, Prob Inscrit=1 Idade do chefe (ano) ** Idade da esposa (ano) ** Educação do chefe (ano) ** Educação da esposa (ano) -0.03** O chefe é uma mulher= Indígeno= ** Números de membros da familia 0.216** Chão de terra= ** Quarto de banho= ** Hectares de terra ** Distância ao hospital (km) 0.001* Constante 0.664** OBS: Efeito estatisticamente significativo à 1% indicado por **, 5% por * e à 10% par+

28 Caso 7: Suporte Comum (Progresa) Pr (Inscritos) Densidade: Pr (Inscritos)

29 Caso 7: Emparelhamento -Progresa Impacto Estimado sobre o Consumo (Y) Regressão lineal multivariada OBS: Efeito estatisticamento significativo à 1% indicado por **, 5% por * e à 10% par+

30 E…Recomendação para Progresa? Impacto de Progresa sobre a Consumo (Y) Caso 1: Antes & Após 34.28** Caso 2: Inscritos & Não inscritos Caso 3: Selecção aleatória 29.75** Caso 4: Promoção aleatória 30.4** Caso 5: Modelo de discontinuidade 30.58** Caso 6: Dupla Diferença 25.53** Caso 7: Emparelhamento OBS: Efeito estatisticamente significativo à 1% indicado por **, 5% por * e à 10% par+

31 Para lembrar Emparelhamento O emparelhamento requer grandes amostras e dados de boa qualidade. O emparelhamento na linha de base pode ser útil: o Conhecer as régras de seleção e emparelhar em função delas o Combinar com outras técnicas (i.e. dif-in-dif) O emparelhamento ex-post (após intervenção) não é recomendável: o Se não tiver linha de base, cuidado! o O emparelhamento sobre variáveis endógenas ex-post dá maus resultados. !

32 Recomendação para Progresa? OBS: Se o efeito é estatisticamente significativo à um nível de uma importância de 1%, nós marcamos o impacto estimado por 2 asteriscos (**). Se é significativo à um nível de 10%, nós marcamos o impacto de + Impacto de Progresa sobre o Consumo (Y) Caso 1: Antes & Após 34.28** Caso 2: Inscritos & Não inscritos Caso 3: Selecção aleatória 29.75** Caso 4: Promoção aleatória 30.4** Caso 5: Modelo de discontinuidade 30.58** Caso 6: Dupla Diferênças 25.53** Caso 7: Emparelhamento 7.06+

33 2 M étodos da AI Caixa de ferramentas Seleção Aleatória Modelo de Discontinuidade Ou Diff-in-Diff Promoção Aleatória Dupla Diferença Propensity score matching Emparelhamento Combinações de métodos

34 Da onde vêm os grupos de comparação? As régras de operação dos programas determinam a estratégia da avaliação. É quase sempre possível encontrar um grupo de comparação se: as régras de seleção dos beneficiários forem equitativas, transparentes a avaliação é concebida de maneira prospectiva.

35 Regras operacionais e avaliação prospectiva 3 perguntas para determinar qual o método apropriado para um determinado programa: Financiamento: O programa tem os recursos suficientes para passar a escala e cobrir todos os potenciais elegíveis? Regras de focalização: Quem é elegível para o programa? O programa focaliza em base a um índice ou é disponível para todos? Calendário: Como são os beneficiários incluidos no programa – todos ao mesmo tempo ou por fases? Aproveitar as oportunidades de produzir boms grupos de comparação e assegurar que dados de linha de base são coletados

36 Escolher seu método de AI Dinheiro Recursos Limitados (pedido > oferta) Recursos ilimitados Focalização Calendário FocalizadoUniversalFocalizadoUniversal Extensão por fases 1 Seleção Aleatória 4 Modelo de discontinuidade 1 Seleção Aleatória 2 Promoção aleatória 3 DD com 5 Eparelhamento 1 Seleção Aleatória 4 Modelo de discontinuidade 1 Seleção Aleatória por fases 2 Promoção aleatória 3 DD com 5 Emparelhamento Extensão imediata 1 Seleção Aleatória 4 Modelo de discontinuidade 1 Seleção Aleatória 2 Promoção aleatória 3 DD com 5 Emparelhamento 4 Modelo de discontinuidade Se parcial: 2 Promoção aleatória 3 DD com 5 Emparelhamento

37 Lembramo-nos (1) O objectivo da avaliação de impacto é de estimar o efeito causal ou o impacto de um programa sobre indicadores de resultados de interesse.

38 Lembramo-nos (2) Para estimar o impacto, nós devemos estimar o cenário contrafactual. O que teria acontecido sem o programa? Utilizar um grupo de comparação (grupo controle ou testemunha)

39 Lembramo-nos (3) Nós temos uma caixa de ferramentas com 5 métodos para identificar grupos de comparação.

40 Lembramo-nos (4) Escolher o melhor método de avaliação que é praticável no contexto operacional.

41 Versão em francês e espanhol disponiveis Versão portuguesa em preparacão Referência

42 Thank You Obrigada

43 ? Q & A ?

44 Anexo 1 Minimos quadrados em 2 estagios (2SLS) Modelo com tratamento endogeno (T): Fase 1: Regressar a variável endógena sobre a variável instrumental (Z) e as outras variáveis explicativas: Calcular o valor predito para cada observação: T « chapéu»

45 Anexo 1 Minimos quadrados em 2 estagios (2SLS) Corregir os erros standard (eles são baseados sobre os T Chapéu e não T) Fase 2: Regressar o resultado sobre a variável predita (e outras variáveis explicativas): Na prática, utilizar STATA – « ivreg ». Intuição: T foi limpado da sua correlação com ε.

46 Anexo 2 Etapas do emparelhamento PSM 1.Inquêrito representativo e altamente comparável entre os não participantes e os participantes. 2.Re-agrupar as duas amostras e estimar um modelo « logit/probit » da participação ao programa. 3.Restringir as amostras para garantir um suporte comum (importante fonte de vieis nos estudos observacionais) 4.Para cada participante, encontrar uma amostra de não participantes com um índice de propensão similar. 5.Comparar os indicadores dos resultados para cada observação e o grupo de pares: a diferênça é a estimação do impacto dado ao programa. 6.Calcular a média destes impactos individuais para obter o impacto médio global.


Carregar ppt "Www.worldbank.org/hdchiefeconomist The World Bank Human Development Network Spanish Impact Evaluation Fund Strategic Impact Evaluation Fund www.worldbank.org/sief."

Apresentações semelhantes


Anúncios Google