Caio Piza Maio 12, 2015 Istanbul, May 11-14, 2015 Métodos Não-Experimentais

Motivação 2

Lição # 1: 3

Qual o Desafio de Qualquer AI? Obter um bom contrafactual para identificar o efeito causal de uma intervenção comparando 4 O que aconteceu O que teria ocorrido se o programa não existisse? Com Problema fundamental de inferência causal

5 Contrafactual: Intuição Grupos de tratamento (T) e controle (C) Características observáveis e não- observáveis idênticas, na média. A diferença entre as variáveis de resultado dos grupos de T e C é exclusivamente devida à intervenção (ou tratamento)

Ferramentas para obter o contrafactual 6 Não é uma boa estratégia  Antes– Depois Participantes – Não-Participantes Boas estratégias desde que algumas hipóteses sejam observadas Diferença-em-diferenças Regressão descontínua Efeito causal Experimentos – Randomized Control Trials

Ferramentas para obter o contrafactual 7 Não é uma boa estratégia  Antes– Depois Participantes – Não-Participantes Boas estratégias desde que algumas hipóteses sejam observadas Diferença-em-diferenças Regressão descontínua Efeito causal Experimentos – Randomized Control Trials

8 Análise do Contrafactual… Método experimental: Compara grupos que, na média, são idênticos Métodos não-experimentais: Compara grupos similares

Estudo de caso: Retorno do capital nas pequenas empresas Problema: Pequenas empresas lidam com alguma restrição para acessar crédito Intervenção: injeção de capital – R$300 e R$ 600 (dois tratamentos!) Variável de resultado: taxa de lucro Alguns números: –800 empresas na linha de base (2007) –Mais de 50% dessas empresas investem menos do que R$ 600 9

Como avaliar esse programa? Participantes – Não-Participantes Case: O subsídio is oferecido às pequenas empresas O crédito subsidiado foi oferecido para todas as pequenas empresas com >= 6 meses de atividade 300 empresas aplicaram e receberam financiamento Plano: comparar a taxa de lucro das empresas que aplicaram com as que não aplicaram 10

Participantes – Não-Participantes 11 MétodoTratamentoComparaçãoDiferença Participantes VS. Não-participantes2.1%0.7% 1.4 pp. Problema: Viés de Seleção. Por que apenas 300 aplicaram? -São as que tem melhor organizadas, mais tempo no mercado etc. (observáveis) -Empreendedores mais motivados, informados etc. (não-observável) Parts of this presentation build on material from Impact Evaluation in Practice

Plano: comparar a taxa de lucro das empresas tratadas antes e depois do subsídio 12 Como avaliar esse programa? Antes – Depois

Antes-Depois 13 MétodoTratados (depois) Comparação (antes) Diferença Antes-Depois2.1%1.5%0.6 pp. Problema: Efeito do tempo. Outras coisas podem ter acontecido nesse período. -A economia pode ter crescido, outras programas de crédito subsidiado foram criados etc

Antes – Depois Comparação: Mesmas empresas antes e depois da intervenção. Problema: Outras coisas podem ter ocorrido. Participantes – Não-Participantes Comparação: Participantes e não-participantes Problema: Viés de seleção. Não sabemos porque algumas participaram e outras não. Esses 2 métodos não são válidos para AI Ambos os métodos conduzem a estimativas viesadas do efeito do programa

Antes-Depois e Monitoramento Monitoring tracks indicators over time –Among participants It is descriptive before-after analysis It tells us whether things are moving in the right direction It does not tell us why things happen or how to make more happen Legovini

Lição # 2 16 VS.

Lição # 2 17 VS. Qualquer grupo de comparação NÃO É um bom grupo de comparação!

Avaliação de Impacto Obtém a média da variável de resultado ao longo do tempo para os grupos de T e comparação Compara –O que aconteceu com –O que teria acontecido na ausência do programa (contractual) Identifica o efeito causal –Controlando por todos demais fatores que mudam no tempo 18

Métodos Não-Experimentais 1. Diferença-em-diferenças (DD) 2. DD com pareamento 3. Regressão descontínua 19

Métodos Não-Experimentais 1. Diferença-em-diferenças (DD) 2. DD com pareamento 3. Regressão descontínua 20

Como avaliar esse programa? Diferença-em-Diferenças Plano: combinar a dimensão temporal do antes- depois com a decisão de participação (participantes vs. não-participantes) (Sob algumas hipótese) este método resolve: –Efeito do tempo: outras coisas podem ter ocorrido e afetado o programa ao longo do tempo –Viés de seleção: não sabemos porque alguns participaram e outros não, mas essa decisão depende de características que não variam no tempo 21

22 Impacto = (P P 2007 ) = 2.1 – 1.5 = Antes-Depois %

23 NP 08 -NP 07 =0.2 Impact = (P P 2007 ) -(NP NP 2007 ) = 0.6 – 0.2 = Impact = (P P 2007 ) -(NP NP 2007 ) = 0.6 – 0.2 = Antes-Depois + Não-Participantes: Diferença-em-Diferenças %

Você também pode usar uma tabela… 24

Hipótese de tendência comum (ou paralela) Impacto = +0.4 pp %

Conclusão O programa de crédito subsidiado funcionou. A hipótese de tendência comum é plausível?

Use dados históricos se possível… %

Diff-in-diff combina Participantes-Não-participantes com Antes-Depois. Diferença-em-Diferenças O método contorna os problemas encontrados nos métodos anteriores sob Possível de verificar se houver dados históricos É possível refinar a análise se este método for combinado com o método de pareamento (propensity score matching) na linha de base … a hipótese de tendência comum entre os grupos de T e C na ausência do programa Contorna o problema de viés de seleção se a decisão de participação depender de não- observáveis fixas no tempo

Diff-in-Diff com pareamento (matching) 29 Intuição do método de pareamento? 1.O programa foca um grupo-alvo (e.g. firms) com certas características observáveis 2.O pesquisador CONHECE as características das firmas que as tornam elegíveis para entrar no programa 3.Empresas com características observáveis similares àquelas que decidem participar deveriam ser um bom grupo de comparação 4.Na prática gera-se um indicador (escore de propensão -- propensity score) que sintetiza um conjunto de características num indicador e parea-se T e C com ‘mesmos’ valores do indicador

Pareamento… 30 Na maioria dos casos não há pares para todos! Exemplo Indicador Não-participantes Participantes Suporte comum

Na prática é um pouco mais complicado! 31 Source: Caliendro, 2008: 41.

Passos importantes para o pareamento… 32 Source: Caliendro, 2008: 33

Passos importantes para o pareamento… 33 Source: Caliendro, 2008: 33 Não se desespere! Há uma forma de se evitar tudo isso!

Resumo dos efeitos obtidos com diferentes métodos 34 MétodoTratamentoComparaçãoDiferença Participantes - Não-participantes pp Antes - Depois pp Diff-in-diff pp Se o método for fraco ele conduzirá a respostas erradas! Exemplos: Participantes vs. Não-Participantes e Antes-Depois NÃO SÃO bons métodos para AI Diff-in-diff é válido sob algumas hipóteses

Métodos Não-Experimentais 1. Diferença-em-diferenças (DD) 2. DD com pareamento 3. Regressão descontínua (RDD) 35

Como avaliar esse programa? Regressão Descontínua Plano: subsídios oferecidos a empresas com base num escore de crédito Todas as empresas que aplicam para o programa têm um indicador (escore) gerado com base em algumas características da firma como idade, lucratividade, faturamento, número de empregados etc. O escore varia de 0 a 100 onde 0 significa muita restrição ao crédito e 100 baixa restrição ao crédito O programa foca nas empresas com maior restrição: score < = 50 Idéia: comparar taxa de lucro de empresas com escore pouco abaixo de 50 (elegíveis ao programa de crédito subsidiado) com empresas com escore pouco acima de 50 (não-elegíveis ao programa) 36

Fonte: WB – Human Development Network. Taxa de lucro Não- elegíveis Elegíveis 3% 2.5% 2% 1.5%

RDD – Após a Intervenção Fonte: WB – Human Development Network. RDD identifica o efeito local Efeito do tratamento Taxa de lucro 3% 2.5% 2.0% 1.5%

RDD 39 MétodoTratamentoComparaçãoDiferença Regressão Descontínua2.35%2.1%0.25 pp Importante: O impacto é válido apenas para aqueles indivíduos que estão próximos à linha de corte Esse é um grupo interessante para o seu programa? Método poderoso se houver: –Uma variável ou indicador contínuo que define eligibilidade –Uma linha de corte (cut-off) claramente definido e não manipulável

Resumo dos efeitos obtidos com diferentes métodos 40 MétodoTratamentoComparaçãoDiferença Participantes - Não-participantes pp Antes - Depois pp Diff-in-diff pp Regressão Descontínua pp Métodos fracos => resultados equivocados! RDD efeito causal local => efeito bem menor! Resultados confiáveis são obtidos apenas com métodos rigorosos

Quão fácil (ou complicado) é tudo isso?! 41

Thank you! facebook.com/ieKnow #impacteval blogs.worldbank.org/impactevaluations microdata.worldbank.org/index.php/ca talog/impact_evaluation WEB