Métodos Experimentais Lisboa, 17 a 20 de Julho 2017 Caio Piza – DIME

Apresentação em tema: "Métodos Experimentais Lisboa, 17 a 20 de Julho 2017 Caio Piza – DIME"— Transcrição da apresentação:

1 Métodos Experimentais Lisboa, 17 a 20 de Julho 2017 Caio Piza – DIME caiopiza@worldbank.org

2 Refrescando a memória… (Estudo de Caso)
Você está a frente de um projeto piloto de pavimentação de ruas para melhor conectar zona rurais aos centros urbanos; Objetivo: aumentar o acesso da população rural aos centros urbanos e vice-versa acesso a mercado e oferta de bens públicos

3

4 Qual o Desafio de Qualquer Avaliação de Impacto (AI)?
Obter um bom contrafactual que nos permitirá identificar o efeito causal de uma intervenção comparando: O que aconteceu O que teria ocorrido na ausência do programa? Com Problema fundamental de inferência causal

5 Ferramentas para obter o contrafactual
Não é uma boa estratégia Antes– Depois Participantes vs. Não-Participantes Boas estratégias desde que algumas hipóteses sejam observadas Diferença-em-diferenças Regressão descontínua Melhor estratégia Experimentos – Randomized Control Trials

6 propensity score matching (PSM) Diferença-em-diferenças
Resumo de ontem… Participantes vs. Não-participantes Pareamento – propensity score matching (PSM) Diferença-em-diferenças (diff-in-diff) Consumo per capita (em dólares) 82.5* 55.8* 27.1* Elimina a influência das características observáveis Elimina a influência das características observáveis e das não-observáveis que são fixas no tempo

7 Método Experimental (Experimentos Aleatório – Randomized Controlled Trial – RCT)

8 Experimentos aleatórios – gold standard
Definições importantes: Experimento aleatório NÃO É o mesmo que amostra aleatória Unidade de intervenção/aleatorização vs. unidade de análise (implicações para a estimação do erro-padrão)

9 Mundo Ideal: O Clone Perfeito
Fulanito Clone do Fulanito X 6 balas 4 balas IMPACTO=6-4=2 Balas

10 Na prática, usamos estatística
Tratamento Controle X Média Y=6 Balas Média Y=4 Balas IMPACTO=6-4=2 Balas

11 Seleção aleatória dos grupos de tratamento e controle
3. Sorteio 1. População-alvo 2. Amostra para a avaliação X Controle For presentation (with animation effects) Tratamento = Inelegíveis Validade Externa Validade Interna = Elegíveis

12 Nível da aleatorização
A aleatorização pode ocorrer no nível da unidade de análise ou em níveis acima. Exemplo: aleatorizar vilas para receberem um determinado programa (e.g. bicicletas para meninas – vejam esse vídeo) e medir o efeito do programa sobre as meninas Por que e quando se opta por tal desenho? Qual a implicação desse tipo de desenho (cluster randomized trial - CRT) para a estimação do efeito do programa?

13 Por que e quando se opta por tal desenho?
Spillovers (contaminação/transbordamento) Mais fácil de justificar politicamente Expansão gradual do programa

14 Qual a implicação desse tipo de desenho…?
O erro-padrão da estimativa do efeito do tratamento será maior e, portanto, maior será o risco de erro tipo II (não rejeitar a nula quando deveria). Por que? (não percam a apresentação da Maria amanhã!)

15 RCTs: A Prática

16 Opções de Aleatorização
Aleatorização Pura (Sorteio) apenas alguns participam do piloto Entrada gradual todos entram eventualmente Desenho de incentivo (no caso de adesão parcial) Todos podem entrar, alguns são encorajados a fazê-lo Variação no tratamento cobertura integral, diferentes opções 16

17 Oportunidades para Experimentos
Aleatorização Pura (Sorteio) Entrada gradual (Phase-in Design) Encorajamento

18 Entrada Gradual Restrição orçamentária e/ou de logística sorteio
Não há recurso para pavimentar todas as estradas consideradas “prioritárias” Número de equipamentos e pessoal para pavimentar todas ao mesmo tempo Solução: sorteio para definir quem entra primeiro no programa Capacidade limitada  Aleatorizar a ordem de entrada Os que ficarem no final da lista de espera desempenham o papel do grupo de controle

19 Oportunidades para Experimentos
Aleatorização Pura (Sorteio) Entrada gradual (Phase-in Design) Encorajamento

20 Excesso de demanda!

21 Baixa adesão (take-up) é um problema bastante frequente
Excesso de otimismo!

22 Encorajamento Suponha que o programa de reparo de estradas será oferecido apenas nos distritos que manifestarem interesse de participar no programa Exemplo: uma proposta formal necessita ser preenchida e enviada parao Depto de Transporte até uma certa data Poucos distritos enviam a proposta dentro do prazo O que pode ser feito? Você desconfia que os distritos tiveram dificuldades para preencher as propostas Sugestão: sortear vilas que não enviaram as p

23 Encorajamento O que pode ser feito?
Você desconfia que os distritos tiveram dificuldades para preencher as propostas Sugestão: separar, via sorteio, as vilas que não enviaram as propostas ainda Oferecer para metade dessas vilas um formato de proposta bem mais simples Você desconfia que os distritos tiveram dificuldades para preencher as propostas Sugestão: sortear vilas que não enviaram as p

24 Seleção aleatória dos grupos de tratamento e controle
For presentation (with animation effects)

25 Seleção aleatória dos grupos de tratamento e controle
encourajamento Note que encourajar é diferente de tratar!

26 Métodos Não-Experimentais
1. Diferença-em-diferenças (DD) 2. DD com pareamento 3. Regressão descontínua (RDD)

27 Como avaliar esse programa? Regressão Descontínua
Plano: Suponha que as vilas foram rankeadas com base num indicador de vulnerabilidade. As estradas a serem pavimentadas atenderão até 2000 vilas Todas as famílias das 2000 vilas satisfazem o critério Público-alvo: vilas com consumo médio per capita < = 60 dólares/mês Idéia: comparar o consumo per capita das famílias que residem nas vilas com consumo médio per capita pouco abaixo de 60/mês (elegíveis ao programa) com famílias em vilas com consumo per capita pouco acima de 250/mês (não-elegíveis ao programa)

28 Consumo médio (real) per capita em 2016
Elegíveis Não-elegíveis Consumo médio per capita/mês em 2014 60/mês

29 RDD – Após a Intervenção
RDD identifica o efeito médio local para o grupo ao redor da linha de corte Consumo médio (real) per capita em 2016 Efeito do tratamento Falar rapidamente de descontinuidade espacial Consumo médio per capita/mês em 2014

30 Hora do café!