Métodos Experimentais Lisboa, 17 a 20 de Julho 2017 Caio Piza – DIME caiopiza@worldbank.org

Refrescando a memória… (Estudo de Caso) Você está a frente de um projeto piloto de pavimentação de ruas para melhor conectar zona rurais aos centros urbanos; Objetivo: aumentar o acesso da população rural aos centros urbanos e vice-versa acesso a mercado e oferta de bens públicos

Qual o Desafio de Qualquer Avaliação de Impacto (AI)? Obter um bom contrafactual que nos permitirá identificar o efeito causal de uma intervenção comparando: O que aconteceu O que teria ocorrido na ausência do programa? Com Problema fundamental de inferência causal

Ferramentas para obter o contrafactual Não é uma boa estratégia Antes– Depois Participantes vs. Não-Participantes Boas estratégias desde que algumas hipóteses sejam observadas Diferença-em-diferenças Regressão descontínua Melhor estratégia Experimentos – Randomized Control Trials

propensity score matching (PSM) Diferença-em-diferenças Resumo de ontem… Participantes vs. Não-participantes Pareamento – propensity score matching (PSM) Diferença-em-diferenças (diff-in-diff) Consumo per capita (em dólares) 82.5* 55.8* 27.1* Elimina a influência das características observáveis Elimina a influência das características observáveis e das não-observáveis que são fixas no tempo

Método Experimental (Experimentos Aleatório – Randomized Controlled Trial – RCT)

Experimentos aleatórios – gold standard Definições importantes: Experimento aleatório NÃO É o mesmo que amostra aleatória Unidade de intervenção/aleatorização vs. unidade de análise (implicações para a estimação do erro-padrão)

Mundo Ideal: O Clone Perfeito Fulanito Clone do Fulanito X 6 balas 4 balas IMPACTO=6-4=2 Balas

Na prática, usamos estatística Tratamento Controle X Média Y=6 Balas Média Y=4 Balas IMPACTO=6-4=2 Balas

Seleção aleatória dos grupos de tratamento e controle 3. Sorteio 1. População-alvo 2. Amostra para a avaliação X Controle For presentation (with animation effects) Tratamento = Inelegíveis Validade Externa Validade Interna = Elegíveis

Nível da aleatorização A aleatorização pode ocorrer no nível da unidade de análise ou em níveis acima. Exemplo: aleatorizar vilas para receberem um determinado programa (e.g. bicicletas para meninas – vejam esse vídeo) e medir o efeito do programa sobre as meninas Por que e quando se opta por tal desenho? Qual a implicação desse tipo de desenho (cluster randomized trial - CRT) para a estimação do efeito do programa?

Por que e quando se opta por tal desenho? Spillovers (contaminação/transbordamento) Mais fácil de justificar politicamente Expansão gradual do programa

Qual a implicação desse tipo de desenho…? O erro-padrão da estimativa do efeito do tratamento será maior e, portanto, maior será o risco de erro tipo II (não rejeitar a nula quando deveria). Por que? (não percam a apresentação da Maria amanhã!)

RCTs: A Prática

Opções de Aleatorização Aleatorização Pura (Sorteio) apenas alguns participam do piloto Entrada gradual todos entram eventualmente Desenho de incentivo (no caso de adesão parcial) Todos podem entrar, alguns são encorajados a fazê-lo Variação no tratamento cobertura integral, diferentes opções 16

Oportunidades para Experimentos Aleatorização Pura (Sorteio) Entrada gradual (Phase-in Design) Encorajamento

Entrada Gradual Restrição orçamentária e/ou de logística sorteio Não há recurso para pavimentar todas as estradas consideradas “prioritárias” Número de equipamentos e pessoal para pavimentar todas ao mesmo tempo Solução: sorteio para definir quem entra primeiro no programa Capacidade limitada  Aleatorizar a ordem de entrada Os que ficarem no final da lista de espera desempenham o papel do grupo de controle

Oportunidades para Experimentos Aleatorização Pura (Sorteio) Entrada gradual (Phase-in Design) Encorajamento

Excesso de demanda!

Baixa adesão (take-up) é um problema bastante frequente Excesso de otimismo!

Encorajamento Suponha que o programa de reparo de estradas será oferecido apenas nos distritos que manifestarem interesse de participar no programa Exemplo: uma proposta formal necessita ser preenchida e enviada parao Depto de Transporte até uma certa data Poucos distritos enviam a proposta dentro do prazo O que pode ser feito? Você desconfia que os distritos tiveram dificuldades para preencher as propostas Sugestão: sortear vilas que não enviaram as p

Encorajamento O que pode ser feito? Você desconfia que os distritos tiveram dificuldades para preencher as propostas Sugestão: separar, via sorteio, as vilas que não enviaram as propostas ainda Oferecer para metade dessas vilas um formato de proposta bem mais simples Você desconfia que os distritos tiveram dificuldades para preencher as propostas Sugestão: sortear vilas que não enviaram as p

Seleção aleatória dos grupos de tratamento e controle For presentation (with animation effects)

Seleção aleatória dos grupos de tratamento e controle encourajamento Note que encourajar é diferente de tratar!

Métodos Não-Experimentais 1. Diferença-em-diferenças (DD) 2. DD com pareamento 3. Regressão descontínua (RDD)

Como avaliar esse programa? Regressão Descontínua Plano: Suponha que as vilas foram rankeadas com base num indicador de vulnerabilidade. As estradas a serem pavimentadas atenderão até 2000 vilas Todas as famílias das 2000 vilas satisfazem o critério Público-alvo: vilas com consumo médio per capita < = 60 dólares/mês Idéia: comparar o consumo per capita das famílias que residem nas vilas com consumo médio per capita pouco abaixo de 60/mês (elegíveis ao programa) com famílias em vilas com consumo per capita pouco acima de 250/mês (não-elegíveis ao programa)

Consumo médio (real) per capita em 2016 Elegíveis Não-elegíveis Consumo médio per capita/mês em 2014 60/mês

RDD – Após a Intervenção RDD identifica o efeito médio local para o grupo ao redor da linha de corte Consumo médio (real) per capita em 2016 Efeito do tratamento Falar rapidamente de descontinuidade espacial Consumo médio per capita/mês em 2014

Hora do café!