Métodos Experimentais Caio Piza Economista DIME/Banco Mundail Latin America and the Caribbean’s Citizen Security Team Impact Evaluation 4 Peace 24-27 Março 2014, Lisboa, Portugal

Provocações! Você acha que o seu projeto é um sucesso ou vai se tornar quando sair do papel? Sim! Se o governo quiser universalizar um programa que não possou por uma avaliação rigorosa, qual será o seu conselho?

Avaliação de Impacto: como identifico o impacto do programa?

Objetivos de uma AI Identificar o efeito causal da política O programa funciona? Para quem? Há alternativas? Implementar o que funciona melhor a um custo mais baixo O OBJETIVO NÃO É JULGAR O PROGRAMA E OS SEUS RESPONSÁVEIS, MAS TORNÁ-LO MAIS EFETIVO

Erros comuns… mas evitáveis! Correlação implica causalidade; Análise do tipo ‘antes e depois’ informa o impacto do programa; Qualquer grupo de controle é um bom/válido grupo de controle;

Correlação vs. causalidade ‘Refrigerante diet engorda porque apenas pessoas acima do peso bebem’ Casamento é uma questão de saúde pública já que ‘homens que casam engordam’ ‘Excesso de cafeina pode causar câncer’ ‘O Bolsa Família reduziu a pobreza’ Um programa desenhado para controlar uma epidêmia deve ser descontinuado já que o número de infectados aumentou

Erros comuns… mas evitáveis! Correlação implica causalidade; Análise do tipo ‘antes e depois’ informa o impacto do programa; Qualquer grupo de controle é um bom/válido grupo de controle;

Antes e depois Grupo de tratamento (+6) aumento nos lucros Um programa de crédito foi oferecido em 2008. Efeito positivo? Ilustração: Programa de Vale-Fertilizante (1) Antes Depois Grupo de Tratamento Grupo de Controle 2007 2009 8

Antes e depois Grupo de controle Grupo de tratamento (+) Impacto do programa (+) Impacto de outros fatores (externos) Ilustração: Programa de Vale-Fertilizante (1) Antes Depois Grupo de Tratamento Grupo de Controle Antes Depois 9

Erros comuns… mas evitáveis! Correlação implica causalidade; Análise do tipo ‘antes e depois’ informa o impacto do programa; Qualquer grupo de controle é um bom grupo de controle;

Qualquer grupo de controle é um bom grupo de controle?! VS. Eike Batista Anônima – beneficiária do Bolsa Família

Qualquer grupo de controle é um bom grupo de controle? NÃO!!! O desafio é encontrar um bom grupo de controle Os grupos devem ser parecidos em características observáveis e não-observáveis Como garantir isso?! Ideal: método experimental Plano B: método não-experimental

Desenho Experimental Todos os participantes do estudo têm a mesma chance de estar no grupo de tratamento ou de controle Intencionalmente, os grupos de tratamento e de controle têm as mesmas características (observadas e não observadas), na média A única diferença é o tratamento Com grandes amostras, todas as características convergem para a média populacional Estimativas de impacto não enviesadas Desenho Experimental

Formas Alternativas de Aleatorização Sorteio (apenas alguns entram no programa) Entrada gradual (todos entram eventualmente) Variação no tratamento (cobertura integral, diferentes opções) Desenho de incentivo (no caso de adesão parcial) Todos podem entrar, alguns são encorajados a fazê-lo Entre tratamentos que acreditamos que ex ante têm a mesma probabilidade de funcionar Opções para Randomização 14

Exemplos Sorteio (apenas alguns entram no programa) 15151515 Exemplos Sorteio (apenas alguns entram no programa) Sorteio para ter acesso a materiais esportivos doados por uma empresa esportiva (Nike, Adidas etc.) Entrada gradual (entrada ao longo do tempo – phase in) Alguns crianças recebem transporte gratuito primeiro pois não há micro-ônibus para atender todas as escolas e crianças Variação no tratamento Algumas crianças recebem um aulas mais intensivas (mais horas ou dias) por semana e os demais as aulas que são dadas regularmente Incentivo Um grupo de crianças recebe transporte gratuito para se deslocarem da escola as Vilas Olímpicas 1515 15

Loteria entre os elegíveis Deve receber o programa Inelegível para o programa Aleatorizar quem recebe o programa Sorteio entre os qualificados

Oportunidades para a aleatorização (1) As limitações orçamentárias impedem a cobertura integral A distribuição aleatória (sorteio) é justa e transparente Capacidade limitada de implementação A introdução gradual oferece a todos a mesma chance de serem os primeiros Inexistência de evidências sobre qual a melhor alternativa Distribuição aleatória para alternativas com a mesma chance ex ante de sucesso Oportunidades 17

Oportunidades para a aleatorização (2) Adesão ao programa existente não é completa Fornecer informações ou incentivos para a adesão de alguns Um novo programa piloto Boa oportunidade de testar o desenho antes de expandi-lo Mudanças operacionais em programas em andamento Boa oportunidade de testar as mudanças antes de expandi-las Introduzir innovaçoes de manera aleatoria Oportunidades de Randomização 18

Aleatorização em diferentes níveis Individual (crianças) Modalidades (futebol, luta, dança etc.) Turmas Vilas Olímpicas Comunidades Distritos/Bairros Os diferentes níveis que podem ser randomizados

Aleatorização individual ou em grupo? A aleatorização é feita no mesmo nível de intervenção Mais fácil obter amostras grandes o bastante se os indivíduos forem aleatorizados Aleaorização individual Unidade de aleatorização (escolas, VOs, turmas etc.) e unidade da intervenção (crianças) Aleaorização de grupos 20

Unidade de Aleatorização A aleatorização em nível mais alto (e.g. escola ou VO) às vezes é necessária: Limitações políticas a tratamentos diferenciados na comunidade Limitações práticas – confusão para implementar diferentes versões Os efeitos sobre unidades vizinhas podem demandar uma aleatorização em nível mais alto Aleatorizar ao nível de grupo requer muitos grupos por causa da correlação dentro da comunidade Unidade de Randomização

Elementos do desenho experimental População alvo Crianças de áreas pobres/vulneráveis Participantes potenciais Crianças de 6 a 15 anos Esportes coletivos Amostra de avaliação Alocação aleatória Grupo de Tratamento Grupo de Controle Participantes  Desistentes Mulheres particularmente pobres Elementos de um desenho experimental População Alvo Agricultores Comerciais Participantes potenciais Produtores de milho Rizicultores Amostra de Avaliação Distribuição randômica Grupo de Tratamento Participantes Evasão Grupo de controle 22

Validade Externa e Interna (1) A amostra é representativa da população total Os resultados na amostra representam os resultados na população Podemos aplicar as lições a toda a população Validade interna O efeito estimado da intervenção ou do programa sobre a população avaliada reflete o impacto real naquela população Ou seja, os grupos de intervenção e de controle são comparáveis Validade externa e interna (1)

Validade Externa e Interna(2) Uma avaliação pode ter validade interna sem validade externa Exemplo: extrapolar os resultados de uma avaliação randomizada de um incentivo às empresas informais na área urbana para se registarem para um programa semelhante nas áreas rurais Uma avaliação sem validade interna não pode ter validade externa Se você desconhece se um programa funciona em um local, então você não sabe nada sobre se ele funciona em qualquer outro lugar. Validade externa e interna (2)

Validade externa & interna População Nacional Randomização Validade Interna e Externa Amostras da População Nacional

Validade interna (APENAS?) Estratificação Randomização População Estrato do População Amostras do Estrato da População Validade interna e externa se considerarmos apenas o estrato da população do qual extraímos a amostra

Representativo porém enviesado: inútil Randomização População Nacional Distribuição Enviesada INÚTIL! Representativa mas polarizada: inútil 27

Exemplo: programa para um público específico, validade interna Amostra de crianças vulneráveis Distribuição Randômica Exemplo: Esporte em 3 Tempos apenas para as crianças da VO Clara Nunes -- validade interna 28

Vantagens dos “experimentos” Impacto causal claro e confiável Em relação a outros métodos Muito mais fácil de analisar Mais barato (tamanhos menores de amostra) Mais fácil de explicar Mais convincente para os formuladores de política Metodologicamente incontroverso Vantagens dos “experimentos”

E se houver restrições sobre a aleatorização? Limitações orçamentárias: randomizar entre os mais necessitados Limitações de capacidade de implantação: randomizar quem recebe primeiro... (ou a seguir se você já houver começado) Promover (propaganda mesmo!) o programa aleatoriamente para alguns, não para outros... (participantes fazem suas próprias escolhas sobre adoção) E se houver limitações à randomização? 30

Divulgação Aleatória (Desenho de Encorajamento) Quem recebe a divulgação tem maior chance de participar Como quem recebe foi escolhido aleatoriamente, não há relação com características observáveis não observáveis dos participantes Compare os resultados médios dos dois grupos: com / sem divulgação Efeito da oferta do programa (Intenção de Tratar) Efeito da intervenção (Tratamento Médio no Tratado) ATT= efeito da oferta do programa / proporção dos que aderiram Promoção randômica (desenho de incentivo)

Aleatorização Alocado para tratamento Alocado para controle Diferença Impacto: efeito médio do tratamento sobre os tratados Não-tratados Tratados Proporção tratada 100% 0% Impacto da alocação Resultado médio 103 80 23 Estimativa da intenção de tratar 23/100%=23 Tratamento médio sobre os tratados Randomização Distribuído para tratamento Distribuído para controle Diferença Impacto: efeito médio do tratamento no tratado Não tratado Tratado Proporção tratada Resultado médio 100% de impacto da distribuição 23 estimativa de pretende tratar 23/100% = 23 tratamento médio no tratado

Incentivo randômico Incentivados Não incentivados Diferença Impacto: efeito médio do tratamento sobre os que aderiram Não tratados (não aderiram) Tratados (aderiram) Proporção tratada 70% 30% 40% Impacto do incentivo 100% Resultado 100 92 8 Estimativa da intenção de tratar 8/40%=20 Tratamento médio sobre os que aderiram Diferença distribuído RANDOMICAMENTE não distribuído ATT não 3 3 0 talvez 4 4 0 sim 3 3 0 impacto sobre o não 90 80 10 impacto sobre o talvez 100 80 20 impacto sobre o sim 120 80 40 103 80 23 23 R-ENC incentivado não incentivado diferença ATC não 3 3 0 talvez 4 4 0 sim 3 3 0 impacto sobre o não 80 80 0 impacto sobre talvez 100 80 20 impacto sobre sim 120 120 0 100 92 8 20 Incentivo Randômico Incentivado Não incentivado Diferença Impacto: efeito médio do tratamento sobre aqueles que obedecem Não tratados (não aderiram ao programa) Tratados (aderiram ao programa) Proporção tratada Resultado 40% impacto do incentivo 8 Estimativa de pretende tratar 8/40% = 20 Tratamento médio sobre aqueles que obedecem

Cuidado com… Cálculo incorreto da amostra Randomizar um distrito para tratamento e outro para controle e calcular o tamanho da amostra sobre o número de pessoas que forem entrevistadas Coleta de dados diferentes no tratamento e no controle Contagem dos que foram distribuídos para tratamento mas não aderiram ao programa como controle – não desfaça sua randomização!!! Armadilhas comuns a serem evitadas 34

Quando é que é realmente impossível? O tratamento já foi alocado e anunciado e não há possibilidade de expansão do tratamento O programa já acabou (retrospectiva) Já há adesão universal* O programa é nacional e não exclui ninguém* A amostra é muito pequena para ser válida 2/1/10 3535