Global Workshop on Development Impact Evaluation in Finance and Private Sector Rio de Janeiro, June 6-10, 2011 Aproveitar Descontinuidades Francisco Campos.

Apresentação em tema: "Global Workshop on Development Impact Evaluation in Finance and Private Sector Rio de Janeiro, June 6-10, 2011 Aproveitar Descontinuidades Francisco Campos."— Transcrição da apresentação:

1 Global Workshop on Development Impact Evaluation in Finance and Private Sector Rio de Janeiro, June 6-10, 2011 Aproveitar Descontinuidades Francisco Campos Africa Region Gender Practice

2 Introdução  Como é que avaliamos intervenções  Quando não existe alocação aleatória a grupos de tratamento e de comparação?  Quando não se pode manipular o processo de seleção?  Caso geral  Pessoas, lares, municípios ou outras entidades são expostos ou não a um “tratamento” ou “política”  Dois grupos não são comparáveis por causa do processo de seleção  Exemplo: Clientes de micro-crédito e indivíduos que não são clientes de micro-crédito  Quando a seleção aleatória não é possível, como é que podemos utilizar as características do programa para “medir” o seu impacto?  Resposta: métodos quasi-experimentais  Exemplo: Modelos de Regressão Descontínua (MDRs) 2

3  Nome horrível… mas um primo muito mais próximo das experiências com seleção aleatória do que os outros concorrentes  Importante elemento do kit de ferramentas para research • Data do início da década de 6 0 • Entrou em hibernação por algum tempo • Retomado no novo milénio  Modelos de Regressão Descontínua 3

4 Exemplo de MRD (1)  Lei: Idade mínima para beber nos EUA é 21  o consumo de alcóol é ilegal para pessoas com menos de 21 anos.  Análise:  Pessoas com 20 anos, 11 meses e 29 dias  Pessoas com 21 anos  Mas não necessariamente diferentes (probabilidade de irem a festas, obediência, probabilidade de terem comportamentos de risco, etc)  Tratadas na lei de uma forma diferente por uma restrição arbitrária (idade) 4

5  De facto: Esta lei aloca pessoas a grupos de tratamento e comparação  Grupo de tratamento: Pessoas com idades entre 20 anos e 11 meses e 20 anos, 11 meses e 29 dias  Grupo de controle: Pessoas que tenham acabado de fazer 21 anos e que já podem beber legalmente.  Ambos os grupos devem ser semelhantes em termos de características observáveis e não observáveis que afectam os resultados de interesse (taxas de mortalidade)  Desta forma, é possivel isolar o efeito de causalidade do consumo de alcóol nas taxas de mortalidade de adultos jovens 5 Exemplo de MRD (2)

6 Exemplo de MRD (3) Proporção de dias em que (1) bebe ou (2) bebe em grandes quantidades Tratamento causa um menor consumo de alcóol 6

7 Exemplo de MRD (4) Taxas de mortalidade por idade Aumento do consumo de alcóol causa taxas de mortalidade mais elevadas por volta dos 21 anos Mortalidade geral Mortalidade associada a acidentes, consumo de alcóol ou de drogas Restante mortalidade 7

8 A Lógica dos MRD • Alocação ao grupo de tratamento depende de uma pontuação ou de um ranking contínuo (ex.: Idade, vendas, resultado num exame, índice de pobreza) • Potenciais beneficiários são ordenados pela pontuação • Limite ou cut-off (ponto de corte) para ser “elegível” definido claramente ex-ante • Cut-off determina alocação a grupos de tratamento e de comparação • Alocação geralmente resulta de decisões administrativas, onde • a participação é limitada devido a restrições orçamentais • regras claras e não arbitrárias são utilizadas para a participação no programa 8

9 Exemplo (2): Subsídios (Matching Grants) • Governo oferece subsídios via matching grants a PMEs formais • Eligibilidade para receber estes subsídios baseada nas vendas do ano anterior: • Se as vendas foram superiores a $5,000, a empresa recebe a oferta do subsídio • Se as vendas foram inferiores a $5,000, a empresa não pode beneficiar do subsídio • Se as vendas foram divulgadas antes do anúncio da medida • não é possível manipular as vendas reportadas no ano anterior • fácil de medir as vendas e garantir a utilização da regra • MRD compara empresas mesmo acima de $5,000 (por exemplo $5,001) com empresas apenas abaixo de $5,000 (por exemplo $4,999) • Outro exemplo: pontuação de crédito (credit score) 9

10 Exemplo: MRD difuso (fuzzy design) • O que acontece se nem todas as empresas com menos de $5000 aderem ao programa? • Falta de conhecimento da existência do programa (não sabiam que o programa tinha sido introduzido) • Só as empresas interessadas aderem • Ambos implicam que haja uma seleção (empresas que aderem ao programa podem ser diferentes daquelas que não aderem em várias dimensões) • MAS: A percentagem de participantes altera-se descontinuadamente na fronteira (no ponto de corte), de zero para menos de 100% • Denominado MRD difuso 10

11 Probabilidade de Participação: Regra estanque e regra difusa 100% 0% 75% 0% 11 Regra estanque de recebimento do subsídio Regra difusa de recebimento do subsídio

12 Descontinuidades Estanques e Difusas  Descontinuidade Estanque A descontinuidade determina, com precisão, a condição de tratamento ▪ Todas as pessoas com 21 ou mais anos, consomem bebidas alcóolicas e mais ninguem o faz ▪ Todas as empresas com mais de $5,000 em vendas recebe subsídios e empresas menores não o fazem  Descontinuidade Difusa A percentagem de participantes muda de forma descontínua no cut-off, mas não de zero para 100% (ou de 100% para 0%) ▪ Algumas pessoas mais novas que 21 consomem bebidas alcóolicas e algumas com mais de 21 não consomem bebidas alcóolicas ▪ Regra determina eligibilidade, mas entre as empresas com mais de $5,000 em vendas, há apenas adesão parcial. 12

13 Validade Interna  Ideia geral:  Se o ponto de corte (cut-off) é arbitrário, as pessoas exactamente à esquerda e à direita desse ponto devem ser semelhantes  Diferenças nos resultados podem ser atribuídos à política  Principal condição  Nada mais acontece: na ausência da política, não observaríamos a discontinuidade nos resultados à volta deste limite em particular  Pode não ser o caso se ▪ Regra do uso de capacete para motorizadas também se aplica aos 21 anos ▪ Outra medida oferece equipamento a empresas com vendas superiores a $5,000 13

14 Perfil do Resultado Antes e Depois da Intervenção 14

15 Perfil do Resultado Antes e Depois da Intervenção Forma diferente 15

16 Validade Externa  Serão os resultados generalizáveis para além destes dois grupos que estamos a comparar?  Contrafatual em MRD  Indivíduos marginalmente excluídos dos benefícios  Exemplos: pessoas com menos de 21 mas com mais de 20 anos e 10 meses; empresas com vendas superiores a $5,000 mas menos que $5,500.  As conclusões de causalidade são limitadas às pessoas, lares, municípios, no cut-off  O impacto estimado é para individuos marginalmente ou por pouco elegíveis para participarem no programa  A extrapolação além deste ponto supõe premissas adicionais, geralmente não garantidas (ou diversos cut-offs)  Modelos difusos aumentam o problema 16

17 Análise Gráfica 17

18 Implementação de MRD: Detalhes  Maiores vantagens dos MRD  Transparência  Possibilidade de ilustrar a situação atraves do uso de gráficos  Maiores desvantagens dos MRD  Necessário que haja muitas observações à volta do cut-off  Todas as observações longe da fronteira devem ter menos importância  Porque? ▪ Apenas perto do cut-off, podemos assumir que é por acaso que as pessoas estão à esquerda ou à direita ▪ Por exemplo uma empresa com vendas anuais de $5,000 versus uma com $100,000 ▪ Ou uma pessoa com 16 anos versus outra com 25 18

19 Levantar as metas  Experiências naturais são eventos “naturais” que aproximam as propriedades de uma experiência  MRDs partilham as mesmas propriedades de uma experiência localmente no ponto de corte (cut-off)  Estas descontinuidades do “mundo real” são uma mina de ouro para aqueles que estão “à procura” de experiências naturais  19

20 Em conclusão  MRD são intrumentos úteis para identificar o efeito de causalidade  Vantagens ▪ MRD partilham as mesmas propriedades de uma experiência no local do ponto de corte (cut-off) ▪ Podem ser utilizados para avaliar intervenções ex-post tratando os pontos de corte como “experiências naturais” (com propriedades próximas de uma experiência mas não são designados como tal)  Desvantagens ▪ Os efeitos estimados do programa são apenas representativos das pessoas/empresas perto do ponto de corte ▪ MRDs necessitam de amostras muito grandes ▪ Pessoas/empresas podem ajustar o seu comportamento em anos subsequente em resposta ao limite ▪ Exemplo: Deixar de reportar vendas abaixo de $5,000 20

21 Em conclusão  Pode ser usado para desenhar uma avaliação quando a seleção aleatória não for possível  O design aplica-se a todos os programas avaliados por médias  Diversos pontos de corte para melhorar a validade externa  Pode ser usado para avaliar intervenções ex-post usando as descontinuidades como “experiências naturais”. 21

22 Obrigado Agradecemos o apoio financeiro de: Bank Netherlands Partnership Program (BNPP), Bovespa, CVM, Gender Action Plan (GAP), Belgium & Luxemburg Poverty Reduction Partnerships (BPRP/LPRP), Knowledge for Change Program (KCP), Russia Financial Literacy and Education Trust Fund (RTF), and the Trust Fund for Environmentally & Socially Sustainable Development (TFESSD)