O Uso de Avaliações Aleatoria para Melhorar Políticas e Programas

Apresentação em tema: "O Uso de Avaliações Aleatoria para Melhorar Políticas e Programas"— Transcrição da apresentação:

1 O Uso de Avaliações Aleatoria para Melhorar Políticas e Programas
Arianna Legovini O Uso de Avaliações Aleatoria para Melhorar Políticas e Programas Esta apresentação se baseia nas apresentações anteriores de Muna Meky, Arianna Legovini, Jed Friedman, David Evans, Sebastian Martinez, Florence Kondylis, Stefano Bertozzi e Rachel Glennester. LEGENDA: Utilizando Avaliações Randômicas para Melhorar a Política Oficina AADAPT na América Latina Brasília, 16 – 20 de novembro de 2009

2 Objetivo Identificar o Verdadeiro Efeito de um Programa
Separar o impacto do programa de outros fatores >>Qual o efeito causal de um programa? Necessidade de descobrir o que teria ocorrido sem programa Não se pode observar a mesma pessoa com e sem o programa >>Conta com análise contrafatual (grupo de controle) Objetivo

3 Correlação não é causalidade
Questao: O credito incrementa os lucros das empresas? Suponha que observamos que as empresas com mais de crédito também realizar lucros maiores OU 1 Lucros mais elevados Uso de crédito 2 Conhecimentos de gestão do negócio Crédito ?

4 Ilustração: Programa de Crédito (1)
Grupo de tratamento (+6) aumento da margem bruta de exploração Um programa de crédito foi oferecido em 2008. Por que o aumento da margem? Ilustração: Programa de Vale-Fertilizante (1) Antes Depois Grupo de Tratamento Grupo de Controle 4

5 Ilustração: Programa de Crédito (2)
Grupo de controle Grupo de tratamento (+) Impacto do programa (+) Impacto de outros fatores (externos) Ilustração: Programa de Vale-Fertilizante (1) Antes Depois Grupo de Tratamento Grupo de Controle Antes Depois 5

6 Ilustração: Programa de Crédito (Antes-e-Depois)
Grupo de controle Grupo de tratamento (+) Medida ENVIESADA do impacto do programa Ilustração: Programa de Vale-Fertilizante (2) Grupo de Controle Grupo de Tratamento Antes Depois Antes Depois 6

7 Motivação Difícil distinguir a causalidade da correlação na análise estatística dos dados existentes Independente da complexidade da estatística, só mostra que X (programa de credito) vai com Y (margem) Difícil corrigir características não observadas, como motivação / habilidade Motivação / habilidade podem ser os principais fatores a serem corrigidos Viés de seleção: um grande problema para a avaliação do impacto Os projetos tiveram início em determinado tempo e local por motivos particulares Os participantes podem ser seleccionados ou podem-se auto-seleccionar para participar num programa (critérios de elegibilidade) As pessoas que têm acesso a crédito serão provavelmente muito diferentes do empresário médio; analisar os lucros dessas pessoas poderá dar uma impressão errada dos benefícios do financiamento Motivação

8 Motivação Avaliação retrospectiva de impacto:
Ao coletar os dados depois do evento, você não sabe como os participantes e não participantes podiam ser comparados antes do início do programa É necessário tentar entender porquê o projeto foi implementado naquele local e naquele período, após o evento. A avaliação prospectiva permite elaborar a avaliação para que responda à pergunta que você precisa responder Permite a coleta dos dados necessários Motivação 8

9 Desenho Experimental Todos os participantes do estudo têm a mesma chance de estar no grupo de tratamento ou de controle Intencionalmente, os grupos de tratamento e de controle têm as mesmas características (observadas e não observadas), na média A única diferença é o tratamento Com grandes amostras, todas as características convergem para a média Estimativas de impacto não enviesadas Desenho Experimental

10 Opções de Randomização
Sorteio (apenas alguns entram no programa) Entrada gradual (todos entram eventualmente) Variação no tratamento (cobertura integral, diferentes opções) Desenho de incentivo (no caso de adesão parcial) Todos podem entrar, alguns são encorajados a fazê-lo Entre tratamentos que acreditamos que ex ante têm a mesma probabilidade de funcionar Opções para Randomização 10

11 Exemplo no desenvolvimento do sector privado
Exemplo no desenvolvimento do sector privado Sorteio (apenas alguns entram no programa) Sorteio para ter acesso a novos empréstimos Entrada gradual (entrada faseada) Alguns grupos ou pessoas recebem crédito cada ano Variação no tratamento Alguns recebem um matching grant, outros crédito, outros serviços de apoio ao desenvolvimento do negócio Incentivo Um balcão bancário por distrito Alguns empresarios recebem visita ao domicílio para explicar o empréstimo, outros não recebem a visita 1111 11

12 Loteria entre os elegíveis
Deve recebir o programa Inelegível para o programa Aleatorizar quem recebe o programa Sorteio entre os qualificados

13 Oportunidades para a aleatorização (1)
As limitações orçamentárias impedem a cobertura integral A distribuição aleatória (sorteio) é justa e transparente Capacidade limitada de implementação A introdução gradual oferece a todos a mesma chance de serem os primeiros Inexistência de evidências sobre qual a melhor alternativa Distribuição aleatória para alternativas com a mesma chance ex ante de sucesso Oportunidades 13

14 Oportunidades para a aleatorização (2)
Adesão ao programa existente não é completa Fornecer informações ou incentivos para a adesão de alguns Um novo programa piloto Boa oportunidade de testar o desenho antes de expandi-lo Mudanças operacionais em programas em andamento Boa oportunidade de testar as mudanças antes de expandi-las Introduzir innovaçoes de manera aleatoria Oportunidades de Randomização 14

15 Aleatorização em diferentes níveis
Individual (donos de empresa) Empresa Associação empresarial Nível da aldeia Jurisdição/ distrito administrativo Associação de mulheres Grupos jovens Nível da escola Os diferentes níveis que podem ser randomizados

16 Aleatorização individual ou em grupo?
A aleatorização è feita o mesmo nivel que o nivel de intervenção Mais fácil obter amostras grandes o bastante se os indivíduos forem aleatorizados Aleaorização individual Aleaorização de grupos Randomização individual ou em grupo? 16

17 Unidade de Aleatorização
A aleatorização em nível mais alto às vezes é necessária: Limitações políticas a tratamentos diferenciados na comunidade Limitações práticas – confusão para implementar diferentes versões Os efeitos sobre unidades vizinhas podem demandar uma aleatorização em nível mais alto Aleatorizar ao nível de grupo requer muitos grupos por causa da correlação dentro da comunidade Unidade de Randomização

18 Elementos do desenho experimental
População alvo PMEs Participantes potenciais Costureiros Fabricantes de móveis Amostra de avaliação Alocação randômica Grupo de Tratamento Grupo de Controle Participantes  Desistentes Mulheres particularmente pobres Elementos de um desenho experimental População Alvo Agricultores Comerciais Participantes potenciais Produtores de milho Rizicultores Amostra de Avaliação Distribuição randômica Grupo de Tratamento Participantes Evasão Grupo de controle 18

19 Validade Externa e Interna (1)
A amostra é representativa da população total Os resultados na amostra representam os resultados na população Podemos aplicar as lições a toda a população Validade interna O efeito estimado da intervenção ou do programa sobre a população avaliada reflete o impacto real naquela população Ou seja, os grupos de intervenção e de controle são comparáveis Validade externa e interna (1)

20 Validade Externa e Interna(2)
Uma avaliação pode ter validade interna sem validade externa Exemplo: extrapolar os resultados de uma avaliação randomizada de um incentivo às empresas informais na área urbana para se registarem para um programa semelhante nas áreas rurais Uma avaliação sem validade interna não pode ter validade externa Se você desconhece se um programa funciona em um local, então você não sabe nada sobre se ele funciona em qualquer outro lugar. Validade externa e interna (2)

21 Validade externa & interna
População Nacional Randomização Amostras da População Nacional Validade Interna e Externa

22 Validade interna (APENAS)
Estratificação Randomização População Estrato do População Amostras do Estrato da População Validade interna

23 Representativo porém enviesado: inútil
Randomização População Nacional Distribuição Enviesada INÚTIL! Representativa mas polarizada: inútil 23

24 Exemplo: programa de crédito, validade interna
Amostra de mulheres empresárias Distribuição Randômica Exemplo: Programa de Vales-Fertilizante, validade interna 24

25 Exemplo: programa de crédito
Sequência básica de tarefas para a avaliação Listar as empresas elegíveis nas áreas alvo ex. PMEs com volume de negócios abaixo de um certo limite Dados de base (antes do programa) das empresas Distribuição randômica ao diferentes tratamentos, o tratamento e controle Projeto implementado Pesquisa de seguimento (follow-up) Quais exemplos poderiam ser usados no contexto de educação A analogia é como um novo medicamento é testado. Grande diferença entre experimentos médicos e experimentos sociais: os experimentos médicos permitem estudos duplo-cegos. O que significa: jogar uma moeda Exemplo: CDD em Sierra Leone 25

26 Eficácia e Efetividade
Prova de conceito Menor escala Piloto em condições ideais Efectividad Em escala Arranjos de implementação prevalentes – “vida real” Maior ou menor impacto? Maiores ou menores custos? Impactos: mais baixos, por exemplo, exterminação de vermos, malária, etc., coisa que precisam de uma massa crítica para serem erradicadas / mais alto: condições ideais Custos: economias de escala x extrapolação ineficiente (de ONG para sistemas governamentais ineficientes, por exemplo) Eficácia e Eficiência 26

27 Vantagens de “experimentos”
Impacto causal claro e preciso Em relação a outros métodos Muito mais fácil de analisar Mais barato (tamanhos menores de amostra) Mais fácil de explicar Mais convincente para os formuladores de política Metodologicamente incontroverso Vantagens dos “experimentos”

28 E se houver restrições sobre a aleatorização?
Limitações orçamentárias: randomizar entre os mais necessitados Limitações de capacidade de implantação: randomizar quem recebe primeiro... (ou a seguir se você já houver começado) Promover o programa aleatoriamente para alguns, nao para outros... (participantes fazem suas próprias escolhas sobre adoção) E se houver limitações à randomização? 28

29 Divulgação Randômica (Desenho de Encorajamento)
Quem recebe divulgação tem maior chance de participar Como quem recebe foi escolhido aleatoriamente, não há relação com observáveis / não observáveis Compare os resultados médios dos dois grupos: com / sem divulgação Efeito da oferta do programa (Intenção de Tratar) Efeito da intervenção (Tratamento Médio no Tratado) ATT= efeito da oferta do programa / proporção dos que aderiram Promoção randômica (desenho de incentivo)

30 Aleatorização Alocado para tratamento Alocado para controle Diferença
Impacto: efeito médio do tratamento sobre os tratados Não-tratados Tratados Proporção tratada 100% 0% Impacto da alocação Resultado médio 103 80 23 Estimativa da intenção de tratar 23/100%=23 Tratamento médio sobre os tratados Randomização Distribuído para tratamento Distribuído para controle Diferença Impacto: efeito médio do tratamento no tratado Não tratado Tratado Proporção tratada Resultado médio 100% de impacto da distribuição 23 estimativa de pretende tratar 23/100% = 23 tratamento médio no tratado

31 Incentivo randômico Incentivados Não incentivados Diferença
Impacto: efeito médio do tratamento sobre os que aderiram Não tratados (não aderiram) Tratados (aderiram) Proporção tratada 70% 30% 40% Impacto do incentivo 100% Resultado 100 92 8 Estimativa da intenção de tratar 8/40%=20 Tratamento médio sobre os que aderiram Diferença distribuído RANDOMICAMENTE não distribuído ATT não talvez sim impacto sobre o não impacto sobre o talvez impacto sobre o sim R-ENC incentivado não incentivado diferença ATC não talvez sim impacto sobre o não impacto sobre talvez impacto sobre sim Incentivo Randômico Incentivado Não incentivado Diferença Impacto: efeito médio do tratamento sobre aqueles que obedecem Não tratados (não aderiram ao programa) Tratados (aderiram ao programa) Proporção tratada Resultado 40% impacto do incentivo 8 Estimativa de pretende tratar 8/40% = 20 Tratamento médio sobre aqueles que obedecem

32 Erros comuns a evitar Cálculo incorreto da amostra
Randomizar um distrito para tratamento e outro para controle e calcular o tamanho da amostra sobre o número de pessoas que forem entrevistadas Coleta de dados diferente no tratamento e no controle Contagem dos que foram distribuídos para tratamento mas não aderiram ao programa como controle – não desfaça sua randomização!!! Armadilhas comuns a serem evitadas 32

33 Quando é que é realmente impossível?
O tratamento já foi alocado e anunciado e não há possibilidade de expansão do tratamento O programa já acabou (retrospectiva) Já há adesão universal O programa é nacional e não exclui ninguém A amostra é muito pequena para ser válida 2/1/10 3333

34 Obrigada Agradecendo o apoio financiero de: Bank Netherlands Partnership Program (BNPP), Bovespa, CVM, Gender Action Plan (GAP), Belgium & Luxemburg Poverty Reduction Partnerships (BPRP/LPRP), Knowledge for Change Program (KCP), Russia Financial Literacy and Education Trust Fund (RTF), and the Trust Fund for Environmentally & Socially Sustainable Development (TFESSD), is gratefully acknowledged.