A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Aula 5 – Diferenças em Diferenças Material Elaborado por Betânia Peixoto.

Apresentações semelhantes


Apresentação em tema: "Aula 5 – Diferenças em Diferenças Material Elaborado por Betânia Peixoto."— Transcrição da apresentação:

1 Aula 5 – Diferenças em Diferenças Material Elaborado por Betânia Peixoto

2 Diferenças em Diferenças Método de avaliação de impacto não experimental quando as informações de ANTES e de DEPOIS do projeto são disponíveis.

3 Plano de Aula Revisão das metodologias de estimação de impacto; Método não experimental: diferenças em diferenças; Resumo das metodologias de avaliação de impacto; Validade interna e externa da avaliação.

4 Revisão das metodologias de estimação de impacto

5 Na aula anterior Método experimental: aleatorização/sorteio Obtém um grupo controle que é o contrafactual perfeito dos tratados, pois a forma de seleção garante, estatisticamente, grupos semelhantes em variáveis que se observa e que não se observa. Método não experimental: regressão linear múltipla Quando não se realizou o sorteio dos tratados, o grupo controle não é estatisticamente semelhante ao tratado. Para corrigir as implicações das diferenças do indicador de impacto antes do projeto entre os grupos, estima-se o impacto controlando pelas variáveis que se observa. Note que esse método controla/corrige o impacto ao considerar variáveis que se observa, mas ainda resta os problemas causados por variáveis não observadas.

6 Nessa aula Método não experimental: diferenças em diferenças Quando não se realizou o sorteio dos tratados e existem informações do indicador de impacto antes e após o projeto, para o tratado e o controle, é possível controlar/corrigir o impacto dos problemas advindos das variáveis que se observa e que não se observa. Esse método também utiliza a regressão linear múltipla para estimar o impacto, porém com a base de dados organizados de maneira diversa ao visto na aula anterior.

7 Método não experimental: diferenças em diferenças

8 Diferenças em diferenças Quando existem informações sobre os grupos tratado e controle em dois momentos no tempo – no período anterior ao projeto social e no período após ao projeto social; Corrige o impacto estimado pelas variáveis observadas e não observadas. Como os dados de antes do projeto estão disponíveis, sabe- se quais são as diferenças existentes entre os grupos tratado e controle antes do projeto. Como considera-se a o indicador de impacto inicial (antes do projeto), controla-se pelas condições iniciais observadas e não observadas. Assim, resolve-se o problema das diferenças existentes entre os grupos antes do tratamento.

9 Problema Se o método de diferenças em diferenças controla o impacto estimado pelas diferenças iniciais observadas e não observadas, então ele é um método que substitui perfeitamente o sorteio? A resposta é Não. Como os grupos não são similares e as diferenças são controladas, pode ocorrer algum fato exógeno ao projeto que afete somente o indicador de impacto de um dos grupos (tratado ou controle). Se isso ocorrer, o método não consegue estimar o impacto perfeito. Ou seja, controlar as diferenças iniciais não é a mesma coisa de selecionar pessoas similares, pois algo pode afetar o indicador de impacto de apenas um grupo..

10 Exemplo: Projeto: “Melhoria”. Objetivo: aumentar a renda dos participantes. Ações: curso de formação para jovens. Indicador de impacto: renda. Seleção dos participantes: primeiros inscritos. Controle: demais inscritos. Banco de dados: informações coletadas antes e um ano após o projeto.

11

12 Intuitivamente:

13 VariáveisGrupo tratadoGrupo Controle Renda Média Antes56168 Renda Média Depois Diferença de renda5121 Impacto ( ) = 30  impacto positivo! Os tratados, em média, tiveram um aumento na renda 30 reais superior ao aumento dos controles. Cuidado!!! Assim como no teste de diferença de média a interpretação do resultado não pode ser direta. Aqui também obtêm-se médias. A variância dos dados interfere no resultado. Intuitivamente:

14 Como fazer? O Excel faz todos os cálculos desde que se forneça os dados corretamente organizados. Passos: 1)Monte o banco de dados com as variáveis dos tratados e os controles; 2)Crie uma variável “projeto”, com valores “1” para os tratados e “0” para os controles; 3)Crie uma variável “data”, com valores “1” para tratados e controles após o projeto e “0” para tratados e controles antes do projeto; 4)Crie uma variável “projeto*data”, por meio da multiplicação da variável “projeto” pela variável “data”; 5)Obtenha o valor do indicador de impacto para os tratados e controles antes e após o projeto;

15 Passos (continuação): 6)Obtenha valores das variáveis que afetam o indicador de impacto e que podem variar de forma diferente entre os entre os tratados e controles; 7)Estime a regressão linear múltipla: “dados > análise de dados > regressão”; 8)Interprete o resultado: a coluna "coeficiente" fornece o coeficiente que indica qual a variação no indicador de impacto resultante da variação de uma unidade na variável analisada. Antes de interpretá- lo, verifica-se as colunas do intervalo de confiança. Se o zero estiver no intervalo de confiança não se rejeita a hipótese de que ele seja nulo. O coeficiente que interessa para ver o impacto é o relacionado à variável “projeto*data”.

16 RESUMO DOS RESULTADOS Estatística de regressão R múltiplo0, R-Quadrado0, R-quadrado ajustado0, Erro padrão124, Observações40 ANOVA glSQMQF F de significação Regressão ,333332, ,08857 Resíduo ,22222 Total Coeficiente sErro padrãoStat tvalor-PIC - 95% Interseção16839,3674,2680,00088,161247,839 projeto-11255,673-2,0120, ,9090,909 depois2155,6730,3770,708-91,909133,909 projeto*depois3078,7330,3810, ,678189,678 Exemplo: projeto “Melhoria”.

17 Resumo dos métodos de avaliação de impacto

18 Os grupos tratado e controle são escolhidos por sorteio. Propriedades estatísticas garantem que os dois grupos, na média, serão muito semelhantes. Vantagem: É o método mais simples de operacionalizar. É o método de resultado mais confiável. Limitações: Tem que ser pensado no início do projeto. 1. Metodologia experimental ou de Seleção Aleatória

19 Indicador de impacto após a implementação da política Importante: para concluir acerca do impacto faz-se o teste de diferença de médias!!!!

20 2. Método não experimental: regressão. Observa-se os tratados e os controles depois do programa. A seleção não foi por sorteio. Portanto, os grupos devem ser estatisticamente diferentes. É usado quando temos dados depois do projeto e a seleção não foi aleatória. Vantagem: resolve o problema de diferenças observadas entre os participantes. Limitações: o resultado não é confiável se algo ocorreu de forma isolada em apenas um grupo.

21 Base de dados após a implementação da política Importante: para concluir acerca do impacto faz-se a regressão!!!!

22 3. Método não experimental: diferenças em diferenças Os tratados e os controles são observados e comparados antes e depois do programa. Quando fazemos isso o que estamos comparando é a variação do crescimento do indicador de impacto. É usado quando temos dados antes e depois do projeto. Vantagem: resolve o problema de diferenças observadas e não observadas antes do programa. Limitações: o resultado não é confiável se algo ocorrer entre antes e depois do programa de forma isolada em apenas um grupo. Temos que ter os dados em dois momentos no tempo.

23 Importante: para concluir acerca do impacto faz-se a regressão de diferenças em diferenças !!!!!

24 Validade Interna e Externa da Avaliação

25 Validade Interna Garante que o desenho da avaliação identifica corretamente o efeito causal do projeto. A avaliação conseguem isolar o verdadeiro impacto do projeto. Se a avaliação possui validade interna significa que os resultados valem para aquele contexto de avaliação – aqueles tratados, naquele momento do tempo. Ou seja, apenas para os beneficiários que participaram daquela edição do programa, com seu formato específico, etc. Nada garante que a repetição do programa com o mesmo formato em outro momento no tempo e para outras pessoas terá o mesmo impacto do que o encontrado com a avaliação.

26 Como assegurar a validade interna O experimento aleatório bem sucedido!!!! Porque? O sorteio dos tratados entre os indivíduos elegíveis garante a semelhança entre os grupos tratado e controle nas características observáveis e não observáveis. Isso decorre do fato de todos os elegíveis terem a mesma probabilidade de serem sorteados para participar do projeto. O grupo controle é totalmente similar ao contrafactual.

27 E se não é possível o sorteio? Garante-se a validade interna dos métodos não experimentais por meio de três fatores: 1.Tamanho da amostra 2.Variáveis não observadas 3.Grupos muito diferentes – Suporte comum

28 1. Validade Interna: Tamanho da amostra Como o método de regressão é uma análise estatística, quanto maior o número de indivíduos analisados (tratados e controles) maior a confiança nos resultados. Lembrem-se a validade da estatística se relaciona diretamente com o tamanho da amostra. Quanto maior for a amostra em relação ao tamanho da população, mais precisas serão as estimativas. Quanto menor a amostra, maior é a probabilidade de se calcular um resultado estatisticamente não significativo, mesmo que o projeto tenha impacto.

29 2. Validade Interna: variáveis não observadas Quando acredita-se na existência de muitas variáveis não observadas relacionadas ao indicador de impacto, deve-se empregar o método de diferenças em diferenças. O método de regressão linear múltipla apenas com dados de depois não tem validade interna, nesse caso específico.

30 2. Validade Interna: variáveis não observadas Exemplo: projeto Melhoria Objetivo: aumentar a renda dos participantes. Indicador de impacto: renda do indivíduo Os jovens se diferem em diversos atributos: anos de estudo, motivação, interesse etc. Anos de estudo: avaliador observa. Motivação, interesse: avaliador não observa

31 3. Validade Interna: suporte comum O método de diferenças em diferenças controla a estimação do indicador de impacto por variáveis não observadas. Entretanto, não é capaz de controlar para alterações exógenas que afetem o indicador de impacto de apenas um grupo. Portanto, quanto mais diferentes forem tratados dos controles maior a probabilidade de algo ocorrer em apenas um grupo. Para manter a validade interna de uma avaliação é importante que tratados e controles sejam o mais parecidos possível. Suporte Comum: os grupos tratado e controle diferem, mas dentro de um limite. Se forem muito diferentes estarão fora do suporte comum e a avaliação não terá validade interna.

32 Validade Externa Garante a generalização do resultado da avaliação para outros beneficiários do público alvo e em outros momentos do tempo. Se a avaliação tem validade externa significa que se pode replicar o projeto com outros grupos do público alvo e obter impactos semelhantes.

33 Como assegurar a validade externa A amostra de tratados e controles é representativa do público alvo!!!! Porque? Como a amostra de indivíduos que participaram da avaliação é representativa da população de elegíveis, pode-se considerar que qualquer resultado obtidos com base nela seria o mesmo para toda a população.

34 Validade Interna e Externa - Conclusão Para que a avaliação tenha: validade interna o grupo controle deve representar os tratados. validade externa os indivíduos da avaliação (tratados e controles) devem representar a população. Quando não há garantia da validade interna e da validade externa, deve-se questionar os resultados da avaliação de impacto.

35 Comentários Finais Nessa aula: discutiu-se como fazer a avaliação quando está disponível os dados antes e após o projeto. Além disso, analisou-se a validade interna e externa da avaliação de impacto. Próxima aula: introdução à avaliação de retorno econômico.


Carregar ppt "Aula 5 – Diferenças em Diferenças Material Elaborado por Betânia Peixoto."

Apresentações semelhantes


Anúncios Google