Aula 5 – Diferenças em Diferenças

Apresentação em tema: "Aula 5 – Diferenças em Diferenças"— Transcrição da apresentação:

1 Aula 5 – Diferenças em Diferenças
Material Elaborado por Betânia Peixoto

2 Diferenças em Diferenças
Método de avaliação de impacto não experimental quando as informações de ANTES e de DEPOIS do projeto são disponíveis.

3 Plano de Aula Revisão das metodologias de estimação de impacto;
Método não experimental: diferenças em diferenças; Resumo das metodologias de avaliação de impacto; Validade interna e externa da avaliação.

4 Revisão das metodologias de estimação de impacto

5 Na aula anterior Método experimental: aleatorização/sorteio
Obtém um grupo controle que é o contrafactual perfeito dos tratados, pois a forma de seleção garante, estatisticamente, grupos semelhantes em variáveis que se observa e que não se observa. Método não experimental: regressão linear múltipla Quando não se realizou o sorteio dos tratados, o grupo controle não é estatisticamente semelhante ao tratado. Para corrigir as implicações das diferenças do indicador de impacto antes do projeto entre os grupos, estima-se o impacto controlando pelas variáveis que se observa. Note que esse método controla/corrige o impacto ao considerar variáveis que se observa, mas ainda resta os problemas causados por variáveis não observadas. Professor: Esse é o momento de retomar a aula anterior. frisar que se não é observado, não se pode incluir na regressão

6 Nessa aula Método não experimental: diferenças em diferenças
Quando não se realizou o sorteio dos tratados e existem informações do indicador de impacto antes e após o projeto, para o tratado e o controle, é possível controlar/corrigir o impacto dos problemas advindos das variáveis que se observa e que não se observa. Esse método também utiliza a regressão linear múltipla para estimar o impacto, porém com a base de dados organizados de maneira diversa ao visto na aula anterior. Professor: Os alunos costumam ter dificuldade de entender porque os métodos são diferentes se os dois usam regressão. Portanto, frisar que a diferença está na forma como os dados estão organizados.

7 Método não experimental: diferenças em diferenças

8 Diferenças em diferenças
Quando existem informações sobre os grupos tratado e controle em dois momentos no tempo – no período anterior ao projeto social e no período após ao projeto social; Corrige o impacto estimado pelas variáveis observadas e não observadas. Como os dados de antes do projeto estão disponíveis, sabe-se quais são as diferenças existentes entre os grupos tratado e controle antes do projeto. Como considera-se a o indicador de impacto inicial (antes do projeto), controla-se pelas condições iniciais observadas e não observadas. Assim, resolve-se o problema das diferenças existentes entre os grupos antes do tratamento. Problematizar: então se controla pelas variáveis observadas e não observadas

9 Problema Se o método de diferenças em diferenças controla o impacto estimado pelas diferenças iniciais observadas e não observadas, então ele é um método que substitui perfeitamente o sorteio? A resposta é Não. Como os grupos não são similares e as diferenças são controladas, pode ocorrer algum fato exógeno ao projeto que afete somente o indicador de impacto de um dos grupos (tratado ou controle). Se isso ocorrer, o método não consegue estimar o impacto perfeito. Ou seja, controlar as diferenças iniciais não é a mesma coisa de selecionar pessoas similares, pois algo pode afetar o indicador de impacto de apenas um grupo. .

10 Exemplo: Projeto: “Melhoria”.
Objetivo: aumentar a renda dos participantes. Ações: curso de formação para jovens. Indicador de impacto: renda. Seleção dos participantes: primeiros inscritos. Controle: demais inscritos. Banco de dados: informações coletadas antes e um ano após o projeto.

11 Esse é o banco de dados do projeto.

12 Intuitivamente: Professor: explicar o por quê do nome diferenças em diferenças: porque faz duas subtrações. Fazer estas contas com eles no quadro: Controle: =21 Tratado: =51 Tratado-controle=30 impacto de 30 reais na renda Se tivéssemos olhado apenas para o indicador de impacto depois do projeto (metodologia da aula anterior) concluiríamos que o projeto não teve impacto porque a renda do controle é 87 reais maior do que o tratado devido a característica que não observamos. Mas na realidade o projeto teve impacto na renda dos tratados e a aumentou, em média, em 30 reais em relação à renda do controle.

13 Intuitivamente: Cuidado!!!
Variáveis Grupo tratado Grupo Controle Renda Média Antes 56 168 Renda Média Depois 107 189 Diferença de renda 51 21 Impacto ( ) = 30  impacto positivo! Os tratados, em média, tiveram um aumento na renda 30 reais superior ao aumento dos controles. Cuidado!!! Assim como no teste de diferença de média a interpretação do resultado não pode ser direta. Aqui também obtêm-se médias. A variância dos dados interfere no resultado. A regressão linear múltipla nos ajuda a estimar o impacto.

14 Como fazer? O Excel faz todos os cálculos desde que se forneça os dados corretamente organizados. Passos: Monte o banco de dados com as variáveis dos tratados e os controles; Crie uma variável “projeto”, com valores “1” para os tratados e “0” para os controles; Crie uma variável “data”, com valores “1” para tratados e controles após o projeto e “0” para tratados e controles antes do projeto; Crie uma variável “projeto*data”, por meio da multiplicação da variável “projeto” pela variável “data”; Obtenha o valor do indicador de impacto para os tratados e controles antes e após o projeto;

15 Passos (continuação):
Obtenha valores das variáveis que afetam o indicador de impacto e que podem variar de forma diferente entre os entre os tratados e controles; Estime a regressão linear múltipla: “dados > análise de dados > regressão”; Interprete o resultado: a coluna "coeficiente" fornece o coeficiente que indica qual a variação no indicador de impacto resultante da variação de uma unidade na variável analisada. Antes de interpretá-lo, verifica-se as colunas do intervalo de confiança. Se o zero estiver no intervalo de confiança não se rejeita a hipótese de que ele seja nulo. O coeficiente que interessa para ver o impacto é o relacionado à variável “projeto*data”. Professor: explicar que o coeficiente da variável “projeto”, agora, mede o quanto o indicador de impacto é explicado pelas diferenças existentes entre os dois grupos. (na aula anterior, ela explicava o impacto do projeto, pois supúnhamos que a única diferença entre os grupos era o projeto, e que as demais diferenças tinham sido controladas). Agora, temos como controlar pelas diferenças observadas e não observadas iniciais, e portanto é essa variável que faz esse controle. O coeficiente da variável “data” mede o quanto do indicador de impacto é explicado pela passagem do tempo, ou seja, o quanto o indicador variou independente do projeto ou de outros fatores.

16 Exemplo: projeto “Melhoria”.
RESUMO DOS RESULTADOS Estatística de regressão R múltiplo 0, R-Quadrado 0, R-quadrado ajustado 0, Erro padrão 124, Observações 40 ANOVA gl SQ MQ F F de significação Regressão 3 109300 36433,33333 2, 0,08857 Resíduo 36 557900 15497,22222 Total 39 667200 Coeficientes Stat t valor-P IC - 95% Interseção 168 39,367 4,268 0,000 88,161 247,839 projeto -112 55,673 -2,012 0,052 -224,909 0,909 depois 21 0,377 0,708 -91,909 133,909 projeto*depois 30 78,733 0,381 0,705 -129,678 189,678 Professor: explicar cada coeficiente no contexto do nosso exemplo.

17 Resumo dos métodos de avaliação de impacto

18 1. Metodologia experimental ou de Seleção Aleatória
Os grupos tratado e controle são escolhidos por sorteio. Propriedades estatísticas garantem que os dois grupos, na média, serão muito semelhantes. Vantagem: É o método mais simples de operacionalizar. É o método de resultado mais confiável. Limitações: Tem que ser pensado no início do projeto.

19 Indicador de impacto após a implementação da política
Importante: para concluir acerca do impacto faz-se o teste de diferença de médias!!!!

20 2. Método não experimental: regressão.
Observa-se os tratados e os controles depois do programa. A seleção não foi por sorteio. Portanto, os grupos devem ser estatisticamente diferentes. É usado quando temos dados depois do projeto e a seleção não foi aleatória. Vantagem: resolve o problema de diferenças observadas entre os participantes. Limitações: o resultado não é confiável se algo ocorreu de forma isolada em apenas um grupo.

21 Base de dados após a implementação da política
Indicador de impacto: renda Sexo:1- homem; 0- mulher Estado Civil: 1-solteiro/divorciado; 2-casado; 3-viúvo. Importante: para concluir acerca do impacto faz-se a regressão!!!!

22 3. Método não experimental: diferenças em diferenças
Os tratados e os controles são observados e comparados antes e depois do programa. Quando fazemos isso o que estamos comparando é a variação do crescimento do indicador de impacto. É usado quando temos dados antes e depois do projeto. Vantagem: resolve o problema de diferenças observadas e não observadas antes do programa. Limitações: o resultado não é confiável se algo ocorrer entre antes e depois do programa de forma isolada em apenas um grupo. Temos que ter os dados em dois momentos no tempo. Dar exemplo gráfico que ajuda muito a compreensão..

23 Importante: para concluir acerca do impacto faz-se a regressão de diferenças em diferenças !!!!!

24 Validade Interna e Externa da Avaliação

25 Validade Interna Garante que o desenho da avaliação identifica corretamente o efeito causal do projeto. A avaliação conseguem isolar o verdadeiro impacto do projeto. Se a avaliação possui validade interna significa que os resultados valem para aquele contexto de avaliação – aqueles tratados, naquele momento do tempo. Ou seja, apenas para os beneficiários que participaram daquela edição do programa, com seu formato específico, etc. Nada garante que a repetição do programa com o mesmo formato em outro momento no tempo e para outras pessoas terá o mesmo impacto do que o encontrado com a avaliação. Professor: realçar que os resultados da avaliação valem para o grupo avaliado.

26 Como assegurar a validade interna
O experimento aleatório bem sucedido!!!! Porque? O sorteio dos tratados entre os indivíduos elegíveis garante a semelhança entre os grupos tratado e controle nas características observáveis e não observáveis. Isso decorre do fato de todos os elegíveis terem a mesma probabilidade de serem sorteados para participar do projeto. O grupo controle é totalmente similar ao contrafactual. Em muitas áreas uma avaliação só tem validade interna se for um experimento aleatório – medicina, farmacologia, etc. Por exemplo o teste de medicamento, que só é aceito se passar por um experimento aleatório. Na área social avaliações não experimentais bem fundamentadas também são consideradas com validade interna.

27 E se não é possível o sorteio?
Garante-se a validade interna dos métodos não experimentais por meio de três fatores: Tamanho da amostra Variáveis não observadas Grupos muito diferentes – Suporte comum

28 1. Validade Interna: Tamanho da amostra
Como o método de regressão é uma análise estatística, quanto maior o número de indivíduos analisados (tratados e controles) maior a confiança nos resultados. Lembrem-se a validade da estatística se relaciona diretamente com o tamanho da amostra. Quanto maior for a amostra em relação ao tamanho da população, mais precisas serão as estimativas. Quanto menor a amostra, maior é a probabilidade de se calcular um resultado estatisticamente não significativo, mesmo que o projeto tenha impacto. Professor: 100 indivíduos (somando tratado e controle) é considerado um tamanho amostral mínimo razoável. Mas algumas vezes com 80 indivíduos é possível ter resultados interessantes. O que não pode é avaliar com 10 ou 20 indivíduos. Não existe um número “mágico” para o tamanho amostral.

29 2. Validade Interna: variáveis não observadas
Quando acredita-se na existência de muitas variáveis não observadas relacionadas ao indicador de impacto, deve-se empregar o método de diferenças em diferenças. O método de regressão linear múltipla apenas com dados de depois não tem validade interna, nesse caso específico. Relembrar o que é validade interna

30 2. Validade Interna: variáveis não observadas
Exemplo: projeto Melhoria Objetivo: aumentar a renda dos participantes. Indicador de impacto: renda do indivíduo Os jovens se diferem em diversos atributos: anos de estudo, motivação, interesse etc. Anos de estudo: avaliador observa. Motivação, interesse: avaliador não observa Se acharmos que motivação e interesse são atributos importantes para determinar a renda do indivíduo, temos que estimar o impacto pelo método de diferenças em diferenças que controla por características não observáveis. Se utilizarmos o método de regressão apenas com dados de depois do projeto (como visto na aula anterior) o impacto estimado estará errado, pois não estará controlado pelas características não observadas, não terá validade interna.

31 3. Validade Interna: suporte comum
O método de diferenças em diferenças controla a estimação do indicador de impacto por variáveis não observadas. Entretanto, não é capaz de controlar para alterações exógenas que afetem o indicador de impacto de apenas um grupo. Portanto, quanto mais diferentes forem tratados dos controles maior a probabilidade de algo ocorrer em apenas um grupo. Para manter a validade interna de uma avaliação é importante que tratados e controles sejam o mais parecidos possível. Suporte Comum: os grupos tratado e controle diferem, mas dentro de um limite. Se forem muito diferentes estarão fora do suporte comum e a avaliação não terá validade interna. Relembrar o que é validade interna

32 Validade Externa Garante a generalização do resultado da avaliação para outros beneficiários do público alvo e em outros momentos do tempo. Se a avaliação tem validade externa significa que se pode replicar o projeto com outros grupos do público alvo e obter impactos semelhantes. Professor: falar que a validade externa só faz sentido se o projeto tem validade interna.

33 Como assegurar a validade externa
A amostra de tratados e controles é representativa do público alvo!!!! Porque? Como a amostra de indivíduos que participaram da avaliação é representativa da população de elegíveis, pode-se considerar que qualquer resultado obtidos com base nela seria o mesmo para toda a população. Para que uma amostra seja representativa de uma população ela tem que ter a mesma composição da população de forma que ela represente cada grupo contido na população. Por exemplo, se a população tem 60% de homens, a amostra também deve ter 60% de homens, etc. Existem várias técnicas de amostragem para selecionar uma amostra representativa.

34 Validade Interna e Externa - Conclusão
Para que a avaliação tenha: validade interna o grupo controle deve representar os tratados. validade externa os indivíduos da avaliação (tratados e controles) devem representar a população. Quando não há garantia da validade interna e da validade externa, deve-se questionar os resultados da avaliação de impacto.

35 Comentários Finais Nessa aula: discutiu-se como fazer a avaliação quando está disponível os dados antes e após o projeto. Além disso, analisou-se a validade interna e externa da avaliação de impacto. Próxima aula: introdução à avaliação de retorno econômico.