Aula 8 – Diferenças em Diferenças

Apresentação em tema: "Aula 8 – Diferenças em Diferenças"— Transcrição da apresentação:

1 Aula 8 – Diferenças em Diferenças
Material Elaborado por Betânia Peixoto Modificado por Guilherme Irffi e Francis Petterini

2 Diferenças em Diferenças
“ Procedimentos estatísticos para Avaliação de Impacto do programa quando temos disponíveis as informações de ANTES e de DEPOIS do tratamento”.

3 Plano de Aula Conceito de avaliação de impacto pelo método de diferenças em diferenças Implicação sobre o viés de seleção Combinação do método de diferenças em diferenças com o pareamento por escore de propensão.

4 Diferenças em Diferenças - DD
Quando: a separação entre os grupos de tratamento e controle não foi aleatória e quando temos grupos de tratamento e controle diferentes em relação a características que não são observáveis. O estimador de DD é uma popular abordagem de avaliação utilizada quando existe amostra para mais de um período no tempo. . 4

5 O que é requerido Esta metodologia compara os grupos de tratamento e de controle em termos de mudanças no produto relativo à pré-intervenção. Para isto, requer dados amostrais para os tratados e não tratados em pelo menos dois períodos no tempo, antes e depois da intervenção.

6 Intuitivamente Por meio do método DD, comparamos amostras de tratados e não tratados antes e depois da intervenção. Calculamos a diferença na média dos produtos antes e depois da intervenção para cada grupo, tratado e não tratado. A diferença entre estas duas diferenças é o impacto estimado. 6

7 Relembrando: Problema da Avaliação
Impacto = ATT = E[Yp, P=1] - E[Ysp, P=1] Não observamos Ysp quando P=1. Se E[Ysp, P=1] ≠ E[Yc, P=0] Erro: ε= E[Ysp, P=1] - E[Yc, P=0] (1) O ATT é dado por: ATT = E[Yp, P=1] - E[Yc, P=0] + ε (2) Substituindo (1) em (2) ATT = E[Yp, P=1] - E[Yc, P=0] + {E[Ysp, P=1] - E[Yc, P=0] } Viés ou erro Yc = indicador de impacto dos nao participantes do grupo controle 7

8 Relembrando: O Erro ou Viés
O Viés é causado pelas características diferentes entre tratado e controle que levam à que o indicador de impacto seja diferente entre os grupos. O Viés poderia ser decomposto em 3 componentes ou causas: 1) primeiro é a falta de suporte comum. (pareamento) 2) viés proveniente dos observáveis. (regressão linear/pareamento) 3) viés de seleção, ou viés proveniente dos não observáveis (Diferenças em Diferenças) falta de suporte comum = as amostras de tratados e não tratados podem não ter sobreposição da função de densidade condicional de X viés proveniente dos observáveis=o viés é gerado por diferenças na distribuição dos atributos observáveis entre os tratados e não tratados. viés de seleção, ou viés proveniente dos não observáveis=existem variáveis não observadas que influenciam conjuntamente o resultado e o recebimento do tratamento, condicionado às variáveis observáveis X Em parentese está o método utilizardo para a redução daquele tipo de viés. 8

9 Formalmente: Diferenças em Diferenças
Yit denota o produto mensurado para a i-ésima unidade observada nas duas datas, t = 0,1. Por definição no período 0 ninguém é tratado Ti0=0 ATT = E(YPi1 - YPi0 |Ti1 = 1) – E(Yspi1 - Yspi0 |Ti1 = 0) Yc = indicador de impacto dos nao participantes do grupo controle 9

10 Implicação Supondo que a diferença não observada entre a média do produto dos tratados e não tratados não varia com o tempo - o viés de seleção não varia com o tempo... ...Quando se faz a diferença da diferença do indicador de impacto, o viés de seleção, caso presente, se anula, fazendo com que o estimador DD seja não viesado. Neste caso, mudanças no produto dos não tratados revelam mudanças no produto do contra-factual. Então, E(Yspi1 - Yspi0 |Ti1 = 1) = E(Yci1 - Yci0 |Ti1 = 0) Yc = indicador de impacto dos nao participantes do grupo controle 10

11 Violação da pressuposição
Caso a pressuposição de que a diferença não observada entre a média do produto dos tratados e não tratados não varia com o tempo seja violada, podemos esperar que o estimador DD seja viesado. Yc = indicador de impacto dos nao participantes do grupo controle 11

12 Diferenças e Diferenças em Diferenças e Diferenças em Diferenças com Pareamento
Na metodologia Diferenças em Diferenças, aplicamos o método utilizando toda a amostra. No método Diferenças em Diferenças com Pareamento, aplicamos o DD na sub-amostra selecionada pelo PSM. Neste caso, o viés é bastante reduzido, pois o PSM ajuda a minimizar o viés proveniente dos observáveis e de ausência de suporte comum, enquanto que o DD ajuda a reduzir o viés de seleção. Yc = indicador de impacto dos nao participantes do grupo controle 12

13 Preparação do Banco de Dados (1)
Precisamos ter num único banco de dados todas as informações de antes e de depois, de todos os indivíduos. Para separarmos as informações de antes e depois, criamos uma variável que será igual a ‘1’ se os dados forem de depois e será igual a ‘0’ se os dados forem de antes do programa.

14 Preparação do Banco de Dados (2)
Criamos também uma outra variável = “programa” vezes “depois” chamamos esta variável de interação entre duas variáveis: ela só será igual a ‘1’ quando o indivíduo participa do programa e os dados são de depois do tratamento. A estimativa do coeficiente associado a essa variável será a diferença das diferenças e terá o mesmo valor calculado na diferença das médias.

15 Utilizando a regressão linear
Renda =  + 1 ‘programa’ + 2 ‘depois’ + 3 ‘programa*depois’ + erro 3 = a diferença das diferenças, ou seja, é o coeficiente que mede o impacto do programa. 1 captura se os grupos são diferentes, independentemente do programa. 2 captura se o indicador muda no tempo, independentemente do programa.

16 Porque 3 é o estimador de diferenças em diferenças?
Médias por grupo Antes Depois Variação Tratamento TA TD TD - TA Controle CA CD CD - CA Variação das variações (TD – TA) – (CD – CA)

17 Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa
Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ TA =  + 1 x ‘1’ + 2 x ‘0’ + 3 x 0 TA =  + 1 TD =  + 1 x ‘1’ + 2 x ‘1’ + 3 x 1 TD =  + 1 + 2 + 3 TD – TA = 2 + 3

18 Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa
Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ CA =  + 1 x ‘0’ + 2 x ‘0’ + 3 x 0 CA =  CD =  + 1 x ‘0’ + 2 x ‘1’ + 3 x 0 CD =  + 2 CD – CA = 2

19 Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa
Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ (TD – TA) = 2 + 3 (CD – CA) = 2 (TD – TA) – (CD – CA) = dif em dif = (2 + 3 - 2 ) = 3

20 Graficamente- Diferença em Diferença
Média estimada do efeito no grupo de intervenção Tempo Intervenção Resultado Grupo de intervenção Grupo de Controle 20

21 Exemplo 1 Suponha um programa para melhoria de renda com seleção não aleatória. O indicador de impacto é renda e esta informação foi coletada antes e depois do programa. 21

22 Identificador Identificador participou do treinamento renda antes
renda depois 1 60 200 2 80 150 3 50 90 4 100 5 6 40 70 7 8 9 110 10 Identificador participou do treinamento renda antes renda depois 11 500 12 300 400 13 14 50 60 15 20 30 16 40 17 150 170 18 100 120 19 90 22

23 Estatística de regressão
RESUMO DOS RESULTADOS Estatística de regressão R múltiplo 0, R-Quadrado 0, R-quadrado ajustado 0, Erro padrão 124, Observações 40 ANOVA gl SQ MQ F F de significação Regressão 3 109300 36433,33333 2, 0,08857 Resíduo 36 557900 15497,22222 Total 39 667200 Coeficientes Stat t valor-P IC - 95% Interseção 168 39,367 4,268 0,000 88,161 247,839 programa -112 55,673 -2,012 0,052 -224,909 0,909 depois 21 0,377 0,708 -91,909 133,909 programa*depois 30 78,733 0,381 0,705 -129,678 189,678

24 Resumo das metodologias de avaliação de impacto
Seleção aleatória – teste de diferença de médias. Pode ser realizado por meio de regressão com a variável programa como única independente

25 Resumo das metodologias de avaliação de impacto
Seleção não aleatória: - Regressão Simples – 1 momento no tempo; considera as possíveis variáveis observáveis diferentes entre tratado e controle. Atua no viés proveniente dos observáveis - PSM – 1 momento no tempo; seleciona o grupo controle. Atua sobre o viés de suporte comum e viés proveniente dos observáveis. - DD – 2 momentos no tempo; considera antes e depois. Atua sobre o viés de seleção ( não observáveis) - DD com pareamento- 2 momentos no tempo. O pareamento ocorre utilizando dados apenas de antes do programa. Atua sobre os três componentes do viés.

26 Comentários Finais Aula de hoje: como fazer a avaliação quando temos disponíveis os dados de ‘antes’ e de ‘depois’ do tratamento. É o ideal, visto que este instrumental permite controlar as características iniciais dos grupos. Próxima aula: primeiros passos da avaliação de retorno econômico.