Aula 8 – Diferenças em Diferenças Material Elaborado por Betânia Peixoto Modificado por Guilherme Irffi e Francis Petterini

Diferenças em Diferenças “ Procedimentos estatísticos para Avaliação de Impacto do programa quando temos disponíveis as informações de ANTES e de DEPOIS do tratamento”.

Plano de Aula Conceito de avaliação de impacto pelo método de diferenças em diferenças Implicação sobre o viés de seleção Combinação do método de diferenças em diferenças com o pareamento por escore de propensão.

Diferenças em Diferenças - DD Quando: a separação entre os grupos de tratamento e controle não foi aleatória e quando temos grupos de tratamento e controle diferentes em relação a características que não são observáveis. O estimador de DD é uma popular abordagem de avaliação utilizada quando existe amostra para mais de um período no tempo. . 4

O que é requerido Esta metodologia compara os grupos de tratamento e de controle em termos de mudanças no produto relativo à pré-intervenção. Para isto, requer dados amostrais para os tratados e não tratados em pelo menos dois períodos no tempo, antes e depois da intervenção.

Intuitivamente Por meio do método DD, comparamos amostras de tratados e não tratados antes e depois da intervenção. Calculamos a diferença na média dos produtos antes e depois da intervenção para cada grupo, tratado e não tratado. A diferença entre estas duas diferenças é o impacto estimado. 6

Relembrando: Problema da Avaliação Impacto = ATT = E[Yp, P=1] - E[Ysp, P=1] Não observamos Ysp quando P=1. Se E[Ysp, P=1] ≠ E[Yc, P=0] Erro: ε= E[Ysp, P=1] - E[Yc, P=0] (1) O ATT é dado por: ATT = E[Yp, P=1] - E[Yc, P=0] + ε (2) Substituindo (1) em (2) ATT = E[Yp, P=1] - E[Yc, P=0] + {E[Ysp, P=1] - E[Yc, P=0] } Viés ou erro Yc = indicador de impacto dos nao participantes do grupo controle 7

Relembrando: O Erro ou Viés O Viés é causado pelas características diferentes entre tratado e controle que levam à que o indicador de impacto seja diferente entre os grupos. O Viés poderia ser decomposto em 3 componentes ou causas: 1) primeiro é a falta de suporte comum. (pareamento) 2) viés proveniente dos observáveis. (regressão linear/pareamento) 3) viés de seleção, ou viés proveniente dos não observáveis (Diferenças em Diferenças) falta de suporte comum = as amostras de tratados e não tratados podem não ter sobreposição da função de densidade condicional de X viés proveniente dos observáveis=o viés é gerado por diferenças na distribuição dos atributos observáveis entre os tratados e não tratados. viés de seleção, ou viés proveniente dos não observáveis=existem variáveis não observadas que influenciam conjuntamente o resultado e o recebimento do tratamento, condicionado às variáveis observáveis X Em parentese está o método utilizardo para a redução daquele tipo de viés. 8

Formalmente: Diferenças em Diferenças Yit denota o produto mensurado para a i-ésima unidade observada nas duas datas, t = 0,1. Por definição no período 0 ninguém é tratado Ti0=0 ATT = E(YPi1 - YPi0 |Ti1 = 1) – E(Yspi1 - Yspi0 |Ti1 = 0) Yc = indicador de impacto dos nao participantes do grupo controle 9

Implicação Supondo que a diferença não observada entre a média do produto dos tratados e não tratados não varia com o tempo - o viés de seleção não varia com o tempo... ...Quando se faz a diferença da diferença do indicador de impacto, o viés de seleção, caso presente, se anula, fazendo com que o estimador DD seja não viesado. Neste caso, mudanças no produto dos não tratados revelam mudanças no produto do contra-factual. Então, E(Yspi1 - Yspi0 |Ti1 = 1) = E(Yci1 - Yci0 |Ti1 = 0) Yc = indicador de impacto dos nao participantes do grupo controle 10

Violação da pressuposição Caso a pressuposição de que a diferença não observada entre a média do produto dos tratados e não tratados não varia com o tempo seja violada, podemos esperar que o estimador DD seja viesado. Yc = indicador de impacto dos nao participantes do grupo controle 11

Diferenças e Diferenças em Diferenças e Diferenças em Diferenças com Pareamento Na metodologia Diferenças em Diferenças, aplicamos o método utilizando toda a amostra. No método Diferenças em Diferenças com Pareamento, aplicamos o DD na sub-amostra selecionada pelo PSM. Neste caso, o viés é bastante reduzido, pois o PSM ajuda a minimizar o viés proveniente dos observáveis e de ausência de suporte comum, enquanto que o DD ajuda a reduzir o viés de seleção. Yc = indicador de impacto dos nao participantes do grupo controle 12

Preparação do Banco de Dados (1) Precisamos ter num único banco de dados todas as informações de antes e de depois, de todos os indivíduos. Para separarmos as informações de antes e depois, criamos uma variável que será igual a ‘1’ se os dados forem de depois e será igual a ‘0’ se os dados forem de antes do programa.

Preparação do Banco de Dados (2) Criamos também uma outra variável = “programa” vezes “depois” chamamos esta variável de interação entre duas variáveis: ela só será igual a ‘1’ quando o indivíduo participa do programa e os dados são de depois do tratamento. A estimativa do coeficiente associado a essa variável será a diferença das diferenças e terá o mesmo valor calculado na diferença das médias.

Utilizando a regressão linear Renda =  + 1 ‘programa’ + 2 ‘depois’ + 3 ‘programa*depois’ + erro 3 = a diferença das diferenças, ou seja, é o coeficiente que mede o impacto do programa. 1 captura se os grupos são diferentes, independentemente do programa. 2 captura se o indicador muda no tempo, independentemente do programa.

Porque 3 é o estimador de diferenças em diferenças? Médias por grupo Antes Depois Variação Tratamento TA TD TD - TA Controle CA CD CD - CA Variação das variações (TD – TA) – (CD – CA)

Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ TA =  + 1 x ‘1’ + 2 x ‘0’ + 3 x 0 TA =  + 1 TD =  + 1 x ‘1’ + 2 x ‘1’ + 3 x 1 TD =  + 1 + 2 + 3 TD – TA = 2 + 3

Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ CA =  + 1 x ‘0’ + 2 x ‘0’ + 3 x 0 CA =  CD =  + 1 x ‘0’ + 2 x ‘1’ + 3 x 0 CD =  + 2 CD – CA = 2

Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa Rendaest =  + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’ (TD – TA) = 2 + 3 (CD – CA) = 2 (TD – TA) – (CD – CA) = dif em dif = (2 + 3 - 2 ) = 3

Graficamente- Diferença em Diferença Média estimada do efeito no grupo de intervenção Tempo Intervenção Resultado Grupo de intervenção Grupo de Controle 20

Exemplo 1 Suponha um programa para melhoria de renda com seleção não aleatória. O indicador de impacto é renda e esta informação foi coletada antes e depois do programa. 21

Identificador Identificador participou do treinamento renda antes renda depois 1 60 200 2 80 150 3 50 90 4 100 5 6 40 70 7 8 9 110 10 Identificador participou do treinamento renda antes renda depois 11 500 12 300 400 13 14 50 60 15 20 30 16 40 17 150 170 18 100 120 19 90 22

Estatística de regressão RESUMO DOS RESULTADOS Estatística de regressão R múltiplo 0,404745531 R-Quadrado 0,163818945 R-quadrado ajustado 0,09413719 Erro padrão 124,4878397 Observações 40 ANOVA   gl SQ MQ F F de significação Regressão 3 109300 36433,33333 2,350958953 0,08857 Resíduo 36 557900 15497,22222 Total 39 667200 Coeficientes Stat t valor-P IC - 95% Interseção 168 39,367 4,268 0,000 88,161 247,839 programa -112 55,673 -2,012 0,052 -224,909 0,909 depois 21 0,377 0,708 -91,909 133,909 programa*depois 30 78,733 0,381 0,705 -129,678 189,678

Resumo das metodologias de avaliação de impacto Seleção aleatória – teste de diferença de médias. Pode ser realizado por meio de regressão com a variável programa como única independente

Resumo das metodologias de avaliação de impacto Seleção não aleatória: - Regressão Simples – 1 momento no tempo; considera as possíveis variáveis observáveis diferentes entre tratado e controle. Atua no viés proveniente dos observáveis - PSM – 1 momento no tempo; seleciona o grupo controle. Atua sobre o viés de suporte comum e viés proveniente dos observáveis. - DD – 2 momentos no tempo; considera antes e depois. Atua sobre o viés de seleção ( não observáveis) - DD com pareamento- 2 momentos no tempo. O pareamento ocorre utilizando dados apenas de antes do programa. Atua sobre os três componentes do viés.

Comentários Finais Aula de hoje: como fazer a avaliação quando temos disponíveis os dados de ‘antes’ e de ‘depois’ do tratamento. É o ideal, visto que este instrumental permite controlar as características iniciais dos grupos. Próxima aula: primeiros passos da avaliação de retorno econômico.