A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Aula 5 24 de setembro de 2013 Análise de decisão de políticas com agrupamentos de cortes transversais.

Apresentações semelhantes


Apresentação em tema: "Aula 5 24 de setembro de 2013 Análise de decisão de políticas com agrupamentos de cortes transversais."— Transcrição da apresentação:

1 Aula 5 24 de setembro de 2013 Análise de decisão de políticas com agrupamentos de cortes transversais

2 Avaliação Econômica Avaliação de Impacto Determinar se o projeto teve efeitos sobre indivíduos/ famílias/regiões Se os efeitos foram intencionais ou não- intencionais Se os efeitos foram realmente resultado do projeto ou ocorreriam de qualquer forma

3 Avaliação de Impacto Isto é feito com o uso de um indicador que se relacione diretamente com o objetivo do programa. Dois aspectos: mensuração e causalidade – Mensuração: não apenas saber se houve mudança, mas também medir essa mudança. – Causalidade: garantir que a mudança observada foi causada pelo programa.

4 Mensuração Para isso, o cuidado com a escolha do indicador de impacto é fundamental. Preferência por indicadores objetivos e de fácil observação.

5 Causalidade É uma das etapas mais difíceis da avaliação, mas é fundamental!  Exemplo: ‘programa de melhoria da qualidade do ensino médio, com foco na evasão escolar’. Ação: oferecer oficinas (de arte, de música, de leitura, etc) após o horário das aulas, buscando motivar esses jovens a permanecer na escola.  Indicador de resultado: índice de freqüência escolar (IFr).

6 estamos buscando o contrafactual O contrafactual IDEAL: comparar o índice de freqüência escolar dos jovens que participaram das oficinas com o índice de freqüência observado para esses mesmos jovens, caso eles não tivessem participado das oficinas. – Essa seria a única maneira de ter certeza de que o aumento na freqüência escolar foi resultado exclusivo da participação nas oficinas.  Infelizmente, tal contrafactual não existe...

7 Grupos de controle Como não temos os contrafactuais, o problema é resolvido com a construção dos chamados grupos de controle. – Idéia: formar grupos de não-participantes (na linguagem de avaliação de não-tratados), que tenham as mesmas características dos participantes (tratados). No caso das oficinas: encontrar jovens que não tenham participado das oficinas que se pareçam (tenham a mesma idade, o mesmo nível sócio-econômico, etc) com aqueles que participaram.

8 Mas nem sempre é fácil encontrar bons ‘grupos de controle’... Existência de auto-seleção  as pessoas que participam dos programas muitas vezes escolhem participar. – Nosso exemplo: jovens que se inscrevem em oficinas oferecidas após o período de aulas devem diferir dos que não se inscrevem. – Essas características podem ser observáveis (número de irmãos, nível de renda familiar) ou não-observáveis (motivação, determinação ou pré-disposição).

9 Caso: IFr alunos que participaram das oficinas  IFr colegas que não participaram Não saberemos se é: efeito da participação nas oficinas (do tratamento); do maior tempo disponível para a escola (relativamente aos colegas que, muitas vezes, precisam faltar à escola para cuidar dos irmãos); ou ainda da maior motivação/determinação que tem um efeito positivo sobre a freqüência escolar.

10  A diferença entre os grupos antes do programa dificulta a determinação da causalidade.

11 ... o grupo de participantes pode diferir do restante da sociedade, justamente pelo fato de o programa ter um público-alvo específico. – Exemplo: diversos programas sociais utilizam a renda per capita como critério de elegibilidade, ou seja, só podem participar do programa indivíduos que tenham ‘renda familiar per capita’ menor ou igual a um determinado valor de corte. – Portanto, os beneficiários serão, em média, mais pobres do que os não-beneficiários. Mesmo que o programa não seja de inscrição voluntária...

12 Tratados antes x tratados depois Da mesma forma que não podemos comparar o grupo de tratados com um grupo de controle qualquer (os não-tratados) também não podemos olhar para a evolução no tempo apenas dos indicadores dos tratados. Voltando ao exemplo dos jovens nas oficinas, caso IFr alunos tratados depois do programa  IFr alunos tratados antes do programa podemos dizer que isso é devido ao programa?

13 Tratados antes x tratados depois A resposta é “Não!” Não há como garantir que a melhora no indicador de freqüência escolar foi causada pelo programa. Diversos acontecimentos podem estar explicando tal evidência. Por exemplo, este aumento na freqüência pode ter sido resultado de uma melhora no ambiente escolar como um todo (melhor merenda, novos computadores, nova professora etc.).

14 Outra possibilidade: E se mostrarmos que a freqüência dos jovens que participaram das oficinas aumentou mais que a freqüência dos jovens que não participaram? Método das diferenças em diferenças

15 Diferenças em diferenças Como a freqüência escolar inicial é considerada, o problema da diferença inicial entre os jovens que participam e os que não participam está resolvido. Falta termos certeza de que nada de diferente aconteceu com os grupos a não ser a freqüência na oficina.

16 Diferenças em diferenças Quando: a separação entre os grupos de tratamento e controle não foi aleatória; e quando temos grupos de tratamento e controle muito diferentes, principalmente com relação a características que não são observáveis.  Ideal para a análise de impacto: avaliador ter as informações sobre os grupos de tratamento e de controle em dois períodos de tempo, ou seja, no período anterior ao programa social e no período posterior ao programa social.

17 “Diferenças em diferenças” Precisamos conhecer as informações dos indivíduos de ‘antes’ e de ‘depois’ do tratamento. Suponha que estamos avaliando o impacto de um programa de qualificação profissional e que a renda seja o indicador de interesse. Idéia básica: comparar ‘a diferença entre a renda depois e a renda antes’ do grupo de tratamento com a do grupo de controle.

18 Idéia Básica Y = renda = indicador de interesse t = depois do programa t-1 = antes do programa

19 “Diferenças em Diferenças” Como a renda inicial é considerada, é como se as condições iniciais tivessem sido controladas e, então, resolve-se o problema das diferenças existentes antes do tratamento, entre os indivíduos que participaram e os que não participaram do programa. Seleção aleatória: indivíduos são iguais antes do tratamento.

20 Pesso as partici pou do treina mento renda antes renda depois Pesso as partici pou do treina mento renda antes renda depois

21 Calcule a medida de impacto do programa Indicador de impacto = renda Grupo de Tratamento Grupo de Controle Média Antes56168 Média Depois Diferença5121 Impacto( ) = 30  impacto positivo! Pessoas do grupo de tratamento tiveram um aumento de renda R$30 superior às pessoas do grupo de controle.

22 Será que o ‘R$30’ é estatisticamente diferente de zero? Em razão de estarmos trabalhando com amostras, novamente estas diferenças serão variáveis aleatórias e, para compará-las, precisaremos construir algum intervalo de confiança. Felizmente, o instrumental discutido na seção anterior fornece uma forma rápida e simples de realizar esta análise.

23 Utilizando a regressão linear Precisamos ter num único banco de dados todas as informações de antes e de depois, de todos os indivíduos. Para separarmos as informações de antes e depois, criamos uma variável que será igual a ‘1’ se os dados forem de depois e será igual a ‘0’ se os dados forem de antes do programa.

24 Utilizando a regressão linear Criamos também uma outra variável = “programa” vezes “depois” – chamamos esta variável de interação entre duas variáveis: ela só será igual a ‘1’ quando o indivíduo participa do programa e os dados são de depois do tratamento. A estimativa do coeficiente associado a essa variável será a diferença das diferenças e terá o mesmo valor calculado na diferença das médias.

25 Utilizando a regressão linear Renda =  +  1 ‘programa’ +  2 ‘depois’ +  3 ‘programa*depois’ + erro  3 = a diferença das diferenças, ou seja, é o coeficiente que mede o impacto do programa.

26 Como analisar? Se  3 for positivo e o valor ‘0’ não estiver contido no intervalo de confiança associado a  3, dizemos que há impacto positivo em Y gerado pelo programa. Se  3 for negativo e o valor ‘0’ não estiver contido no intervalo de confiança associado a  3, dizemos que há impacto negativo em Y gerado pelo programa. Se o valor ‘0’ estiver contido no intervalo de confiança associado a  3, dizemos que não há impacto do programa em Y.

27 Demais coeficientes  Renda =  +  1 ‘programa’ +  2 ‘depois’ +  3 ‘programa*depois’ + erro  1 captura se os grupos são diferentes, independentemente do programa.  2 captura se o indicador muda no tempo, independentemente do programa. Para saber se os coeficientes são estatisticamente diferentes de zero, a análise é similar à apresentada para  3 (slide anterior).

28 Termos das diferenças Médias por grupo AntesDepoisVariação TratamentoTATDTD - TA ControleCACDCD - CA Variação das variações (TD – TA) – (CD – CA)

29 Renda est =  +  1 x ‘programa’ +  2 x ‘depois’ +  3 x ‘programa*depois’ TA =  +  1 x ‘1’ +  2 x ‘0’ +  3 x 0 TA =  +  1 TD =  +  1 x ‘1’ +  2 x ‘1’ +  3 x 1 TD =  +  1 +  2 +  3 TD – TA =  2 +  3

30 Renda est =  +  1 x ‘programa’ +  2 x ‘depois’ +  3 x ‘programa*depois’ CA =  +  1 x ‘0’ +  2 x ‘0’ +  3 x 0 CA =  CD =  +  1 x ‘0’ +  2 x ‘1’ +  3 x 0 CD =  +  2 CD – CA =  2

31 Renda est =  +  1 x ‘programa’ +  2 x ‘depois’ +  3 x ‘programa*depois’ (TD – TA) =  2 +  3 (CD – CA) =  2 (TD – TA) – (CD – CA) = dif em dif = (  2 +  3 -  2 ) =  3

32 RESUMO DOS RESULTADOS Estatística de regressão R múltiplo0, R-Quadrado0, R-quadrado ajustado0, Erro padrão124, Observações40 ANOVA glSQMQF F de significação Regressão ,333332, ,08857 Resíduo ,22222 Total CoeficientesErro padrãoStat tvalor-PIC - 95% Interseção16839,3674,2680,00088,161247,839 programa-11255,673-2,0120, ,9090,909 depois2155,6730,3770,708-91,909133,909 programa*depois3078,7330,3810, ,678189,678

33 Causalidade Questão: como isolar o impacto do programa das outras mudanças das quais não temos controle? Construir bons grupos de controle..

34 Limites da Avaliação Para termos mais confiança nos efeitos do programa, precisamos de um tamanho amostral mínimo Este tamanho depende da população alvo do programa, do número de variáveis explicativas, da proporção entre tratada dos e controles e do poder explicativo da regressão

35 Limites da Avaliação Por exemplo, se o programa aumentou a empregabilidade do jovem em 15% A amostra é bem balanceada entre tratados e controles O poder explicativo da regressão é alto: 50% Precisamos de uma amostra de cerca de 100 jovens para termos confiança de que este efeito é diferente de zero 50 no grupo de tratamento e 50 no grupo de controle

36 Exemplos de avaliação de programas Progresa – México Progressão Continuada no Brasil

37 1) PROGRESA Transferências em $ para mães, condicional à freqüência escolar e exames de saúde Usando escolas e postos já existentes Avaliação nos estágios iniciais do programa 2.6 milhões de famílias em 72,000 localidades Orçamento: 20% do orçamento nacional para diminuição da pobreza

38 PROGRESA Educação Requerimento-> matrícula e freqüência à escola (80% das aulas) Saúde: Planejamento Familiar, Pré-natal, Vacinações, Prevenção e tratamento de diarréia, etc...

39 PROGRESA Programa experimental: aleatorizado ao nível da comunidade-> resultados confiáveis! Grupo de controle aderiu ao programa 2 anos depois Amostra: 506 localidades – 186 controle – 320 tratamento Domicílios Domicílios no grupo de tratamento e controle foram entrevistados antes e depois do começo do PROGRESA

40 FREQUÊNCIA ESCOLAR - MENINOS

41 FREQUÊNCIA ESCOLAR- MENINAS

42 TRABALHO INFANTIL - MENINOS

43 INCIDÊNCIA DE DOENÇAS-0/2 ANOS

44 INCIDÊNCIA DE DOENÇAS 3/5 ANOS

45 PROGRESA Efeitos significativos no crescimento das crianças (1cm) Consumo Domiciliar Total Aumenta Domicílios do PROGRESA “comem melhor”: – Aumento nos gastos com frutas, vegetais, carnes, e produtos animais

46 PROGRESA-CUSTOS Para cada 100 pesos alocados no programa, apenas 8.2 pesos são custos administrativos 56% dos custos administrativos são relacionados com focalização e condicionantes Taxa Interna de Retorno: 8%

47 47 Avaliação de impacto Exemplo: efeito da localização de um incinerador de lixo sobre o preço dos imóveis. Notícia de que um novo incinerador seria construído apareceu em Em 1981, a sua construção iniciou. Entrou em operação em Banco de dados com preço dos imóveis para 1978 e A hipótese é que preço dos imóveis próximos ao incinerador tenha caído em relação ao preço de imóveis mais distantes.

48 Avaliação de impacto Exemplo: efeito da localização de um incinerador de lixo sobre o preço dos imóveis. Uma casa está próxima do incinerador se estiver localizada a menos de 3 milhas deste (nearinc =1). Todos preços dos imóveis estão cotados ao valor de 1978 Poderia usar dados apenas de 1981 e apenas de 1978 e testar esta relação:


Carregar ppt "Aula 5 24 de setembro de 2013 Análise de decisão de políticas com agrupamentos de cortes transversais."

Apresentações semelhantes


Anúncios Google