Miguel Foguel IPEA e PUC/RJ

1) Introdução: principais questões e usos da Avaliação Econômica 2) Panorama da área de Avaliação Econômica: Avaliação de Impacto Avaliação de Custo-Benefício 3) Exemplos: Jovenes en Acción – Colômbia Programa Mais Galpão Aplauso 4) Sumário

Questões importantes podem ser respondidas com a Avaliação Econômica (AE): 1) Avaliação de Impacto: O projeto teve o impacto almejado? Qual a magnitude do impacto? 2) Custo-Benefício: Qual o retorno econômico do projeto?

Recursos Privados e Públicos: Físicos, Humanos, Financeiros Programa 1Programa N... Resultados Benefícios Impactos Custos Avaliação de Impacto Avaliação Custo- Benefício

 Usos da AE:  Gestão: auxiliar no redesenho e melhora na gestão do próprio programa (juntamente com monitoramento)  “Accountability”: ajudar na prestação de contas, sustentação do programa e obtenção de fundos para novos projetos  Eficiência: melhorar a alocação dos recursos disponíveis

1) Avaliação de Impacto:  O que faz: Mede em termos quantitativos os impactos dos programas.  Desafio: Assegurar que os resultados isolam o efeito do programa dos efeitos causados por outros fatores.  Exemplo: como isolar o impacto de um programa voluntário de treinamento num ambiente complexo e mutável?

 Estratégia: encontrar um contrafactual para o grupo que recebeu o programa (tratamento), ou seja, um grupo (de controle) que represente o que teria ocorrido com os tratados caso eles não tivessem participado do programa.  Dimensões: características observáveis e não observáveis (habilidades, motivações, preferências etc.) pelo analista  Não se recomenda:  Comparar o grupo tratado com outro grupo que seja muito distinto dele;  Comparar a situação do grupo tratado antes e depois do programa.

O programa teve efeito? Controles inadequados Programa

 Métodos para construção do contrafactual: 1) Método experimental (aleatorização):  Seleciona-se de forma aleatória os grupos de tratados e controles e compara médias dos resultados dos grupos 2) Método não experimental:  Necessita de bases de dados com informações sobre beneficiários e não beneficiários  Aplicam-se técnicas econométricas para encontrar grupo de controle

2) Avaliação Custo-Benefício:  Transforma os impactos em benefícios monetários para comparar com os custos do projeto (contábeis e de oportunidade)  Simula os fluxos de benefícios e custos ao longo do tempo  Calcula o retorno econômico/social:  Indicadores: Taxa Interna de Retorno (TIR) e Valor Presente Líquido (VPL)

 Dados: é preciso dispor de informações de qualidade e amostras de tamanho razoável.  Validade interna: o efeito do programa foi corretamente isolado?  Método experimental: ▪ Processo de aleatorização; ▪ Atrito: perda de observações dos indivíduos; ▪ Substituição: controles acabam participando do programa ou similar.  Métodos não experimentais: ▪ Grupo de controle adequado; ▪ Modelo econométrico empregado.  Validade externa: resultados da avaliação podem ser levados para outras localidades, grupos de pessoas ou períodos do tempo?

 3.1 – Jóvenes en Acción – Colômbia  3.2 – Programa Mais  3.3 – Projeto Galpão Aplauso

 Objetivo: Programa governamental de treinamento para melhorar a inserção de jovens no MT em 7 cidades da Colômbia. Entre 2001 e 2008 teve 80 mil participantes.  Público-alvo: jovens desempregados de baixa renda com idade entre 18 e 25 anos  Conteúdo:  Oferece de treinamento em sala de aula (3 meses) e nas empresas (3 meses).  Cursos para várias ocupações: eletricista, bombeiro, cabeleireiro, assistente administrativo, caixa, informática, etc.  Treinamento nas empresas por algumas horas por dia (média=2h)  Participantes receberam ajuda de custo durante o programa

 Método experimental:  Houve excesso de demanda para as vagas e a avaliação foi realizada com a aleatorização dos candidatos no nível da instituição de treinamento (análise para a coorte de candidatos de 2005)  Amostra: inicial=2859; final=2269, com cerca de metade no grupo de tratamento.  Indivíduos em ambos os grupos foram entrevistados antes e depois do começo do programa (entre 19 e 21 meses após)

Attanasio et al. (2009) Diferenças entre tratados e controles antes do treinamentoEm 2004 Emprego em geral0.001 (0.021) Emprego pago0.018 (0.020) Emprego formal0.006 (0.011) Salário-6,806 (6,000) Rendimento conta-própria-3,002 (5,460) Experiência em empresas0.768* (0.440) Dias trabalhados por mês (0.535) Dias trabalhados por semana (1.190) Mulher0.262 (0.174) Escolaridade0.280*** (0.072) Idade (0.085) Casado (0.020) Número de observações2,269

Attanasio et al. (2009) Efeito estimadoTotalMulheresHomens Emprego em geral0.018 (0.018) Emprego pago0.041**0.050*0.010 (0.020)(0.029)(0.032) Emprego formal0.053***0.051**0.037 (0.019)(0.025)(0.034) Salário25,475***30,010***4,155 (8,555)(11,256)(14,841) Rendimento conta-própria-2,283 (3,660) Experiência na empresa-1.211*** (0.462) Dias trabalhados por mês0.609 ( ) Horas trabalhadas por semana0.738 (1.170)

 Benefícios:  Ganhos salariais de P$306 mil por pessoa/ano considerando todos e P$360 mil por pessoa/ano considerando somente as mulheres.  Ganhos persistem por 40 anos: VP = US$2344 por pessoa e VP = US$2750 por mulher  Custos diretos:  Pagamento das bolsas: US$ 2,5 por dia  VP = US$750 por pessoa  Benefício Líquido: VPL = US$1595 (TIR=17,5%) por pessoa e VPL = US$2000 (TIR=20,5%) por mulher

 Objetivo: programa para promover o acesso e permanência de jovens no Ensino Superior que foi iniciado em 2004 no Rio de Janeiro pelo CIEE  Público-alvo: jovens de classes populares entre 16 e 24 anos que concluíram o ensino médio na rede pública  Conteúdo:  Modulo I: encontros no CIEE e aulas de pré-vestibular. Oferece orientação profissional, capacitação de comunicação e expressão e preparação para o vestibular. Somente este módulo será avaliado.  Modulo II: acompanhamento/orientação acadêmica após a realização do vestibular

 Método não experimental:  Compara os participantes com 3 grupos de controle:  GC 1: selecionados mas que desistiram logo após o início  GC2: alunos que só fizeram o curso pré-vestibular do Programa Mais  GC3: alunos que só fizeram o curso pré-vestibular de outro programa semelhante (Ser Cidadão)  Faz uso da metodologia regressão na qual insere variáveis para controlar diferenças observáveis entre os indivíduos (p.e., sexo, cor, estado civil, escolaridade do responsável, etc.)

Média das veriáveis por grupo Grupos de Controle Grupo deCIEE - DesistiramCIEE - Só pré-Ser Cidadão - Só TratadosInício (I)vestibular (II)Pré-vistibular (III) Homem20,0%22,6%29,4%32,0% Branco20,0%16,1%41,2%*30,6% Idade22,123,2*21,120,9* Solteiro94,6%71,0%*100%90,0% Escolaridade responsável: Fund. Incompleto29,1%35,5%29,4%18,0% Fund. Completo21,8%16,1%23,5%16,0% Médio Incompleto5,5%3,2%11,8%4,0% Médio Completo23,6%25,8%29,4%42,0%* Superior13,2%10,0%5,9%14,0% Renda dom. per capitaR$ 536R$ 586R$ 550R$ 577 Observações

Desempenho no vestibular Inserção no mercado de trabalho Sucesso em FezFrequentaSalário Em relação ao grupo de tratamento: Univ. em geralUniv. PúblicaMatrículaou concluiu TrabalhaHorário CIEE - Desistiram no início (I)-0,0709-0,1940***-0,2408***-0,2105**-0,01550,7998 (0,1252)(0,1019)(0,1105)(0,0974)(0,1284)(1,3690) CIEE - Só pré-vestibular (II)0,1359-0,07290,24070,0479-0,06931,9666 (0,1593)(0,1371)(0,1576)(0,1442)(0,1673)(2,2212) Ser Cidadão - Só pré-vestibular (III)0,11060,02180,03360,1398-0,09960,1993 (0,1439)(0,1293)(0,1387)(0,1269) (0,1518)(1,0823)

 Objetivo: programa para melhorar a situação socioeconômica e empregabilidade dos jovens em algumas comunidades carentes do Rio de Janeiro  Público-alvo: jovens com menos de 29 anos oriundos de famílias pobres nas favelas da cidade do RJ;  Conteúdo: oferece treinamento de habilidades vocacionais (p.e., marcenaria, soldagem), acadêmicas (p.e., matemática e português) e competências de vida (p.e., ética, educação ambiental) com base em métodos pedagógicos que também utilizam arte e dança;

 Método experimental: ▪ Pré-seleção: realizada em etapas: anúncio, candidatos respondem questionário, faz-se triagem com base na idade e renda declarada (menor de 2SM), ocorre entrevista e provas básicas de português e matemática; ▪ Excesso de demanda: houve número maior de pré-selecionados do que vagas => seleção aleatória dos participantes (tratamento) e não participantes (controles); ▪ Reserva de vagas: para pequeno grupo (até 10%) que apresentou condições especiais: p.e., irmãos, desempenho excepcional e muito pobre. ▪ Amostra: ao final: 451 candidatos: 194 tratamentos, 230 controles e 27 reserva de vagas.

(1)(2)(3)(4) TratadosControle Diferença das médias (Tratados – Controle) Valor de t Idade22,7823,20-0,42-0,94 Fração de mulheres12,9014,60-1,70-0,44 Fração de solteiros78,2069,109,101,85 Fração que mora com o pai36,7031,505,201,00 Fração que mora com a mãe41,5037,104,400,81 Tamanho da família3,983,570,412,24 Renda familiar1719,501560,30159,201,17 Fração que já trabalhou93,2094,90-1,70-0,67 Idade do primeiro emprego16,3615,590,772,24 Fração Empregada60,5069,10-8,60-1,61 Fração Desempregada17,7016,301,400,33 Renda mensal do trabalho744,00760,50-16,50-0,34 Horas semanais trabalhadas41,9742,75-0,78-0,39 Fração com Ensino Secundário84,8087,10-2,30-0,53

Estimativas do Impacto: escola, trabalho e despesa Amostra Total 1 a 2 meses após o programa (coorte 1) 2 a 3 meses após o programa (coorte 3) 4 a 5 meses após o programa (coorte 2) Resultado Efeito do Tratamento valor de t Efeito do Tratamento valor de t Efeito do Tratamento valor de t Efeito do Tratament o valor de t Frequenta a escola-0,039-0,9-0,003-0,050,0210,17-0,144-1,46 Trabalho na última semana 0,0510,8-0,057-0,65-0,006-0,040,2132,11 Trabalho assalariado na última semana 0,0781,22-0,036-0,4-0,006-0,040,2662,6 Renda mensal do trabalho 30,2640,57-102,407-1,51252, , Contrato Formal-0,017-0,2-0,106-0, ,150,0700,49 Contrato por prazo indeterminado -0,053-0,81-0,129-1,41-0,028-0,190,0800,59 Horas trabalhadas0,3460,152,8120,84-7,986-1,241,1290,32 Principal despesa: Estudo 0,0190,850,0240,81-0,037-0,970,0661,14 Principal “despesa”: poupança 0,0200,46-0,046-0,760,0160,150,1601,98 Principal despesa: Balada 0,0561,070,1341,84-0,160-1,220,0450,44 Principal despesa: Roupas 0, ,0410,490,0270,220,0010,01

Estimativas do Impacto: competências de vida e consumo cigarros/álcool Amostra Total 1 a 2 meses após o programa (coorte 1) 2 a 3 meses após o programa (coorte 3) 4 a 5 meses após o programa (coorte 2) Desdobramentos ((Xi-Xc)/σc) Efeito do Tratament o valor de t Efeito do Tratamento valor de t Efeito do Tratamento valor de t Efeito do Tratamento valor de t CPS Total-0,100-1,36-0,084-0,88-0,046-0,23-0,026-0,2 Escala de Grit Total (perseverança) -0,045-0,38-0,070-0,440,1920,62-0,261-1,32 Escala de Grit Total - Duckworth -0,065-0,53-0,156-0,910, ,056-0,28 Amostra Total 1 a 2 meses após o programa (coorte 1) 2 a 3 meses após o programa (coorte 3) 4 a 5 meses após o programa (coorte 2) Resultado Efeito do Tratamento valor de T Efeito do Tratamento valor de T Efeito do Tratamento valor de T Efeito do Tratamento valor de T Já fumou0,0290,650,0120,220,1200,920,0520,52 Número de cigarros na última semana -0,026-0,1-0,041-0,10,1790,18-0,110-0,22 Consumiu álcool na semana passada -0,025-0,470,0170,25-0,262-1,860,0380,31 Quantas bebidas na última semana 0,0640,48-0,063-0,360,2300,770,4441,7

 Avaliação Econômica de Programas Sociais é um instrumento importante para verificar se programas estão atingindo seus objetivos.  Calcular impacto e retorno social: ajuda a aprimorar os programas, aumenta a transparência e permite alocar melhor os recursos disponíveis.  Importante pensar a avaliação desde o início do programa: definição da amostra, método, grupos de controle, coleta de informação, etc.

ÓTIMO CURSO!