10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.

Apresentação em tema: "10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013."— Transcrição da apresentação:

1 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais
29 de Outubro de 2013

2 O Programa Jovens Urbanos
Iniciativa: Fundação Itaú Social Coordenação técnica: Cenpec Objetivo: Ampliar o repertório sociocultural dos jovens na perspectiva da educação integral. Foco: Formação ampliada, geração de oportunidades e inserção produtiva. Parcerias institucional: Poder público e institutos Parceria tecnológica: fundação pública e assessores Parceria executora: ONGs locais

3 Marcos Conceituais

4 Marcos Conceituais Juventudes Educação Integral Trabalho Cidade
Articulação de redes

5 Marcos Metodológicos

6 Gerar oportunidades de formação aos jovens Participação e Cidadania
Desenvolvimento integral Formação humana ancorada na ampliação do repertório social, político e cultural Gerar oportunidades de formação aos jovens Programa-rede Estado Comunidade Mercado Expressão Exploração Produção Experimentação O Programa Jovens Urbanos apresenta uma proposta formativa, complementar à escola, que expande o espaço, o tempo e os atores envolvidos na formação com os jovens, permitindo a vivência de perspectivas concretas de pertencimento, incluindo o acesso e a integração às instituições de ensino e de proteção social, ao mundo do trabalho, às instâncias e instituições políticas e culturais, etc. Com isso, espera-se promover condições que permitam a ampliação do repertório cultural, social e político necessário à apreensão dos conhecimentos, ao desenvolvimento de competências, à flexibilidade e à capacidade criativa exigidas atualmente para a inserção produtiva e para a participação na vida comunitária e política. Dialogando com esta compreensão do contexto atual em que vivem as juventudes, a concepção educativa do Jovens Urbanos se propõe integral e integrada nos seguintes sentidos: •Desenvolvimento integral: A formação realizada pelos jovens no Programa tem como centro uma visão integral do desenvolvimento humano que prioriza a ampliação de repertório dos jovens. O percurso formativo do Programa tem como ponto de partida os referenciais culturais e interesses dos jovens, sua história e seu projeto de vida e se desenvolve no sentido de proporcionar aos jovens uma apropriação efetiva dos espaços, equipamentos, conhecimentos e tecnologias disponíveis na cidade. •Diferentes espaços, tempos e atores: O Programa proporciona aos jovens um percurso formativo em diferentes espaços, tempos e com diferentes atores. A circulação nos territórios é uma forma de acesso aos bens materiais e simbólicos que existem na cidade. •Inserção Produtiva: O Programa propõe uma reflexão crítica sobre o mundo do trabalho que se, por um lado, dialoga com a realidade do mercado de trabalho, modelos e perfis profissionais e suas especificidades locais, por outro, procura ampliar estas possibilidades, diversificar as escolhas dos jovens ampliando suas habilidades profissionais e articulando parcerias com empresas locais. •Participação Política: A partir do conhecimento que vão produzindo sobre a cidades, os jovens são provocados a intervir em sua comunidade. •Autonomia: É valorizada a consciência dos jovens sobre o percurso de formação, seus objetivos, opções possíveis e metodologias. Eles são convidados a refletir sobre o processo de formação, individual e coletivo. A autogestão ganha força e os grupos podem fortalecem suas habilidades neste sentido. Inserção produtiva Linguagens de arte, Multimeios, Comunicação e Tecnologia, Intervenção Urbana e Meio Ambiente, Chão de fábrica e empreendedorismo na Economia Criativa Participação e Cidadania

7 Metodologias Cartografia Explorações Experimentações
Encontros Públicos Intervenção Jovem

8 Concepção de Aprendizagem
EXPERIMENTAR A motivação para empreender descobertas “Aprender fazendo” PRODUZIR A disposição para produzir e inventar “Concretizar idéias” EXPLORAR O espírito exploratório “Ver como é” EXPRESSAR A vontade de participar da vida pública “Imprimir a sua marca” A aprendizagem dos jovens: exploração, experimentação e produção O processo formativo do Programa Jovens Urbanos considera quatro fortes características associadas à juventude e aos modos pelo quais os jovens constroem conhecimento: O espírito exploratório (“ver como é”) A motivação para empreender descobertas (“ver como se faz”) A disposição para produzir e inventar (“fazer e aprender a fazer”) e Expressar (“trazer a público”) Ao vivenciar situações de circulação, exploração, experimentação, produção e expressão em diferentes territórios das cidades, os jovens podem modificar seus modos de pensar, dizer, agir e se relacionar, criar projetos pessoais e sociais e ampliar e enriquecer suas perspectivas de futuro.

9 Histórico

10 Edições do programa 2004 2005 2006 2007 2008 2009 2010 2011 2012 1ª RJ
Secretaria Estadual de Educação Programa Estado Presente Secretaria Municipal de Assistência e Desenvolvimento Social Serra (ES) 1ª ES Manguinhos e Santa cruz Pouso Alegre (MG) 1ª RJ 1ª MG 2ª MG 2004 2005 2006 2007 2008 2009 2010 2011 2012 1ª SP 2ª SP 3ª SP 4ª SP 5ª SP 5ª SP 7ª SP Heliopólis Jardim Helena, Cidade Ademar Jardim Ângela São Miguel Paulista Brasilândia e Campo Limpo Lajeado e Grajaú Secretaria Municipal do Trabalho | Programa Bolsa Trabalho Secretaria Estadual de Desenvolvimento e Assistência Social SP | Programa Ação Jovem

11 Avaliações Programa Jovens Urbanos 1ª edição: aleatorizada – 2002/2004
1ª avaliação Volta a campo: 2010 3ª edição: não aleatorizada – 2007/2008 1ª avaliação Volta a campo: 2013

12 Processo Avaliativo

13 Desenho do Programa– 1ª edição
480 jovens com bolsa de programas do Poder Público Seleção dos jovens Período de 10 meses – programação que inclua finais de semana. 6 meses de acompanhamento Algumas atividades/oficinas oferecidas: Pintura de fachadas Captação e produção de imagem e som Paisagismo com resíduos sólidos Revitalização de móveis

14 Tratamento e Controle Grupo de tratamento:
participaram das atividades do programa Jovens Urbanos e receberam bolsa-auxílio com contrapartida de retorno à escola Grupo de controle: receberam bolsa-auxílio com contrapartida de retorno à escola

15 Metodologia - Impacto Aleatorização:
Comparação de médias: JU x Controle Vazamento e evasão antes do início do programa: Intention to Treat, LATE (Local average treatment effect) Evasão ao longo do programa: Reponderação (Ding e Lehrer metodologia) Informação do sorteio Recuperação das Informações Pesquisa de campo + Fichas Cadastrais

16 Características Iniciais
 Variáveis Jovens Urbanos Grupo de Controle Diferença (1) p-valor Mulher 0,42 0,34 0,07 0,04 Solteiro 0,85 0,84 0,01 0,40 Branco 0,29 0,33 (0,04) 0,17 Trabalhava em 2004 0,15 0,19 (0,05) 0,08 Emprego formal 2004 0,13 0,26 (0,14) 0,05 Freqüentou escola em 2004 0,71 0,69 0,02 0,25 Concluiu ensino médio 2004 0,23 0,06 Anos de estudo 9,43 9,11 0,32 Idade Média 20,06 20,29 (0,23) 0,09 Renda Familiar R$ 460,15 448,45 11,70 Anos de estudo da mãe 4,11 4,18 (0,06) 0,41 Número de observações 337 245

17 Resultados Trabalho 1 Teste de médias 0,064 0,029 LATE com atrito
0,136 0,018 Renda Pessoal 1 Teste de médias 25,261 0,071 LATE com atrito 62,953 0,011 Frequência escolar 1 Teste de médias -0,012 0,355 LATE com atrito -0,028 0,577 Envolvimento com a polícia 1 Teste de médias -0,024 0,150 LATE com atrito -0,055 0,172

18 Jovens Urbanos - 1ª Edição
Avaliação – Curto e Longo Prazos Jovens Urbanos - 1ª Edição 1ª Avaliação (2006) 2ª Avaliação (2009) Impacto Significância Renda e Trabalho Renda pessoal (R$) 56,6 ** - Trabalha (%) 13,6 Escolaridade Anos de estudo Frequência escolar (%) Cultura e Cidadania Leitura de jornal, revista, livro (em 30 dias) Problemas com a polícia -8,1 Nº de vezes que foi ao cinema ou teatro (em 30 dias) Nota: *** 1% de significância nnn – não analisado ** 5% de significância * % de significância - não significante estatisticamente

19 3ª edição - Desenho Avaliações e pesquisas de campo 3ª edição
(2007 – 2008) 480 jovens participantes (16 a 21 anos) 8 ONGs Grajaú e Lajeado Critério de renda familiar per capita para definição dos participantes. Lista espera = controle Avaliações e pesquisas de campo 1ª avaliação CURTO PRAZO: maio/junho – 2009 589 entrevistas 2ª avaliação: LONGO PRAZO: maio/junho – 2012 376 entrevistas 68% dos jovens encontrados em 2009

20 Jovens Urbanos -3ª Edição
Avaliação – 3ª edição Jovens Urbanos -3ª Edição 1ª Avaliação (2009) 2ª Avaliação (2012) Impacto Significância Renda e Trabalho Renda pessoal 114,3 *** - Trabalha (%) 16,9 ** Com emprego no setor formal (%) Escolaridade Anos de estudo 0,27 * Frequência escolar (%) Concluiu ensino médio (%) Participa de curso profissionalizante ou de capacitação profissional (%) 6,7 Ingressou no Ensino Superior (%) 14,2 Leitura e Cidadania Participa de ONG ou organização social (%) 8,0 Leitura de jornal, revista, livro (no vezes em 30 dias) 7,8 Nº de vezes que foi ao cinema ou teatro (em 30 dias) Nota: *** 1% de significância nnn – não analisado ** 5% de significância * % de significância não significante estatisticamente

21 Retorno Econômico Custos
investimentos realizados pela Fundação Itaú Social em 2007 e 2008, valores corrigidos pelo IPCA para maio/2009 valor da bolsa é investimento e também benefício direto aos participantes (R$1,1 MM) Benefícios: Cenário I: apenas impacto de curto prazo sobre a renda Cenário II: impacto sobre a renda no curto prazo com simulação de custo reduzido do programa (duração de 9 meses) Avaliação de curto prazo não mostrou diferença de impacto em renda/emprego entre concluintes ou não do Programa Cenário III: impacto sobre a renda no curto prazo e simulação de ganho de renda com ensino superior

22 I - Queda linear do impacto por 4 anos + custo 3a edição
Retorno econômico: Cenários I e II Impacto médio sobre a renda de R$ 114, calculado em 2009, com queda linear até zero em 2012 Cenário I: considera custo total e apresenta retorno negativo. Cenário II: propõe uma redução nos custos do Programa que torne o VPL positivo. I - Queda linear do impacto por 4 anos + custo 3a edição VP benefício salarial custo VPL TIR (a.a.) Total R$ ,94 R$ ( ,36) R$ ( ,41) -14% Por aluno R$ 2.967,93 R$ (5.520,54) R$ (2.552,61) II - Queda linear do impacto por 4 anos + custo 3a edição proporcional a 9 meses de programa (52% dos custos totais) R$ ( ,34) R$ ,60 6% R$ (2.870,68) R$ ,25

23 Retorno Econômico Cenário III: inclui adicionalmente impacto sobre a probabilidade de ingresso no Ensino Superior em relação a Cenário I III - Impacto para ensino superior (2012) e na renda (2009) com custo total VP benefício salarial custo VPL TIR (a.a.) Total R$ 5,266,094.88 R$ ( ,36) R$ ,52 7,9% Por aluno R$ 10,971.03 R$ (5.520,54) R$ 5.450,49

24 Comentários finais O impacto sobre renda e trabalho encontrado após um ano do programa não se manteve após 4 anos (em 2012). Há impacto sobre anos de escolaridade e sobre ingresso no ensino superior em 2012. Consideramos cenários com e sem a inclusão de uma renda adicional futura em função da conclusão do ensino superior. A taxa interna de retorno do projeto deve ser considerada em um intervalo entre a taxa calculada no 3º cenário (7,9%a.a.), e a taxa calculada no 1º cenário (-14%a.a.).

25 Comentários finais Seria interessante entender os mecanismos que levam o jovem não apenas a ingressar, mas também a concluir a faculdade, o que pode ser feito através de entrevistas em profundidade com os jovens entrantes no ensino superior. É importante avaliar a focalização do Programa. O retorno econômico positivo foi possível em função da possível conclusão do ensino superior por pequena parcela dos Jovens Urbanos (ca de 10%). Para os demais jovens não é esperado um impacto adicional na renda, sendo o único impacto o de curto prazo. Os resultados sugerem que o Programa tem efetividade no curto prazo, na entrada no mercado de trabalho. Nos anos subsequentes não há mais diferenciação em renda por causa do Programa. Este resultado sugere que outros potenciais resultados do Programa não estão sendo revertidos em renda.

26 Aprendizagem e flexibilidade
Processo constante de reflexão e revisão tem impactos na gestão do programa, que deve se mostrar flexível a incorporar soluções aos desafios percebidos e se reestruturar constantemente.

27 Comitê Consultivo Jovem Conselho Acompanhamento
Espaços de reflexão Comitê Executivo Comitê Consultivo Jovem Encontros periódicos envolvendo todas as instâncias de governança do programa garantindo credibilidade e transparência na gestão. Encontro Ampliado Conselho Acompanhamento

28 Monitoramento e avaliação
O Programa promove processos contínuo de monitoramento e avaliação (interna e externa) que alimentam a gestão e a rede do programa com informações sobre desafios, resultados e impactos, utilizados como subsídios para a reflexão, aperfeiçoamento, tomada de decisões, correções de rumos e revisão de objetivos e estratégias.

29 Diagnóstico e Processo
Metodologias de avaliação do programa Programa Jovens Urbanos Formação ampliada Jovem ONG Parceiros Avaliação Diagnóstico e Processo (quali e quanti) Resultado (quali e quanti) Avaliação de Impacto (quanti)

30 Avaliação do Programa Constituição do marco zero Monitoramento
Avaliação de resultados Inscrição de jovens residentes nos clusters de maior vulnerabilidade - IVJ Prova de habilitação Divulgação da lista dos 960 jovens habilitados Sorteio público para constituição dos grupos de jovens Constituição do grupo controle Constituição do grupo Jovens Urbanos inclusão dos jovens no Cadastro Pró-Social da Secretaria Estadual de Assistência e Desenvolvimento Social Constituição do Conselho de Acompanhamento, formado por representantes das parcerias Produção de registros dos processos de formação com educadores e jovens Controle de freqüência dos jovens Definição da Avaliação: Ação conjugada com parceiros   Aderência do público alvo Os projetos dos jovens: resultados e impactos na empregabilidade e no desenvolvimento local Procedimentos: Análise documental Questionários com jovens e educadores Grupo focal com jovens e educadores Pesquisa de Campo

31 Renda e empregabilidade
Impactos da avaliação na gestão do programa Renda e empregabilidade Inclusão do eixo: mundo do trabalho Qualificação do monitoramento para evasão no programa gerada por inserção no mercado de trabalho Hábitos de leitura Reforço no eixo letramento Continuidade das ações de expressão Criação de semana expressão Jovens Urbanos Escolaridade formal Reforço no monitoramento de jovens que evadem da escola Programa ocorrendo dentro da escola em parceria com Secretarias de Educação Ensino Superior Escola Técnica Parceria com Universidades Parceria com escola técnica

32 Conclusões e recomendações
Processos regulares de avaliação orientam as instâncias de participação e governança e aumentam a credibilidade do programa. O sistema de monitoramento traz informações durante a realização do programa contribui para corrigir ou fortalecer ações. Resultados da avaliação de impacto reforçam algumas hipóteses detectadas nas avaliações e embasam mudanças na gestão.

33 Programa Jovens Urbanos: Transferência de Tecnologia Social
Programa Jovens Urbanos construiu, consolidou, registrou e avaliou sua metodologia de trabalho com jovens que vivem em situação de vulnerabilidade nas metrópoles brasileiras. Disseminar e colocar à disposição da sociedade os saberes produzidos constitui compromisso social e político.

34