A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Avaliação de Projetos Sociais Reynaldo Fernandes Universidade de São Paulo – USP.

Apresentações semelhantes


Apresentação em tema: "Avaliação de Projetos Sociais Reynaldo Fernandes Universidade de São Paulo – USP."— Transcrição da apresentação:

1 Avaliação de Projetos Sociais Reynaldo Fernandes Universidade de São Paulo – USP

2 Sumário 1. Avaliação de Projetos Sociais: aspectos gerais 2. Avaliação do Programa Jovens Urbanos: comentários 3. Avaliação do Projeto Jovem de Futuro: comentários

3 Avaliação de Projetos Sociais: aspectos gerais

4 Avaliação de Projetos Sociais 1) Avaliação de Impacto: O projeto apresentou os impactos desejados? 2) Avaliação Econômica (análise custo-benefício): Os benefícios do projeto compensam os custos? 3) Identificação dos Mecanismos:Quais são os mecanismos pelos quais o programa afeta os beneficiários?

5 Avaliação de Projetos Sociais: Brasil Houve um grande avanço na disseminação das avaliações de impacto. Existem algumas iniciativas em Avaliações Econômicas: incipientes e muito simplificadas. Poucas tentativas de identificar os mecanismos pelos quais o programa atua. As avaliações existentes são, em geral, do tipo caixa preta.

6 Identificação de Mecanismos Seria fundamental para dar escala para muitas experiências piloto avaliadas. Muito dos programas avaliados são muito difíceis de expandir para larga gama de beneficiários. Se conhecêssemos os mecanismos pelos quais o programa atua seria mais fácil transportá-los para uma aplicação em larga escala. Uma das funções de Projetos-piloto na área social seria, justamente, a de gerar conhecimento sobre tais mecanismos.

7 Identificação de Mecanismos Uma das principais críticas dos avaliados é que a avaliação não os auxiliam no entendimento, aperfeiçoamento e correção do projeto. Os avaliados gostariam de uma avaliação mais formativa.

8 Avaliação do Programa Jovens Urbanos: comentários

9 Programa Jovens Urbanos Trata-se de uma avaliação não experimental e, portanto, tem que lidar como potencial viés de participação. Admite-se que a diferença entre participantes e controle dependa apena de características observáveis (probabilidade de participação co base em observáveis).

10 Programa Jovens Urbanos: Resultados de Curto Prazo (1 ano após) Maior engajamento no mercado de trabalho. Maior chance de estar empregado Maior renda pessoal (em grande parte em virtude da maior taxa de emprego) Maior participação em cursos profissionais Maior participação em ONGs e Movimentos Sociais Maior freqüência na leitura de jornais/revistas/livros

11 Programa Jovens Urbanos: Resultados de Curto Prazo (1 ano após) Maior engajamento no mercado de trabalho tem haver com o conteúdo das oficinas ou com o contato com as ONGs? Maior freqüência na leitura de jornais/revistas/livros parece o único resultado não diretamente ligado ao contato com as ONGs

12 Programa Jovens Urbanos: Resultados de Médio Prazo (4 anos após) 1. Maior engajamento no mercado de trabalho desaparece. 2. Maior proporção de jovens que ingressa no ensino superior.

13 Programa Jovens Urbanos: Resultados de Médio Prazo (4 anos após) Como interpretar? 1. Antecipação do Ingresso no mercado de trabalho Aumento na renda Ingresso no ensino superior (os jovens alegam que a principal dificuldade de ingressar no ensino superior e a falta de renda). 2. O programa desperta o interesse em continuar os estudos.

14 Programa Jovens Urbanos: Análise Custo- Benefício Demasiadamente simplificada. Poderia gastar mais esforço na estimação dos benefícios ao longo do ciclo de vida. Poderia, por exemplo, levar em conta que os salários crescem com o tempo (produtividade dos sistema) e com a experiência (senioridade): p = taxa de crescimento salarial em virtude da produtividade do sistema k = crescimento salarial em virtude da progressão na carreira (ou experiência)

15 Avaliação do Projeto Jovem de Futuro: comentários

16 Projeto Jovem de Futuro Trata-se de uma avaliação experimental e, portanto, resolve, em princípio, o problema de viés de participação. Resta os problemas gerados por atritos. desistências, perda de informações, infiltrações etc.

17 Projeto Jovem de Futuro: impacto sobre a aprendizagem Problema Resultado de provas podem depender de outros fatores além da aprendizagem (proficiência): empenho na prova, sorte, seleção dos candidatos etc. O problema surge quando o programa afeta esses outros fatores. Tem sido observado que os participantes de programas (grupo de tratamento) tendem a se empenhar mais em exames realizados para avaliar os programas. Inflação de notas. Utilizar exames destinados para outros fins é uma melhor alternativa (e.g. prova Brasil, SARESP etc.)

18 Projeto Jovem de Futuro: Resultados Impacto extremamente elevado sobre as proficiências. Evolução da Proficiência em matemática – Porto Alegre InícioFinalVariação SAEB/Brasil (9º ano 2007 e 3º ano do EM 2009) (3 anos) Grupo de Controle (Diagnóstica 2008 e Somativa 2009) (1 ano) Grupo de Tratamento (Diagnóstica 2008 e Somativa 2009) (1 ano) Impacto--17 (1 ano)

19 Projeto Jovem de Futuro: Avaliação Econômica Impacto da Proficiência sobre a renda: 10 ponto de proficiência eleva a renda em 2,5% Esse resultado é extraído de uma tese (Soares, 2010). Não conheço a tese, mas, por se tratar de uma tese, creio que a estimativa seja mais elaborada que o usual.

20 Projeto Jovem de Futuro: Avaliação Econômica Taxa de retorno considerada é muito elevada: 10 e 15% Regra de ouro: taxa de retorno = aumento de produtividade do sistema. A TIR deveria ser o resultado!

21 Projeto Jovem de Futuro: Mecanismos O que determina esse impacto elevado: São os R$ 100,00 por aluno que as escolas participantes recebem? Tem sido difícil encontrar relação entre gasto-aluno e desempenho. São os recursos junto com as restrições de gastos? Seria a mobilização?

22 Projeto Jovem de Futuro: Mecanismos Parece existir uma correlação positiva entre o desempenho dos alunos e os investimentos em práticas voltadas para aumentar o índice de freqüência dos professores. Prosseguir nesse tipo de investigação parece ser caminho interessante para ser trilhado!


Carregar ppt "Avaliação de Projetos Sociais Reynaldo Fernandes Universidade de São Paulo – USP."

Apresentações semelhantes


Anúncios Google