O Curso de Avaliação Econômica de Projetos Sociais Luiz Guilherme Scorzafave Recife, Novembro de 2013

Importância da avaliação Por que aceitamos tomar um remédio quando o médico nos prescreve uma receita? Acreditamos que o remédio terá impacto sobre a doença. Remédio passa por avaliações e testes antes de ser usado em larga escala. E por que não é feito o mesmo com as políticas públicas ou ações sociais? Porque as coisas são feitas na base da “tentativa e erro”? Precisamos mudar essa cultura...

Público Alvo e Requisitos Exigidos Gestores / Coordenadores de ONGs ou OSCIPs; Secretários ou técnicos de secretarias municipais ou estaduais ou federais; Gestores ou técnicos de fundações ou institutos empresariais. Pré requisito: conhecimento básico de Excel e Estatística.

Objetivo do Curso Oferece uma introdução à ferramenta metodológica de mensuração quantitativa dos resultados dos projetos sociais. Capacita o aluno: Numa análise crítica das avaliações quant. e qual.; Na estruturação do projeto para que a avaliação de impacto possa ser realizada; Suporte na contratação e acompanhamento de especialistas em avaliações de impacto futuras. Não visa formar especialistas em avaliação econômica. Não visa formar especialistas em avaliação econômica. Para isso métodos mais sofisticados são exigidos.

Didática do Curso Aulas expositivas + aulas práticas; Aula prática toda em Excel.; Alunos desenvolvem, em grupo, um exercício com a avaliação de um projeto real; Material impresso e digital com todo o conteúdo do curso, incluindo exercícios das aulas práticas; “Estudos de Casos”: avaliações reais e fictícias.

Dificuldades encontradas pelos alunos Abordagem de avaliação nova; Construção de indicadores: Quantitativos; Relação direta com as ações efetuadas; Relação com o objetivo fim do projeto. Base de dados: Existência de indicadores de impacto; Informação sobre o início do projeto; Informação sobre grupo de controle. Tempo de maturação do impacto.

Resultados Visão crítica sobre avaliações realizadas: Monitoramento não é avaliação; Mensuração de crescimento de um indicador não é garantia de impacto (antes e depois). Mais precisão na montagem do banco de dados (cadastro): Preocupação em acompanhar beneficiários (e não beneficiários); Obtenção de indicadores de impacto. Conceito de custo-benefício.

Exemplo: Projeto de Contraturno escolar Objetivo: Aumentar a proficiência do aluno. Público alvo: crianças e adolescentes de 6 a 16 anos, com renda per capita inferior a meio salário mínimo e situação de vulnerabilidade social. Ações: Oficinas lúdicas e acompanhamento escolar. Atendimento odontológico, médico, alimentar, etc. Este exemplo é proveniente de um trabalho de final de curso do Itaú social. O nome das ONGs e dos projetos foram alterados. 8

Caracterização da avaliação de impacto Avaliação não experimental: RESULTADOS devem ser olhados com cautela. GRUPO TRATAMENTO: 104 alunos que participaram do projeto com início em janeiro de 2009. GRUPO CONTROLE: 62 alunos candidatos a participarem do projeto - pertenciam à lista de espera e que não foram chamados. 9

Resultado da avaliação de impacto 16% dos alunos que participaram do projeto foram aprovados POR CAUSA do projeto. 19% dos alunos que participaram do projeto tiveram melhoras nas notas de português POR CAUSA do programa. O programa não teve impacto nas notas de matemática. O programa não teve impacto na freqüência escolar. É interessante colocar que o gestor do projeto já sabia que não ia ter impacto na nota de matemática porque ele tinha conciência que a metodologia adotada no ensino não era boa. Entretanto, tentou trocá-la várias vezes mas o diretor do projeto não aceitava. Com a avaliação ele pode provar que era preciso substituir a metodologia de ensino de matemática, e o diretor do projeto aceitou. Eles também não faziam controle da frequência das crianças à escola. Simplesmente exigiam que estivessem matriculadas no início do ano. Após a avaliação passaram a exigir o atestado de frequência às aulas dado que isso é fundamental para o desempenho escolar. 10

Resultado da avaliação de retorno econômico O custo do programa foi de 607.812,00 reais Valor presente líquido de -395.004,53 reais. Apesar de ter um alto impacto o custo era alto demais e não compensava o investimento. O programa foi reformulado e a assistência médica e odontológica que era fornecida diretamente pelo projeto – maior parcela do custo - passou a ser oferecida pelo SUS, utilizando o posto de saúde próximo já existente. Este é um grande exemplo de como a avaliação pode ser uma importante ferramenta da gestão do programa. 11

Agora Apresentação de exercícios de final de curso: Curso 2012 e 2013 – Parceria FIS com SEPLAG/PE Programa Pernambuco Conduz (2012) Programa de Controle da Tuberculose (2013)