Monitoramento e Avaliação de Programas Sociais Kathy Lindert, Banco Mundial Qualidade do Gasto Público no Brasil 26-27 Junho, 2003

Plano de Apresentação Objetivos do M&A Marco conceitual, exemplo Monitoramento (papel, etapas, etc.) Avaliação (papel, etapas, etc.) Disseminação e utilizações Questões institucionais e sustentabilidade

Objetivos do M&A Monitoramento e avaliação podem ajudar os formuladores de política de diversas formas: Como um instrumento para o planejamento e a elaboração do orçamento: para garantir alocações efetivas dos recursos públicos – planejamento, processo decisório e estabelecidmento de prioridades Como um instrumento de gestão, revelando o desempenho de atividades em curso, em nível de projeto, programa ou setor, para informar decisões sobre expansão, modificação ou eliminação de programas de acordo com a sua efetividade Como um mecanismo de accountability, para que haja controle sobre os gestores pela performance de seus programas/projetos e sobre controle sobre os governos pelo desempenho geral Para obter e manter apoio político, flexibilidade institucional (mesmo entre administrações) e financiamento para atividades bem-sucedidas

Marco Conceitual Longo prazo, ampla melhoria na sociedade Objetivos Metas (Impactos) Longo prazo, ampla melhoria na sociedade Objetivos Resultados Efeitos intermediários dos produtos sobre os clientes Produtos Produtos e serviços produzidos Atividades Tarefas empreendidas para transformar insumos em produtos Implementação Insumos Financeiros, humanos, e recursos materiais

Exemplo: Ensino médio Metas (Impactos) Níveis mais altos de renda; aumentar o acesso a empregos de maior qualificação Resultados Qualificação mais alta; mais oportunidades de emprego Produtos Número de jovens completando o ensino médio Atividades Educação escolar Insumos $, recursos, professores, materiais

Monitoramento

Monitoramento da Implementação e Resultados Monitoramento é um processo contínuo de coleta e análise de informações para comparar a qualidade da implementação do programa com seus resultados esperados Monitoramento se refere tanto à implementação quanto aos resultados Enfoque tradicional: Monitoramento de atividades Definir atividades e responsabilidades Monitorar atividades é importante No entanto: É possível executar as atividades, cumprir as responsibilildades, mas não progredir até as metas Questão: como saber quando você obteve sucesso? “Se não se reconhecer o sucesso, vai se valorizar o fracasso”

Principais tipos de Monitoramento Impacto Resultados Monitoramento de resultados Resultado Produto Implementação Monitoramento de implementação (enfoque tradicional) Atividade Insumo

Principais etapas do Monitoramento Acordo sobre os resultados a monitorar Seleção de indicadores destes resultados Medição de “baseline” Eleição de metas quantitativas Gerenciamento com relação às metas

1. Acordo sobre os resultados a monitorar Os resultados explicitam os objetivos pretendidos da ação governamental – a visão Consenso sobre estes resultados e sobre esta visão é importante Participação no acordo sobre os resultados é essencial Principais atores interessados devem estar envolvidos (e.g., governo, sociedade civil, doadores, etc.) Desenhar para o sucesso Evitar resultados impossíveis Motivar pessoal com uma visão inspiradora Criar linha de vista (“line of sight”) para todos que trabalham no sistema entre as suas ações e o resultado desejado “Se você não sabe para onde vai, todos os caminhos estão certos”

2. Seleção de indicadores Indicadores de resultados não são o mesmo que resultados Indicadores devem medir resultados, mas também processos e produtos Um resultado corresponderá tipicamente a mais do que um indicador Respondem à pergunta: “Como conheceremos o sucesso, se o virmos?”

2. Seleção de indicadores, cont. Um bom indicador de performance deve ser Claro (Preciso e não ambíguo) Relevante (Apropriado ao assunto em questão) Econômico (Disponível a um custo razoável) Adequado (Deve proporcionar uma base suficiente para estimar a performance) Monitorável (Deve poder ser utilizado para validação independente)

3. Estabelecendo Dados de “Baseline” sobre Indicadores Uma “baseline” ou base de performance é... Informação (quantitativa ou qualitativa) que proporcione dados no começo ou logo antes do período de monitoramento. A “baseline” é usada para: Aprender sobre níveis e padrões recentes de performance sobre o indicador; e para Medir a performance do projeto, programa ou política subseqüente

As fontes de dado podem ser primárias ou secundárias DADOS PRIMÁRIOS são coletados diretamente pela organização, por exemplo, através de surveys, observação direta e entrevistas. DADOS SECUNDÁRIOS foram coletados por outra pessoa, para um propósito diferente daquele do programa. Exemplos incluem dados de survey coletados por outra agência, uma Pesquisa Demográfica de Saúde, ou dados de um mercado financeiro. Dados secundários podem poupar dinheiro na aquisição de dados, mas tome cuidado!

Dados de “Baseline” Métodos informais/menos estruturados Pesquisas de painel Entrevistas com interlocutores chaves Conversas com pessoas afetadas “Grupos focais” Pesquisas únicas Análises dos registros oficiais Observação de participantes Observação direta Censos Entrevistas das comunidades Visitas de campo Experiências controladas Questionários Métodos informais/menos estruturados Métodos formais/mais estruturados

Praticidade Os dados estão associados com o indicador prático? Pergunte se… Dados de qualidade estão atualmente disponíveis Os dados podem ser obtidos de forma regular e em tempo A coleta de dados primários, quando necessária, é viável e efetiva em termos de custos

4. Metas Metas são os níveis quantificáveis dos indicadores que um país deseja atingir num dado ponto no tempo Precondições Clara compreensão do passado recente Conhecimento dos recursos disponíveis Considerações políticas Talvez o mais importante seja o custo de não cumprir a meta… Gerenciamento para o sucesso Seja realista! Faixas? Nota: gestão por resultados não depende criticamente das metas

5. Monitoria e gestão por Metas “Abertura” faz parte do enfoque Desenvolver estratégias de divulgação para o público, internet, etc. Monitoramento deve ser contínuo Informações devem correr “verticalmente” e “horizontalmente” Em nenhum ponto do sistema devem ser coletados dados sem ser analisados Cria incentivos em favor da qualidade dos dados

5. Monitoria Fidelidade Validade Pontualidade Metodologia estável e consistente Fidelidade Validade Pontualidade Medida clara e direta do desempenho relevante Dados atualizados e suficientemente freqüentes para influenciar decisões gerenciais

5. Monitoria: Freqüência Quanto mais observações houver, tanto mais os diagnósticos serão Seguros Sofisticados Tempo Melhorar acesso aos mercados Acesso ? Tempo Melhorar acesso aos mercados Acesso

Avaliação

O papel das avaliações Avaliação baseada em resultados Uma avaliação de uma intervenção planejada, sendo realizada ou já completada, para determinar sua relevância, eficiência, efetividade, impacto e sustentabilidade. A intenção é incorporar no processo decisório lições aprendidas. Propósitos da avaliação Questões “Por que”: O que causou as mudanças que estamos monitorando? Questões “Como”: Quais foram as seqüências ou os processos que levaram a resultados bem (ou mal) sucedidos Questões de “Cumprimento/ Accountability”: As atividades prometidas realmente aconteceram como foram planejadas?

Utilização da Avaliação Tomar decisões de recursos Repensar as causas de um problema Identificar questões referentes a um problema iminente, i.e. evasão de crianças da escola Identificar alternativas Promover apoio para a reforma ou inovação do setor público Ajudar a construir um consenso entre os atores envolvidos sobre como responder a um problema

Avaliação significa informação sobre: Estratégia se estamos fazendo as coisas certas Raciocínio/justificação Satisfação do cliente Operação se estamos fazendo as coisas corretamente Efetividade em alcançar os resultados esperados Eficiência em otimizar recursos Aprendizado se há melhores formas de se fazer Alternativas Melhores práticas Lições aprendidas

Tipos Gerais de Avaliações e Avaliações de Gastos Públicos (PERs) As avaliações podem ser feitas em vários níveis: Avaliações do desempenho dos gerentes dos programas e dos funcionários envolvidos na execuçao dos programas Avaliações institucionais Avaliações de programas (enfoque dessa apresentaçao) Avaliações dos setores (assuntos que abrangem vários setores, política fiscal, política de educaçao, etc.) As avaliações de gastos públicos (PERs) geralmente avaliam em nível mais geral (dos setores), porém também deve-se utilizar as avaliações dos programas

Tipos de Avaliações Avaliações de processo de implementação: Provê informação detalhada sobre a operação do programa segundo o que foi planejado (estamos fazendo as coisas corretamente?) Provê feedback contínuo para auxiliar os gestores Provê informações detalhadas para aqueles interessados em aumentar a escala ou replicar Identifica gargalos Avaliações de custo-benefício: Calcula o custo da intervenção relativamente aos resultados Estamos fazendo as coisas de forma eficiente?

Tipos de Avaliações, cont. Avaliações de impacto: Mede os efeitos do programa para determinar se os objetivos estão ou não sendo alcançados Tenta estabelecer uma relação de causalidade entre atividades e impactos Impactos incluem tanto os planejados quanto os não planejados Avaliações de impacto requerem um contra-factual claramente estabelecido: O que teria acontecido sem o projeto? Geralmente é preciso comparar aqueles “com” o projeto (beneficiários, “grupo de tratamento”) e aqueles “sem” o projeto (“grupo de controle”) antes e depois do projeto

Estágios da Avaliação Esclarecer os objetivos da avaliação Explorar as informações disponíveis Desenhar a avaliação Formar a equipe de avaliação (capacidade?) Coletar informação (amostra, questionário, piloto, coleta de dados, entrada, controle de qualidade, etc.) Análise Relatar, disseminar e discutir os resultados Usar os resultados: feedback para políticas, orçamentos e planejamento

Disseminação e Utilidades da Informação

Divulgação Informar sobre o estado dos projetos Prover índices sobre problemas Explicar problemas Criar oportunidades para considerar melhoras ou alternativas Prover informação sobre tendências

Usando as Conclusões Como um instrumento para o planejamento e orçamento: Formular/justificar orçamentos Ajudar na alocação operacional de recursos Como um instrumento de gestão: Melhorar os serviços Como um instrumento de performance/accountability : Responder às demandas para “accountability” Motivar pessoal Monitorar fornecedores Provocar debate sobre problemas Reforçar confiança pública

Questões institucionais e sustentabilidade Demanda para M&A é crucial Exigências estruturais (ex. lei nacional que exija M&A de todos os programas federais) Vínculos orçamentários e de planejamento Papéis claros Papel formal para organismos de planejamento e finanças Credibilidade Sistema deve entregar boas e más notícias! Proteção dos gerentes contra conseqüências graves Responsabilidade (“Accountability”) Papéis da sociedade civil, mídia… Capacidade técnica