A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

1 Monitoramento e Avalia ç ão de Programas Sociais Kathy Lindert, Banco Mundial Qualidade do Gasto P ú blico no Brasil 26-27 Junho, 2003.

Apresentações semelhantes


Apresentação em tema: "1 Monitoramento e Avalia ç ão de Programas Sociais Kathy Lindert, Banco Mundial Qualidade do Gasto P ú blico no Brasil 26-27 Junho, 2003."— Transcrição da apresentação:

1 1 Monitoramento e Avalia ç ão de Programas Sociais Kathy Lindert, Banco Mundial Qualidade do Gasto P ú blico no Brasil Junho, 2003

2 2 Plano de Apresenta ç ão Objetivos do M&A Marco conceitual, exemplo Monitoramento (papel, etapas, etc.) Avalia ç ão (papel, etapas, etc.) Dissemina ç ão e utiliza ç ões Questões institucionais e sustentabilidade

3 3 Objetivos do M&A Monitoramento e avalia ç ão podem ajudar os formuladores de pol í tica de diversas formas: Como um instrumento para o planejamento e a elabora ç ão do or ç amento: para garantir aloca ç ões efetivas dos recursos p ú blicos – planejamento, processo decis ó rio e estabelecidmento de prioridades Como um instrumento de gestão, revelando o desempenho de atividades em curso, em n í vel de projeto, programa ou setor, para informar decisões sobre expansão, modifica ç ão ou elimina ç ão de programas de acordo com a sua efetividade Como um mecanismo de accountability, para que haja controle sobre os gestores pela performance de seus programas/projetos e sobre controle sobre os governos pelo desempenho geral Para obter e manter apoio pol í tico, flexibilidade institucional (mesmo entre administra ç ões) e financiamento para atividades bem-sucedidas

4 4 Marco Conceitual Resultados Efeitos intermediários dos produtos sobre os clientes Produtos Produtos e serviços produzidos Atividades Tarefas empreendidas para transformar insumos em produtos Insumos Financeiros, humanos, e recursos materiais Metas (Impactos) Longo prazo, ampla melhoria na sociedade Implementação Objetivos

5 5 Exemplo: Ensino m é dio Resultados Qualificação mais alta; mais oportunidades de emprego Produtos Número de jovens completando o ensino médio Atividades Educação escolar Insumos $, recursos, professores, materiais Metas (Impactos) Níveis mais altos de renda; aumentar o acesso a empregos de maior qualificação

6 6 Monitoramento

7 7 Monitoramento da Implementa ç ão e Resultados Monitoramento é um processo cont í nuo de coleta e an á lise de informa ç ões para comparar a qualidade da implementa ç ão do programa com seus resultados esperados Monitoramento se refere tanto à implementa ç ão quanto aos resultados Enfoque tradicional: Monitoramento de atividades Definir atividades e responsabilidades Monitorar atividades é importante No entanto: É poss í vel executar as atividades, cumprir as responsibilildades, mas não progredir at é as metas Questão: como saber quando você obteve sucesso? Se não se reconhecer o sucesso, vai se valorizar o fracasso

8 8 Principais tipos de Monitoramento ProdutoAtividadeInsumoResultado Impacto Monitoramento de resultados Monitoramento de implementação (enfoque tradicional) Implementação Resultados

9 9 Principais etapas do Monitoramento Acordo sobre os resultados a monitorar Sele ç ão de indicadores destes resultados Medi ç ão de baseline Elei ç ão de metas quantitativas Gerenciamento com rela ç ão à s metas

10 10 1. Acordo sobre os resultados a monitorar Os resultados explicitam os objetivos pretendidos da a ç ão governamental – a visão Consenso sobre estes resultados e sobre esta visão é importante Participa ç ão no acordo sobre os resultados é essencial Principais atores interessados devem estar envolvidos (e.g., governo, sociedade civil, doadores, etc.) Desenhar para o sucesso Evitar resultados imposs í veis Motivar pessoal com uma visão inspiradora Criar linha de vista ( line of sight ) para todos que trabalham no sistema entre as suas a ç ões e o resultado desejado Se você não sabe para onde vai, todos os caminhos estão certos

11 11 2. Sele ç ão de indicadores Indicadores de resultados não são o mesmo que resultados Indicadores devem medir resultados, mas tamb é m processos e produtos Um resultado corresponder á tipicamente a mais do que um indicador Respondem à pergunta: Como conheceremos o sucesso, se o virmos?

12 12 2. Sele ç ão de indicadores, cont. Um bom indicador de performance deve ser Claro(Preciso e não amb í guo) Relevante(Apropriado ao assunto em questão) Econômico(Dispon í vel a um custo razo á vel) Adequado(Deve proporcionar uma base suficiente para estimar a performance) Monitor á vel(Deve poder ser utilizado para valida ç ão independente)

13 13 3. Estabelecendo Dados de Baseline sobre Indicadores Uma baseline ou base de performance é... Informa ç ão (quantitativa ou qualitativa) que proporcione dados no come ç o ou logo antes do per í odo de monitoramento. A baseline é usada para: Aprender sobre n í veis e padrões recentes de performance sobre o indicador; e para Medir a performance do projeto, programa ou pol í tica subseq ü ente

14 14 As fontes de dado podem ser prim á rias ou secund á rias DADOS PRIM Á RIOS são coletados diretamente pela organiza ç ão, por exemplo, atrav é s de surveys, observa ç ão direta e entrevistas. DADOS SECUND Á RIOS foram coletados por outra pessoa, para um prop ó sito diferente daquele do programa. Exemplos incluem dados de survey coletados por outra agência, uma Pesquisa Demogr á fica de Sa ú de, ou dados de um mercado financeiro. Dados secund á rios podem poupar dinheiro na aquisi ç ão de dados, mas tome cuidado!

15 15 Dados de Baseline Conversas com pessoas afetadas Análises dos registros oficiais Métodos informais/menos estruturados Visitas de campo Entrevistas das comunidades Observação de participantes Entrevistas com interlocutores chaves Grupos focais Pesquisas únicas Questionários Pesquisas de painel Experiências controladas Censos Métodos formais/mais estruturados Observação direta

16 16 Praticidade Os dados estão associados com o indicador pr á tico? Pergunte se … Dados de qualidade estão atualmente disponíveis Os dados podem ser obtidos de forma regular e em tempo A coleta de dados primários, quando necessária, é viável e efetiva em termos de custos

17 17 4. Metas Metas são os n í veis quantific á veis dos indicadores que um pa í s deseja atingir num dado ponto no tempo Precondi ç ões Clara compreensão do passado recente Conhecimento dos recursos dispon í veis Considera ç ões pol í ticas Talvez o mais importante seja o custo de não cumprir a meta … Gerenciamento para o sucesso Seja realista! Faixas? Nota: gestão por resultados não depende criticamente das metas

18 18 5. Monitoria e gestão por Metas Abertura faz parte do enfoque Desenvolver estrat é gias de divulga ç ão para o p ú blico, internet, etc. Monitoramento deve ser cont í nuo Informa ç ões devem correr verticalmente e horizontalmente Em nenhum ponto do sistema devem ser coletados dados sem ser analisados Cria incentivos em favor da qualidade dos dados

19 19 5. Monitoria Fidelidade Validade Pontualidade Metodologia estável e consistente Medida clara e direta do desempenho relevante Dados atualizados e suficientemente freqüentes para influenciar decisões gerenciais

20 20 5. Monitoria: Freq ü ência Quanto mais observa ç ões houver, tanto mais os diagn ó sticos serão Seguros Sofisticados ? Tempo Melhorar acesso aos mercados Acesso Tempo Melhorar acesso aos mercados Acesso

21 21 Avalia ç ão

22 22 O papel das avalia ç ões Avaliação baseada em resultados Uma avaliação de uma intervenção planejada, sendo realizada ou já completada, para determinar sua relevância, eficiência, efetividade, impacto e sustentabilidade. A intenção é incorporar no processo decisório lições aprendidas. Propósitos da avaliação Questões Por que: O que causou as mudanças que estamos monitorando? Questões Como: Quais foram as seqüências ou os processos que levaram a resultados bem (ou mal) sucedidos Questões de Cumprimento/ Accountability: As atividades prometidas realmente aconteceram como foram planejadas?

23 23 Utiliza ç ão da Avalia ç ão Tomar decisões de recursos Repensar as causas de um problema Identificar questões referentes a um problema iminente, i.e. evasão de crian ç as da escola Identificar alternativas Promover apoio para a reforma ou inova ç ão do setor p ú blico Ajudar a construir um consenso entre os atores envolvidos sobre como responder a um problema

24 24 Avalia ç ão significa informa ç ão sobre: Estrat é gia se estamos fazendo as coisas certas Racioc í nio/justifica ç ão Satisfa ç ão do cliente Opera ç ão se estamos fazendo as coisas corretamente Efetividade em alcan ç ar os resultados esperados Eficiência em otimizar recursos Aprendizado se h á melhores formas de se fazer Alternativas Melhores pr á ticas Li ç ões aprendidas

25 25 Tipos Gerais de Avalia ç ões e Avalia ç ões de Gastos P ú blicos (PERs) As avalia ç ões podem ser feitas em v á rios n í veis: Avalia ç ões do desempenho dos gerentes dos programas e dos funcion á rios envolvidos na execu ç ao dos programas Avalia ç ões institucionais Avalia ç ões de programas (enfoque dessa apresenta ç ao) Avalia ç ões dos setores (assuntos que abrangem v á rios setores, pol í tica fiscal, pol í tica de educa ç ao, etc.) As avalia ç ões de gastos p ú blicos (PERs) geralmente avaliam em n í vel mais geral (dos setores), por é m tamb é m deve-se utilizar as avalia ç ões dos programas

26 26 Tipos de Avalia ç ões Avalia ç ões de processo de implementa ç ão: Provê informa ç ão detalhada sobre a opera ç ão do programa segundo o que foi planejado (estamos fazendo as coisas corretamente?) Provê feedback cont í nuo para auxiliar os gestores Provê informa ç ões detalhadas para aqueles interessados em aumentar a escala ou replicar Identifica gargalos Avalia ç ões de custo-benef í cio: Calcula o custo da interven ç ão relativamente aos resultados Estamos fazendo as coisas de forma eficiente?

27 27 Tipos de Avalia ç ões, cont. Avalia ç ões de impacto: Mede os efeitos do programa para determinar se os objetivos estão ou não sendo alcan ç ados Tenta estabelecer uma rela ç ão de causalidade entre atividades e impactos Impactos incluem tanto os planejados quanto os não planejados Avalia ç ões de impacto requerem um contra-factual claramente estabelecido: O que teria acontecido sem o projeto? Geralmente é preciso comparar aqueles com o projeto (benefici á rios, grupo de tratamento ) e aqueles sem o projeto ( grupo de controle ) antes e depois do projeto

28 28 Est á gios da Avalia ç ão Esclarecer os objetivos da avalia ç ão Explorar as informa ç ões dispon í veis Desenhar a avalia ç ão Formar a equipe de avalia ç ão (capacidade?) Coletar informa ç ão (amostra, question á rio, piloto, coleta de dados, entrada, controle de qualidade, etc.) An á lise Relatar, disseminar e discutir os resultados Usar os resultados: feedback para pol í ticas, or ç amentos e planejamento

29 29 Dissemina ç ão e Utilidades da Informa ç ão

30 30 Divulga ç ão Informar sobre o estado dos projetos Prover í ndices sobre problemas Explicar problemas Criar oportunidades para considerar melhoras ou alternativas Prover informa ç ão sobre tendências

31 31 Usando as Conclusões Como um instrumento para o planejamento e or ç amento: Formular/justificar or ç amentos Ajudar na aloca ç ão operacional de recursos Como um instrumento de gestão: Melhorar os servi ç os Como um instrumento de performance/accountability : Responder à s demandas para accountability Motivar pessoal Monitorar fornecedores Provocar debate sobre problemas Refor ç ar confian ç a p ú blica

32 32 Questões institucionais e sustentabilidade Demanda para M&A é crucial Exigências estruturais (ex. lei nacional que exija M&A de todos os programas federais) V í nculos or ç ament á rios e de planejamento Pap é is claros Papel formal para organismos de planejamento e finan ç as Credibilidade Sistema deve entregar boas e m á s not í cias! Prote ç ão dos gerentes contra conseq ü ências graves Responsabilidade ( Accountability ) Pap é is da sociedade civil, m í dia … Capacidade t é cnica


Carregar ppt "1 Monitoramento e Avalia ç ão de Programas Sociais Kathy Lindert, Banco Mundial Qualidade do Gasto P ú blico no Brasil 26-27 Junho, 2003."

Apresentações semelhantes


Anúncios Google