FÓRUM DA REDE GOIÁS Avaliação, instrumento estratégico no ciclo de gestão do PPA 2004- 2007, Avançar Mais Dra. Maria das Graças Rua.

Apresentação em tema: "FÓRUM DA REDE GOIÁS Avaliação, instrumento estratégico no ciclo de gestão do PPA 2004- 2007, Avançar Mais Dra. Maria das Graças Rua."— Transcrição da apresentação:

1 FÓRUM DA REDE GOIÁS Avaliação, instrumento estratégico no ciclo de gestão do PPA 2004- 2007, Avançar Mais Dra. Maria das Graças Rua

2 AVALIAÇÃO DE PROGRAMAS, AÇÕES E PROJETOS n Ferramenta que contribui para integrar as atividades do ciclo de gestão pública: desde a identificação dos problemas e o planejamento, a gestão, até o controle n Pode subsidiar o planejamento e formulação de uma intervenção, o acompanhamento de sua implementação, os conseqüentes ajustes a serem adotados, e até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção.

3 Importância da avaliação para o ciclo de gestão do PPA n Contribui para a melhor qualidade do planejamento governamental. n Favorece a formulação de objetivos e metas exequíveis e responsáveis. n Permite a correção de rumos nas ações públicas. n Facilita alcançar eficácia, eficiência e efetividade nas ações governamentais.

4 Importância da avaliação para o ciclo de gestão do PPA n Facilita alcançar maior satisfação dos usuários e maior legitimidade social e política. n Contribui para todas as atividades de controle interno, externo, e controle social, levando maior transparência e accountability às ações de governo. n É decisiva para o processo de aprendizagem institucional.

5 n Obstáculos à avaliação: n Modelos gerenciais orientados para processos/ Ausência de cultura de accountability n Ameaça: avaliação alheia à gestão, estritamente por avaliadores externos n Falta de domínio conceitual e metodológico n Falta de clareza dos critérios n Falta de conexão entre avaliação e tomada de decisão, impede o aprendizado organizacional

6 Avaliação formal n É o exame sistemático de certos objetos, baseado em critérios explícitos e mediante procedimentos reconhecidos de coleta e análise de informação sobre o conteúdo, estrutura, processo, resultados, qualidade e/ou impactos de quaisquer intervenções planejadas na realidade n Avaliação: envolve tanto julgamento como atribuição de valor e mensuração n Não é tarefa neutra, mas comprometida com princípios e seus critérios n Requer uma cultura: uma disciplina intelectual e uma familiaridade prática, amparadas em valores

7 Avaliação X Monitoramento Avaliação é o exame discreto de processos, produtos, qualidade, resultados, impactos, das intervenções realizadas. Monitoramento é o exame contínuo de processos, produtos, resultados, impactos, das intervenções realizadas.

8 Avaliação: objetivos gerais identificar e mensurar os resultados, efeitos, impactos compreender como e porque foram obtidos ou não julgar as intervenções mediante critérios definidos, como eficácia, eficiência, sustentabilidade, etc proporcionar informações necessárias para a tomada de decisão sobre o objeto avaliado viabilizar estratégias de responsabilização e accountability proporcionar aprendizado institucional

9 Monitoramento: objetivos gerais identificar mudanças parciais a partir da linha de base das metas controlar o cumprimento das metas estabelecidas acompanhar a execução de um Plano de Atividades para facilitar sua correta implementação identificar erros e omissões na concepção do próprio projeto ou programa proporcionar informações necessárias para a tomada de decisão sobre o projeto ou programa proporcionar aprendizado institucional

10 Tipologia (s) de Avaliação Avaliação Jurídica ou de conformidade Avaliação de situação, ambiental ou de contexto Avaliação de desempenho individual e institucional Avaliação de processo Avaliação de produto/resultado Avaliação de impacto

11 Tipologia (s) de Avaliação Avaliação de qualidade Avaliação de satisfação do usuário Avaliação Interna Avaliação Externa Avaliação Mista Avaliação participativa

12 Tipologia (s) de Avaliação Avaliação ex-ante Avaliação ex-post Avaliação Somativa Avaliação Formativa ou Retroalimentadora

13 Desafios para a institucionalização da avaliação: n definição clara dos objetivos e valores que orientam o ciclo de gestão e a atividade de intervenção (objeto) n definição clara dos objetivos da avaliação n definição de critérios claros e consolidados para mensuração e julgamento

14 n Desafios para a institucionalização da avaliação: n construção e utilização precisa e regular de indicadores fidedignos n identificação e pactuação de indicadores e informações relevantes com os atores envolvidos n estabelecimento e consolidação de marco conceitual e metodológico n utilização das abordagens compatíveis com o objeto e a ser avaliado e com sua complexidade.

15 n Desafios para a institucionalização da avaliação: n combinação de abordagens qualitativas e quantitativas n definição e manejo efetivo de fluxos da informação gerada pelo processo avaliativo: utilização para decisões gerenciais n adoção de mecanismos efetivos de disseminação dos resultados e de aprendizagem organizacional

16 Critérios para avaliação: Eficácia capacidade de produzir os resultados esperados Economicidade capacidade de reduzir custos Eficiência elevação da produtividade, da relação custo/benefício Efetividade capacidade de maximizar a eficácia e a eficiência Equidade capacidade de contribuir para a redução de assimetrias individuais e sociais Sustentabilidade capacidade de manter e/ou expandir os ganhos obtidos, para além da intervenção

17 Métodos/Modelos de Avaliação Análise custo-benefício, análise custo- efetividade. Meta-avaliação Avaliação quasi-experimental: sincrônica e diacrônica Modelo causal: Marco Lógico(BID) ou Matriz Lógica (BIRD) ou Quadro Lógico (GTZ) Avaliação Independente de objetivos

18 Como gerenciar um sistema de avaliação : 1. Definir objetivos e periodicidade 2. Identificar os Usuários 3. Estabelecer Critérios questões gerais 4. Identificar dimensões focais perguntas específicas 5. Selecionar Instrumentos e Mecanismos de Avaliação 6. Definir o Arranjo institucional 7. Definir as estratégias de disseminação e aprendizado organizacional 8. Definir as estratégias de aplicação das recomendações e de sustentabilidade 9. Orçamento

19 Objetivo e periodicidade das avaliações 1-Objetivo e periodicidade das avaliações *Testar a estratégia inicial para gerar os resultados momento inicial do ciclo do programa (1-2 anos) *Averiguar a necessidade e identificar quais os ajustes para melhorar a obtenção dos resultados momento intermediário do ciclo do programa (2-3 anos) *Tomar decisões sobre prosseguimento ou extensão do programa, extrair lições momento final do programa: meados do último ano

20 2-Usuários: a quem se destina cada produto do sistema de M&A, conforme os objetivos definidos 3- Critérios: economicidade, conformidade, tempestividade, celeridade, eficácia, eficiência, efetividade, equidade, sustentabilidade, etc 4-Dimensões focais: processo, atividades, produtos, resultados, efeitos, impactos definem as perguntas a serem respondidas 5-Instrumentos e Mecanismos: Relatórios de Monitoramento; Relatórios de Avaliações Iniciais, Intermediárias e Final; Visitas de Validação; Oficinas de Avaliação de Efeitos; Exame Final

21 6- Arranjo institucional: definição das funções e responsabilidades de cada ator no sistema de M&A 7-Estratégia de disseminação e aprendizado organizacional: alcance da divulgação de cada tipo de produto do sistema (quem recebe o quê, quando e por que meios) + mecanismos, instrumentos e dinâmicas a serem adotadas para aprendizagem (oficinas, reuniões, audiências de revisão, etc)

22 8- Estratégia de aplicação e sustentabilidade avaliação das reações ao sistema de M&A: monitoramento da implementação das recomendações e das lições aprendidas; identificação das necessidades e oferta de sensibilização e de capacitação dos stakeholders; exame crítico do sistema de M&A e ajustes necessários. 9-Orçamento