FÓRUM DA REDE GOIÁS Avaliação, instrumento estratégico no ciclo de gestão do PPA , Avançar Mais Dra. Maria das Graças Rua

AVALIAÇÃO DE PROGRAMAS, AÇÕES E PROJETOS n Ferramenta que contribui para integrar as atividades do ciclo de gestão pública: desde a identificação dos problemas e o planejamento, a gestão, até o controle n Pode subsidiar o planejamento e formulação de uma intervenção, o acompanhamento de sua implementação, os conseqüentes ajustes a serem adotados, e até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção.

Importância da avaliação para o ciclo de gestão do PPA n Contribui para a melhor qualidade do planejamento governamental. n Favorece a formulação de objetivos e metas exequíveis e responsáveis. n Permite a correção de rumos nas ações públicas. n Facilita alcançar eficácia, eficiência e efetividade nas ações governamentais.

Importância da avaliação para o ciclo de gestão do PPA n Facilita alcançar maior satisfação dos usuários e maior legitimidade social e política. n Contribui para todas as atividades de controle interno, externo, e controle social, levando maior transparência e accountability às ações de governo. n É decisiva para o processo de aprendizagem institucional.

n Obstáculos à avaliação: n Modelos gerenciais orientados para processos/ Ausência de cultura de accountability n Ameaça: avaliação alheia à gestão, estritamente por avaliadores externos n Falta de domínio conceitual e metodológico n Falta de clareza dos critérios n Falta de conexão entre avaliação e tomada de decisão, impede o aprendizado organizacional

Avaliação formal n É o exame sistemático de certos objetos, baseado em critérios explícitos e mediante procedimentos reconhecidos de coleta e análise de informação sobre o conteúdo, estrutura, processo, resultados, qualidade e/ou impactos de quaisquer intervenções planejadas na realidade n Avaliação: envolve tanto julgamento como atribuição de valor e mensuração n Não é tarefa neutra, mas comprometida com princípios e seus critérios n Requer uma cultura: uma disciplina intelectual e uma familiaridade prática, amparadas em valores

Avaliação X Monitoramento Avaliação é o exame discreto de processos, produtos, qualidade, resultados, impactos, das intervenções realizadas. Monitoramento é o exame contínuo de processos, produtos, resultados, impactos, das intervenções realizadas.

Avaliação: objetivos gerais identificar e mensurar os resultados, efeitos, impactos compreender como e porque foram obtidos ou não julgar as intervenções mediante critérios definidos, como eficácia, eficiência, sustentabilidade, etc proporcionar informações necessárias para a tomada de decisão sobre o objeto avaliado viabilizar estratégias de responsabilização e accountability proporcionar aprendizado institucional

Monitoramento: objetivos gerais identificar mudanças parciais a partir da linha de base das metas controlar o cumprimento das metas estabelecidas acompanhar a execução de um Plano de Atividades para facilitar sua correta implementação identificar erros e omissões na concepção do próprio projeto ou programa proporcionar informações necessárias para a tomada de decisão sobre o projeto ou programa proporcionar aprendizado institucional

Tipologia (s) de Avaliação Avaliação Jurídica ou de conformidade Avaliação de situação, ambiental ou de contexto Avaliação de desempenho individual e institucional Avaliação de processo Avaliação de produto/resultado Avaliação de impacto

Tipologia (s) de Avaliação Avaliação de qualidade Avaliação de satisfação do usuário Avaliação Interna Avaliação Externa Avaliação Mista Avaliação participativa

Tipologia (s) de Avaliação Avaliação ex-ante Avaliação ex-post Avaliação Somativa Avaliação Formativa ou Retroalimentadora

Desafios para a institucionalização da avaliação: n definição clara dos objetivos e valores que orientam o ciclo de gestão e a atividade de intervenção (objeto) n definição clara dos objetivos da avaliação n definição de critérios claros e consolidados para mensuração e julgamento

n Desafios para a institucionalização da avaliação: n construção e utilização precisa e regular de indicadores fidedignos n identificação e pactuação de indicadores e informações relevantes com os atores envolvidos n estabelecimento e consolidação de marco conceitual e metodológico n utilização das abordagens compatíveis com o objeto e a ser avaliado e com sua complexidade.

n Desafios para a institucionalização da avaliação: n combinação de abordagens qualitativas e quantitativas n definição e manejo efetivo de fluxos da informação gerada pelo processo avaliativo: utilização para decisões gerenciais n adoção de mecanismos efetivos de disseminação dos resultados e de aprendizagem organizacional

Critérios para avaliação: Eficácia capacidade de produzir os resultados esperados Economicidade capacidade de reduzir custos Eficiência elevação da produtividade, da relação custo/benefício Efetividade capacidade de maximizar a eficácia e a eficiência Equidade capacidade de contribuir para a redução de assimetrias individuais e sociais Sustentabilidade capacidade de manter e/ou expandir os ganhos obtidos, para além da intervenção

Métodos/Modelos de Avaliação Análise custo-benefício, análise custo- efetividade. Meta-avaliação Avaliação quasi-experimental: sincrônica e diacrônica Modelo causal: Marco Lógico(BID) ou Matriz Lógica (BIRD) ou Quadro Lógico (GTZ) Avaliação Independente de objetivos

Como gerenciar um sistema de avaliação : 1. Definir objetivos e periodicidade 2. Identificar os Usuários 3. Estabelecer Critérios questões gerais 4. Identificar dimensões focais perguntas específicas 5. Selecionar Instrumentos e Mecanismos de Avaliação 6. Definir o Arranjo institucional 7. Definir as estratégias de disseminação e aprendizado organizacional 8. Definir as estratégias de aplicação das recomendações e de sustentabilidade 9. Orçamento

Objetivo e periodicidade das avaliações 1-Objetivo e periodicidade das avaliações *Testar a estratégia inicial para gerar os resultados momento inicial do ciclo do programa (1-2 anos) *Averiguar a necessidade e identificar quais os ajustes para melhorar a obtenção dos resultados momento intermediário do ciclo do programa (2-3 anos) *Tomar decisões sobre prosseguimento ou extensão do programa, extrair lições momento final do programa: meados do último ano

2-Usuários: a quem se destina cada produto do sistema de M&A, conforme os objetivos definidos 3- Critérios: economicidade, conformidade, tempestividade, celeridade, eficácia, eficiência, efetividade, equidade, sustentabilidade, etc 4-Dimensões focais: processo, atividades, produtos, resultados, efeitos, impactos definem as perguntas a serem respondidas 5-Instrumentos e Mecanismos: Relatórios de Monitoramento; Relatórios de Avaliações Iniciais, Intermediárias e Final; Visitas de Validação; Oficinas de Avaliação de Efeitos; Exame Final

6- Arranjo institucional: definição das funções e responsabilidades de cada ator no sistema de M&A 7-Estratégia de disseminação e aprendizado organizacional: alcance da divulgação de cada tipo de produto do sistema (quem recebe o quê, quando e por que meios) + mecanismos, instrumentos e dinâmicas a serem adotadas para aprendizagem (oficinas, reuniões, audiências de revisão, etc)

8- Estratégia de aplicação e sustentabilidade avaliação das reações ao sistema de M&A: monitoramento da implementação das recomendações e das lições aprendidas; identificação das necessidades e oferta de sensibilização e de capacitação dos stakeholders; exame crítico do sistema de M&A e ajustes necessários. 9-Orçamento