Avaliação no Ciclo da Gestão Pública Avaliação ferramenta que contribui para integrar as atividades do ciclo de gestão pública: Deve estar presente – como componente estratégico - desde o planejamento e formulação de uma intervenção, sua implementação (os conseqüentes ajustes a serem adotados) até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção indo até o controle

Conceitos básicos: Política Programa Projeto Ação Atividade Processo Produto Resultado Efeito Impacto

Conceitos Básicos Avaliação formal é o exame sistemático de certos objetos, baseado em critérios explícitos e mediante procedimentos reconhecidos de coleta e análise de informação sobre o conteúdo, estrutura, processo, produtos, resultados, qualidade e/ou impactos de quaisquer intervenções planejadas na realidade

Avaliação: envolve tanto julgamento como atribuição de valor e mensuração não é tarefa neutra, mas comprometida com princípios e critérios. Requer uma cultura: uma disciplina intelectual e uma familiaridade prática, amparadas em valores.

Avaliação: objetivos gerais identificar e mensurar os resultados, efeitos, impactos obtidos compreender como e porque foram obtidos ou não permitir julgar as intervenções tendo como referência critérios como eficácia, eficiência, sustentabilidade, etc – a ser definidos proporcionar informações necessárias para a tomada de decisão sobre o projeto, programa ou política viabilizar estratégias de responsabilizaçao e accountability proporcionar “policy learning”

Avaliação X Monitoramento Avaliação é o exame discreto de processos, produtos, qualidade, resultados, impactos, das ações realizadas. Monitoramento é o exame contínuo de processos, produtos, resultados, impactos, das ações realizadas.

Monitoramento: Objetivos proporcionar informações para a tomada de decisão de intervir no projeto ou programa acompanhar a execução de um Plano de Atividades para facilitar a eficiência e efetividade da sua correta implementação identificar mudanças parciais a partir da linha de base das metas e controlar o cumprimento das metas estabelecidas

Monitoramento: Objetivos identificar e corrigir erros e omissões na concepção do próprio projeto ou programa corrigir distorções resultantes do projeto ou programa proporcionar “policy learning”

Pode-se monitorar atividades, processos, resultados, impactos Pode-se monitorar atividades, processos, resultados, impactos. Monitoramento também é chamado de “avaliação em processo”  quando incide sobre os processos de implementação das ações. Monitoramento baseia-se principalmente nos dados da implementação (internos) Pode ter como referência – ou não - o “Plano de Ação” ou “Plano de Atividades”.

Pesquisa Avaliativa  procedimentos de coleta de dados primários: Análise quantitativa: Censos e pesquisas por amostragem probabilística e não probabilística questionários aplicados por entrevistador ou auto-aplicáveis

Pesquisa Avaliativa:  Análise qualitativa: Entrevistas em profundidade, individuais, coletivas ou em grupos focais, não estruturadas, semi-estruturadas ou estruturadas. Observação Análise documental (de informação e/ou de conteúdo)

Sistemática de monitoramento e avaliação: é um conjunto articulado de monitoramento e diversos tipos de avaliação com foco e objetivos distintos, que não se replicam, mas são combinados de modo a se complementar uns aos outros. é diferente do sistema informatizado de informações que apoia as atividades de gestão.

A importância de cada etapa do ciclo do projeto nos processos de avaliação Diagnóstico do problema: define o foco do monitoramento e da avaliação e estabelece a linha de base Planejamento: define resultados (objetivos e metas) a serem alcançados e seus pressupostos Implementação: define os cenários, atores relevantes e suas relações

Critérios para avaliação: Eficácia capacidade de produzir os resultados esperados Economicidade capacidade de reduzir custos Eficiência relação custo-benefício Efetividade capacidade de maximizar a eficácia e a eficiência

Critérios para avaliação: Equidade capacidade de contribuir para a redução de assimetrias Sustentabilidadecapacidade de manter e/ou expandir os ganhos obtidos, para além da intervenção

Grande parte da qualidade do Planejamento, do Monitoramento e da Avaliação depende da utilização de indicadores. Indicadores são sinais ou marcadores de alguma coisa; destinam-se a proporcionar evidência, sinalizar. Podem ser quantitativos ou qualitativos. Indicadores servem para mostrar as tendências e/ou os resultados obtidos em uma área qualquer se um resultado está sendo alcançado ou não; se processos estão gerando os produtos pretendidos ou não; se uma intervenção está produzindo outras conseqüências além daquelas pretendidas.

Indicadores são sinais ou marcadores de alguma coisa Indicadores são sinais ou marcadores de alguma coisa. Podem ser quantitativos ou qualitativos. Indicadores quantitativos são unidades de medida: são uma atribuição de números a objetos, acontecimentos ou situações, de acordo com certas regras. Indicadores não são simplesmente dados: funcionam como uma balança que nos permite “pesar” os dados; ou uma régua, que nos permite “aferir” os dados em termos de qualidade, resultado, impacto, etc., dos processos e dos objetivos das intervenções.   Os dados alimentam os indicadores.

Conceito de Indicador: permite algumas variações que expressam os modos como são usados. Podem ser expressos apenas como unidade/instrumento de medida Podem ser expressos associados às metas que se pretende atingir com uma intervenção Indicadores servem para aferir tanto resultados desejados (objetivos e metas), como outros objetos (processos, impactos inesperados, problemas, etc)

OS INDICADORES SERVEM PARA: Possibilitar o estabelecimento e desdobramento das metas de uma intervenção; Facilitar o planejamento e o controle do desempenho, pelo estabelecimento de métricas-padrão e pela apuração dos desvios ocorridos com os indicadores;  Internalizar na organização pública as necessidades e expectativas dos cidadãos;

Mensurar resultados de acordo com os critérios adotados no monitoramento e na avaliação. Embasar a análise crítica dos processos e resultados da intervenção; Contribuir para a melhoria contínua dos processos organizacionais; Viabilizar a análise comparativa do desempenho da organização em intervenções diversificadas; e do desempenho de diversas organizações atuantes em áreas ou ambientes semelhantes.

Quando se trata de medir mudanças (como é o caso de gênero e raça), os indicadores devem ser quantitativos e qualitativos, como por exemplo:Mudanças na matrícula escolar das meninas e das meninas negras Indicadores Quantitativos Indicadores Qualitativos Definição: unidade de medida quantitativa Definição: documentos, julgamentos, percepções, etc Método de coleta de dados: pesquisa por amostragem (probabilística ou não) ou censos, questionários; dados de registros administrativos, etc Método de coleta de dados: grupos focais, entrevistas semi-estruturadas e não estruturadas, observação, etc Exemplos: -Número de meninas matriculadas nas escolas dividido pelo número total de meninas em idade escolar. -Número de meninas negras matriculadas nas escolas dividido pelo número total de meninas negras em idade escolar. -Número de meninas matriculadas nas escolas dividido pelo número total de matrículas. -Número de meninas negras matriculadas nas escolas dividido pelo número total de alunos negros matrículados. -Meninas, por raça, com projetos de vida diferentes das suas mães. -Ambições de trabalho e renda das Meninas, por raça. -Meninas, por raça, que exibem consciência dos seus direitos.