III Oficina de Gestão Social do Desenvolvimento

Apresentação em tema: "III Oficina de Gestão Social do Desenvolvimento"— Transcrição da apresentação:

1 III Oficina de Gestão Social do Desenvolvimento
Mesa 03: Avaliação do desenvolvimento sócio-territorial II – Avaliação de conjuntos articulados de projetos Perspectivas Metodológicas em Avaliação 05/04/2017 Maria das Graças Rua

2 AVALIAÇÃO DE PROGRAMAS, AÇÕES E PROJETOS
Ferramenta que contribui para integrar as atividades do ciclo de gestão:  levantamento das demandas, a identificação dos problemas  formulação e planejamento acompanhamento da implementação  correções e ajustes a serem adotados  decisões sobre manutenção, aperfeiçoamento, mudança de rumo ou interrupção de uma intervenção controle, responsabilização (accountability).

3 Avaliação formal É o exame sistemático de certos objetos, baseado em critérios explícitos e mediante procedimentos reconhecidos de coleta e análise de informação sobre o conteúdo, estrutura, processo, resultados, qualidade e/ou impactos de quaisquer intervenções planejadas na realidade. Envolve tanto julgamento como atribuição de valor e mensuração Não é tarefa neutra, mas comprometida com princípios e seus critérios Requer uma disciplina intelectual e uma familiaridade prática, amparadas em valores: uma cultura de avaliação.

4 Sete Polaridades apontadas pelo Rogério
1-Avaliação contextualizada X Avaliação construída externamente ao contexto 2-Avaliação Interna X Avaliação Externa 3-Avaliação de Processos X Avaliação de Resultados

5 4-Avaliação Qualitativa X Avaliação Quantitativa
5-Instrumentos X Capacidade de reflexão das pessoas 6-Avaliação para registro histórico X Avaliação que sirva para a gestão. 7-Processos herméticos X processos participativos

6 Avaliação X Monitoramento
8a. Polaridade: Avaliação X Monitoramento Avaliação é o exame discreto - de processos, produtos, qualidade, resultados, impactos, etc - das intervenções realizadas. Monitoramento é o exame contínuo - de processos, produtos, resultados, impactos, etc -das intervenções realizadas.

7 Avaliação e Monitoramento: objetivos gerais
identificar mudanças parciais a partir da linha de base das metas identificar e mensurar os resultados, efeitos, impactos controlar o cumprimento das metas estabelecidas compreender como e porque determinados resultados foram obtidos, ou não identificar erros e omissões na concepção do próprio projeto ou programa

8 Avaliação e Monitoramento: objetivos gerais
acompanhar a execução de um Plano de Atividades para facilitar sua correta implementação julgar as intervenções mediante critérios definidos, como eficácia, eficiência, sustentabilidade, etc proporcionar informações necessárias para a tomada de decisão sobre o objeto viabilizar estratégias de responsabilização e accountability proporcionar aprendizado institucional

9 Diferentes Abordagens para a Avaliação de Programas, Ações e Projetos
1-Centradas em Objetivos: focaliza o grau de consecução dos propósitos de uma intervenção. Pode ter como referência a Teoria do Programa (hipótese causal de intervenção) ou a Teoria da Implementação (hipótese processual da intervenção) e as respectivas discrepâncias.

10 Diferentes Abordagens para a Avaliação de Programas, Ações e Projetos
2-Centradas na Administração: focaliza as necessidades de informação para apoiar a tomada de decisões pelos administradores da intervenção. Pode ser: Avaliação de Contexto: planejamento Avaliação de Insumos: formulação Avaliação do Processo: decisões de implementação Avaliação de Produto: avalia resultados e apoia o re-planejamento

11 Diferentes Abordagens para a Avaliação de Programas, Ações e Projetos
3-Centradas nos Consumidores: avaliações somativas de reação dos usuários, beneficiários, consumidores propriamente ditos.

12 Diferentes Abordagens para a Avaliação de Programas, Ações e Projetos
4-Centradas em Especialistas: sua estratégia central é explorar o julgamento subjetivo de especialistas profissionais, individuais ou em grupo, quanto a um objeto. Inclui a avaliação por pares.

13 Diferentes Abordagens para a Avaliação de Programas, Ações e Projetos
5-Centradas em Adversários: sua estratégia central é a contraposição planejada de pontos de vista antagônicos.

14 Diferentes Abordagens para a Avaliação de Programas, Ações e Projetos
6-Centradas nos Participantes: baseia-se no envolvimento significativo, na própria avaliação, dos participantes da atividade avaliada.

15 Diferentes Abordagens para a Avaliação de Programas, Ações e Projetos
7-Meta-Avaliação: busca de regularidades e desvios nas avaliações previamente efetuadas, formulação de hipóteses e teste com os mesmos dados e/ou novos dados.

16 Desafios da Identificação e Isolamento de Resultados
Análise Diacrônica: X Tzero T T T Tn

17 Desafios da Identificação e Isolamento de Resultados
Análise Sincrônica S1: T Tn S2: T Tn

18 Desafios da Identificação e Isolamento de Resultados
Análise Sincro-Diacrônica: X X X S1:Tzero  T  T  Tn S2:Tzero  T  T Tn (passado) (presente) (futuro)(futuro distante)

19 Desafios da Identificação e Isolamento de Resultados
Identificação e isolamento dos grupos de atores afetados (positivamente ou negativamente) por cada intervenção (especificamente ou prioritáriamente) Aplicação, a cada grupo, de técnicas como “avaliação independente de objetivos” ou “avaliação de quarta geração”

20 Avaliação Independente de Objetivos – não se inicia pelos objetivos da intervenção, mas com a população-alvo mais afetada pelo mesmo. Destina-se a apurar os resultados e impactos da política ou programa, examinando como e quanto a população-alvo é afetada; depois comparar esses dados com o que a intervenção especificamente indica como objetivos.

21 Avaliação de Quarta Geração – focaliza as queixas, interesses e reinvidicações dos stakeholders. Visa a compreender as percepções dos atores envolvidos e afetados pela intervenção, quanto os custos, riscos e benefícios da mesma.

22 Desafios da Identificação e Isolamento de Resultados
Procedimentos estratégicos Combinação de técnicas de coleta e de análise quantitativas e qualitativas Monitoramento dos pressupostos ou riscos. Utilização da avaliação mista: composição das avaliações interna+externa

23 Cuidados essenciais: Falta de comunidade conceitual: o que é produto? Resultado? Impacto? Efetividade? Sustentabilidade?  Dificuldades no trabalho com indicadores: excessos quantitativos, baixa fidedignidade, império da subjetividade. Existência e acessibilidade da documentação/informação  Precariedade dos registros administrativos Custos da avaliação: não é um fim em si mesma ou ética das atividades-meio

24 Maria das Graças Rua