Avaliação no Ciclo da Gestão Pública

Apresentação em tema: "Avaliação no Ciclo da Gestão Pública"— Transcrição da apresentação:

1 Avaliação no Ciclo da Gestão Pública
25/03/2017 Avaliação no Ciclo da Gestão Pública Surge associada ao planejamento, após a Segunda Guerra Ganha relevância no âmbito das novas relações do Estado com a sociedade, que têm como tônica a busca de resultados e foco no cidadão

2 ETAPAS DA CONCEPÇÃO DA AVALIAÇÃO    Primeira geração (fim do século XIX) Medição INTERESSE: Identificação do nível de êxito de certos objetivos específicos, mediante a medição quantitativa.   

3 ETAPAS DA CONCEPÇÃO AVALIAÇÃO     Segunda geração - Descrição/comparação - Décadas de 1920 a 1950) INTERESSE: Identificação de conjuntos de aspectos otimizadores e limitadores em relação a certos objetivos estabelecidos; comparação de enfoques usando métodos experimentais, ou de fenômenos, em grupo e em situações de ocorrência natural.    

4 ETAPAS DA CONCEPÇÃO DA AVALIAÇÃO    Terceira geração (Década de 1950 a 1980) INTERESSE: Comparação de resultados múltiplos com metas e normas estabelecidas a priori; avaliação normativa relacionada com dados de referência e indicadores.    

5 ETAPAS DA CONCEPÇÃO DA AVALIAÇÃO  Quarta geração - (Década de 1980 até hoje) INTERESSE: Transparência, responsabilidade executiva e desempenho coordenados por meio de análise de todos os dados disponíveis, utilizando uma variedade de métodos e medições múltiplas, e incorporando o conhecimento, as perspectivas e os valores de todos os envolvidos    

6 Avaliação ferramenta que contribui para integrar as atividades do ciclo de gestão pública:
Deve estar presente – como componente estratégico - desde a identificação dos problemas e o planejamento até o controle Pode subsidiar desde o planejamento e formulação de uma intervenção, o acompanhamento de sua implementação, os conseqüentes ajustes a serem adotados, e até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção.

7 Favorece a formulação de metas e objetivos.
Propicia ganhos de eficácia, eficiência e efetividade. Facilita a busca e obtenção de ganhos das ações governamentais em termos de satisfação dos usuários e de legitimidade social e política. Contribui para a viabilização de todas as atividades de controle interno, externo, por instituições públicas e pela sociedade levando maior transparência e accountability às ações de governo. É decisiva para o processo de aprendizagem institucional.

8 Implementação  espaço privilegiado de avaliação
É processo crucial de tomada de decisão e não apenas execução Informa a própria formulação: o que já foi ou está sendo realizado Envolve: Limitações cognitivas Contingências ambientais Formulação genérica de cursos de ação Formulação de políticas como espaço de conflito: preferências não consensuais Questões estratégicas: viabilidade política e operacional, coordenação inter e intra-organizacional

9 Obstáculos à avaliação:
 Modelos gerenciais orientados para processos/ Ausência de cultura de accountability  Ameaça: avaliação alheia à gestão, estritamente por avaliadores externos  Falta de domínio conceitual e metodológico  Falta de clareza dos critérios  Reduzida utilidade: Falta de conexão entre avaliação e tomada de decisão impede o aprendizado organizacional

10 Desafios para a institucionalização da avaliação:
 definição clara dos objetivos e valores que orientam o ciclo de gestão e a atividade de intervenção.  definição clara dos objetivos da avaliação  definição de critérios claros e consolidados para mensuração e julgamento Construção e utilização precisa de indicadores fidedignos  estabelecimento e consolidação de marco conceitual e metodológico.

11 Desafios para a institucionalização da avaliação:
 utilização das abordagens compatíveis com o objeto e sua complexidade.  superação do dilema entre abordagens qualitativas e quantitativas. identificação e pactuação de indicadores e informações relevantes com os atores envolvidos definição e manejo efetivo de fluxos da informação gerada pelo processo avaliativo adoção de mecanismos efetivos de disseminação dos resultados e de aprendizagem organizacional

12 Mitos da Avaliação Neutralidade e racionalidade do planejamento X influência do contexto e da política Abordagens estritas X triangulação Avaliação como mensuração X resultados intangíveis e peso do contexto Confiança no Grupo de controle X dificuldade de isolamento e de identificação da relação de causalidade Crença na natural integração das etapas dos planos X baixa coordenação dos sistemas de avaliação

13 Conceitos Básicos Avaliação formal é o exame sistemático de certos objetos, baseado em critérios explícitos e mediante procedimentos reconhecidos de coleta e análise de informação sobre o conteúdo, estrutura, processo, resultados, qualidade e/ou impactos de quaisquer intervenções planejadas na realidade Avaliação: envolve tanto julgamento como atribuição de valor e mensuração não é tarefa neutra, mas comprometida com princípios e seus critérios Requer uma uma cultura: uma disciplina intelectual e uma familiaridade prática, amparadas em valores

14 Avaliação: objetivos gerais
identificar e mensurar os resultados, efeitos, impactos obtidos compreender como e porque foram obtidos ou não permitir julgar as intervenções tendo como referência critérios como eficácia, eficiência, sustentabilidade, etc – a ser definidos proporcionar informações necessárias para a tomada de decisão sobre o projeto, programa ou política viabilizar estratégias de responsabilizaçao e accountability proporcionar “policy learning”

15 Avaliação X Monitoramento
Avaliação é o exame discreto de processos, produtos, qualidade, resultados, impactos, das ações realizadas. Monitoramento é o exame contínuo de processos, produtos, resultados, impactos, das ações realizadas.

16 Monitoramento: Objetivos
Monitoramento: Objetivos identificar mudanças parciais a partir da linha de base das metas; controlar o cumprimento das metas estabelecidas acompanhar a execução de um Plano de Atividades para facilitar sua correta implementação identificar erros e omissões na concepção do próprio projeto ou programa proporcionar informações necessárias para a tomada de decisão sobre o projeto ou programa proporcionar “policy learning”

17 Pode-se monitorar atividades, processos, resultados, impactos.
Monitoramento também é chamado de “avaliação em processo”  quando incide sobre os processos de implementação das ações. Monitoramento baseia-se principalmente nos dados da implementação (internos) Pode ter como referência – ou não - o “Plano de Ação” ou “Plano de Atividades”.

18 Pesquisa Avaliativa: procedimentos de coleta de dados primários:
Análise quantitativa: Censos e pesquisas por amostragem probabilística e não probabilística questionários aplicados ou entrevistador ou auto-aplicáveis Análise qualitativa: Entrevistas em profundidade, individuais ou em grupos focais, semi-estruturadas ou não estruturadas Observação Análise documental (de informação e/ou de conteúdo)

19 Tipologia (s) de Avaliação
Avaliação Política Avaliação Jurídica ou de conformidade Avaliação de situação, ambiental ou de contexto Avaliação de desempenho Avaliação de processo Avaliação de produto Avaliação de impacto

20 Tipologia (s) de Avaliação
Avaliação de qualidade Avaliação de satisfação do usuário Avaliação Interna Avaliação Externa Avaliação Mista

21 Tipologia (s) de Avaliação
Avaliação participativa Avaliação por pares Avaliação ex-ante Avaliação ex-post Avaliação Somativa Avaliação Formativa ou Retroalimentadora

22 Objetivos/critérios para avaliação:
Eficácia capacidade de produzir os resultados esperados Economicidade capacidade de reduzir custos Eficiência elevação da produtividade Efetividade capacidade de maximizar a eficácia e a eficiência Equidade capacidade de contribuir para a redução de assimetrias Sustentabilidadecapacidade de manter e/ou expandir os ganhos obtidos, para além da intervenção análise custo-benefício, análise custo-efetividade.

23 Elementos Essenciais à Avaliação Condições de Avaliabilidade
Critérios de avaliação estabelecidos Objetivos e Metas especificados Indicadores e linhas de base Dados, registros do processo Fontes de dados/meios de verificação Abordagens consistentes com a natureza dos dados e do objeto de avaliação

24 Métodos/Modelos de Avaliação
Custo-efetividade e custo-benefício são métodos de planejamento e de avaliação ambas são comparativas ambas estimam custos e resultados ambas quantificam os custos financeiros de uma intervenção custo-benefício quantifica da mesma forma os resultados obtidos custo-efetividade, tratando com resultados não quantificáveis em termos financeiros usa outras unidades (naturais)

25 Métodos/Modelos de Avaliação
Meta-avaliação Avaliação Experimental Avaliação quasi-experimental: sincrônica e diacrônica Modelo causal: Marco Lógico(BID) ou Matriz Lógica (BIRD) ou Quadro Lógico (GTZ)

26 Métodos/Modelos de Avaliação
Modelo orientado pela teoria ou Teoria do Programa: compara os resultados diretos e indiretos de uma intervenção com os pressupostos teóricos que orientaram a formulação da mesma. Pode usar abordagem dedutiva, indutiva ou focalizada no cliente. Análise de discrepâncias ou Teoria da Implementação: compara desempenho com padrões estabelecidos para insumos, processos e resultados. A discrepância refere-se às diferenças entre a situação real prévia e o padrão e entre o desempenho e o padrão.

27 Pesquisa Avaliativa: principais técnicas
Participatory Impact Monitoring (PIM) – não focaliza planos ou sistemas de objetivos formalizados, mas as percepções individuais dos stakeholders, com a finalidade de analisar as atividades e mudanças introduzidas por uma intervenção em suas vidas e ambiente.

28 Avaliação Independente de Objetivos – não se inicia pelos objetivos da intervenção, mas com a população-alvo mais afetada pelo mesmo. Destina-se a apurar os resultados e impactos da política ou programa, examinando como e quanto a população-alvo é afetada e comparando esses dados com o que a intervenção especificamente indica como objetivos.

29 Avaliação de Quarta Geração – focaliza as queixas, interesses e reinvidicações dos stakeholders. Visa a compreender as percepções dos atores envolvidos e afetados pela intervenção, quanto os custos, riscos e benefícios da mesma. Mapeamento Organizacional – examina o arranjo organizacional para uma intervenção para verificar se, e como, as agências envolvidas estão ou não, organizadas de modo a perseguir objetivos comuns, evitar superposições e contradições, e oferecer interface consistente e facilmente compreensível com os usuários.

30 Mapeamento Cognitivo: examina como os indivíduos percebem a operação de uma intervenção (focalizando os problemas, as vantagens, os pontos fortes e as fraquezas desta) e seus resultados e impactos. Mistery Shopping (Cliente Oculto) – é uma técnica observacional, baseada no princípio de que a melhor maneira de avaliar a qualidade de um serviço ou de compreender os seus efeitos sobre os usuários é experimentar a condição de usuário daquele serviço. Diferencia-se de outras formas de observação participante pelo fato de que o avaliador não revela a sua identidade ou condição.

31 Planejamento de um Sistema
de M & A 1. Objetivo e periodicidade 2. Usuários 3. Critérios  questões gerais 4. Dimensões focais perguntas específicas 5. Instrumentos e Mecanismos de M&A 6. Arranjo institucional 7. Estratégia de disseminação e aprendizado organizacional 8. Estratégia de sustentabilidade 9. Orçamento

32 1-Objetivo e periodicidade das avaliações
*Testar a estratégia inicial para gerar os resultados momento inicial do ciclo do programa (1-2 anos) *Averiguar a necessidade e identificar quais os ajustes para melhorar a obtenção dos resultados momento intermediário do ciclo do programa (2-3 anos) *Tomar decisões sobre prosseguimento ou extensão do programa, extrair lições momento final do programa: meados do último ano

33 2-Usuários: a quem se destina cada produto do
sistema de M&A, conforme os objetivos definidos 3- Critérios: economicidade, conformidade, tempestividade, celeridade, eficácia, eficiência, efetividade, equidade, sustentabilidade, etc 4-Dimensões focais: processo, atividades, produtos, resultados, efeitos, impactos  definem as perguntas a serem respondidas 5-Instrumentos e Mecanismos: Relatórios de Monitoramento; Relatórios de Avaliações Iniciais, Intermediárias e Final; Visitas de Validação; Oficinas de Avaliação de Efeitos; Exame Final

34 6-Arranjo institucional: definição das funções e responsabilidades de cada ator no sistema de M&A
7-Estratégia de disseminação e aprendizado organizacional: alcance da divulgação de cada tipo de produto do sistema (quem recebe o quê, quando e por que meios) + mecanismos, instrumentos e dinâmicas a serem adotadas para aprendizagem (oficinas, reuniões, audiências de revisão, etc)

35 8-Estratégia de sustentabilidade avaliação das reações ao sistema de M&A: monitoramento da implementação das recomendações e das lições aprendidas; identificação das necessidades e oferta de sensibilização e de capacitação dos stakeholders; exame crítico do sistema de M&A e ajustes necessários. 9-Orçamento

36 Desenho de uma Avaliação
1-Usuário: a quem se destina a presente avaliação? 2-Objetivo: o que o usuário deseja com a avaliação? 3-Critérios da avaliação 4-Indicadores e suas linhas de base 5-Métodos e técnicas para a avaliação 6-Informação necessária: que dados qualitativos e quantitativos serão necessários, suas fontes e meios de verificação permitem validação 7-Métodos e período de coleta dos dados 8-Métodos e técnicas de análise dos dados 9-Limites e restrições da pesquisa avaliativa 10-Equipe e orçamento

37 Desenho de um Monitoramento
1-Objetivo: processo de implementação, resultados e efeitos parciais ou ambos. 2. Periodicidade 3. Critérios  questões gerais 4. Dimensões focais perguntas específicas 5. Indicadores e suas linhas de base 6. Informações necessárias, fontes, bases de dados e suas memórias 7. Instrumentos e Mecanismos 8. Arranjo institucional 9. Estratégia de retroalimentação

38 Itens para avaliar a avaliação
1-Clareza na identificação dos usuários, dos objetivos gerais e específicos, dos critérios e dos indicadores utilizados. 2-Qualidade das perguntas específicas 3-Qualidade metodológica: Consistência da estrutura lógica, dos métodos e das técnicas frente ao objeto e aos critérios; identificação das fontes de informação, amostras e instrumentos utilizados; consistência dos métodos de coleta e análise de dados; indicação dos limites da metodologia utilizada.

39 Itens para avaliar a avaliação
4-Acurácia: relato da confiabilidade e validade dos dados, contexto dos dados, defensibilidade e limites das informações, correção e precisão da análise 5-Qualidade do Relatório:presença de sumário executivo; resposta às perguntas de pesquisa; consistência lógica e pertinência das conclusões; achados e conclusões fundados em dados e fontes identificáveis, inclusive sem limites de confidencialidade quando possível; adequação ao usuário; correção, parcimônia e imparcialidade do estilo.

40 Itens para avaliar a avaliação
Sugestões e recomendações: Devem ser pertinentes e embasadas na análise; Devem apontar a necessidade de outros estudos; Sempre que possível devem estar exemplificadas em “boas práticas”; Devem ser apresentadas por ordem de prioridade; Devem indicar linhas de tempo para implementação e, se possível e se for o caso, estimativas de custos; Devem ser consistentes com o nível de autoridade e poder de decisão dos usuários.