A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Avaliação no Ciclo da Gestão Pública Surge associada ao planejamento, após a Segunda Guerra Ganha relevância no âmbito das novas relações do Estado com.

Apresentações semelhantes


Apresentação em tema: "Avaliação no Ciclo da Gestão Pública Surge associada ao planejamento, após a Segunda Guerra Ganha relevância no âmbito das novas relações do Estado com."— Transcrição da apresentação:

1 Avaliação no Ciclo da Gestão Pública Surge associada ao planejamento, após a Segunda Guerra Ganha relevância no âmbito das novas relações do Estado com a sociedade, que têm como tônica a busca de resultados e foco no cidadão

2 ETAPAS DA CONCEPÇÃO DA AVALIAÇÃO Primeira geração (fim do século XIX) Medição INTERESSE: Identificação do nível de êxito de certos objetivos específicos, mediante a medição quantitativa.

3 ETAPAS DA CONCEPÇÃO AVALIAÇÃO Segunda geração - Descrição/comparação - Décadas de 1920 a 1950) INTERESSE: Identificação de conjuntos de aspectos otimizadores e limitadores em relação a certos objetivos estabelecidos; comparação de enfoques usando métodos experimentais, ou de fenômenos, em grupo e em situações de ocorrência natural.

4 ETAPAS DA CONCEPÇÃO DA AVALIAÇÃO Terceira geração (Década de 1950 a 1980) INTERESSE: Comparação de resultados múltiplos com metas e normas estabelecidas a priori; avaliação normativa relacionada com dados de referência e indicadores.

5 ETAPAS DA CONCEPÇÃO DA AVALIAÇÃO Quarta geração - (Década de 1980 até hoje) INTERESSE: Transparência, responsabilidade executiva e desempenho coordenados por meio de análise de todos os dados disponíveis, utilizando uma variedade de métodos e medições múltiplas, e incorporando o conhecimento, as perspectivas e os valores de todos os envolvidos

6 n Avaliação ferramenta que contribui para integrar as atividades do ciclo de gestão pública: n Deve estar presente – como componente estratégico - desde a identificação dos problemas e o planejamento até o controle n Pode subsidiar desde o planejamento e formulação de uma intervenção, o acompanhamento de sua implementação, os conseqüentes ajustes a serem adotados, e até as decisões sobre sua manutenção, aperfeiçoamento, mudança de rumo ou interrupção.

7 n Favorece a formulação de metas e objetivos. n Propicia ganhos de eficácia, eficiência e efetividade. n Facilita a busca e obtenção de ganhos das ações governamentais em termos de satisfação dos usuários e de legitimidade social e política. n Contribui para a viabilização de todas as atividades de controle interno, externo, por instituições públicas e pela sociedade levando maior transparência e accountability às ações de governo. n É decisiva para o processo de aprendizagem institucional.

8 Implementação espaço privilegiado de avaliação É processo crucial de tomada de decisão e não apenas execução Informa a própria formulação: o que já foi ou está sendo realizado Envolve: Limitações cognitivas Contingências ambientais Formulação genérica de cursos de ação Formulação de políticas como espaço de conflito: preferências não consensuais Questões estratégicas: viabilidade política e operacional, coordenação inter e intra-organizacional

9 n Obstáculos à avaliação: n Modelos gerenciais orientados para processos/ Ausência de cultura de accountability n Ameaça: avaliação alheia à gestão, estritamente por avaliadores externos n Falta de domínio conceitual e metodológico n Falta de clareza dos critérios n Reduzida utilidade: Falta de conexão entre avaliação e tomada de decisão impede o aprendizado organizacional

10 n Desafios para a institucionalização da avaliação: n definição clara dos objetivos e valores que orientam o ciclo de gestão e a atividade de intervenção. n definição clara dos objetivos da avaliação n definição de critérios claros e consolidados para mensuração e julgamento n Construção e utilização precisa de indicadores fidedignos n estabelecimento e consolidação de marco conceitual e metodológico.

11 n Desafios para a institucionalização da avaliação: utilização das abordagens compatíveis com o objeto e sua complexidade. n superação do dilema entre abordagens qualitativas e quantitativas. n identificação e pactuação de indicadores e informações relevantes com os atores envolvidos n definição e manejo efetivo de fluxos da informação gerada pelo processo avaliativo n adoção de mecanismos efetivos de disseminação dos resultados e de aprendizagem organizacional

12 Mitos da Avaliação Neutralidade e racionalidade do planejamento X influência do contexto e da política Abordagens estritas X triangulação Avaliação como mensuração X resultados intangíveis e peso do contexto Confiança no Grupo de controle X dificuldade de isolamento e de identificação da relação de causalidade Crença na natural integração das etapas dos planos X baixa coordenação dos sistemas de avaliação

13 Conceitos Básicos Avaliação formal é o exame sistemático de certos objetos, baseado em critérios explícitos e mediante procedimentos reconhecidos de coleta e análise de informação sobre o conteúdo, estrutura, processo, resultados, qualidade e/ou impactos de quaisquer intervenções planejadas na realidade n Avaliação: envolve tanto julgamento como atribuição de valor e mensuração não é tarefa neutra, mas comprometida com princípios e seus critérios Requer uma uma cultura: uma disciplina intelectual e uma familiaridade prática, amparadas em valores

14 Avaliação: objetivos gerais identificar e mensurar os resultados, efeitos, impactos obtidos compreender como e porque foram obtidos ou não permitir julgar as intervenções tendo como referência critérios como eficácia, eficiência, sustentabilidade, etc – a ser definidos proporcionar informações necessárias para a tomada de decisão sobre o projeto, programa ou política viabilizar estratégias de responsabilizaçao e accountability proporcionar policy learning

15 Avaliação X Monitoramento Avaliação é o exame discreto de processos, produtos, qualidade, resultados, impactos, das ações realizadas. Monitoramento é o exame contínuo de processos, produtos, resultados, impactos, das ações realizadas.

16 Monitoramento: Objetivos identificar mudanças parciais a partir da linha de base das metas; controlar o cumprimento das metas estabelecidas acompanhar a execução de um Plano de Atividades para facilitar sua correta implementação identificar erros e omissões na concepção do próprio projeto ou programa proporcionar informações necessárias para a tomada de decisão sobre o projeto ou programa proporcionar policy learning

17 Pode-se monitorar atividades, processos, resultados, impactos. Monitoramento também é chamado de avaliação em processo quando incide sobre os processos de implementação das ações. Monitoramento baseia-se principalmente nos dados da implementação (internos) Pode ter como referência – ou não - o Plano de Ação ou Plano de Atividades.

18 Pesquisa Avaliativa: procedimentos de coleta de dados primários: Análise quantitativa: Censos e pesquisas por amostragem probabilística e não probabilística questionários aplicados ou entrevistador ou auto-aplicáveis Análise qualitativa: Entrevistas em profundidade, individuais ou em grupos focais, semi-estruturadas ou não estruturadas Observação Análise documental (de informação e/ou de conteúdo)

19 Tipologia (s) de Avaliação - Avaliação Política - Avaliação Jurídica ou de conformidade - Avaliação de situação, ambiental ou de contexto - Avaliação de desempenho - Avaliação de processo - Avaliação de produto - Avaliação de impacto

20 Tipologia (s) de Avaliação - Avaliação de qualidade - Avaliação de satisfação do usuário - Avaliação Interna - Avaliação Externa - Avaliação Mista

21 Tipologia (s) de Avaliação - Avaliação participativa - Avaliação por pares - Avaliação ex-ante - Avaliação ex-post - Avaliação Somativa - Avaliação Formativa ou Retroalimentadora

22 Objetivos/critérios para avaliação: Eficácia capacidade de produzir os resultados esperados Economicidade capacidade de reduzir custos Eficiência elevação da produtividade Efetividade capacidade de maximizar a eficácia e a eficiência Equidade capacidade de contribuir para a redução de assimetrias Sustentabilidade capacidade de manter e/ou expandir os ganhos obtidos, para além da intervenção análise custo-benefício, análise custo- efetividade.

23 Elementos Essenciais à Avaliação Condições de Avaliabilidade Critérios de avaliação estabelecidos Objetivos e Metas especificados Indicadores e linhas de base Dados, registros do processo Fontes de dados/meios de verificação Abordagens consistentes com a natureza dos dados e do objeto de avaliação

24 Métodos/Modelos de Avaliação Custo-efetividade e custo-benefício são métodos de planejamento e de avaliação ambas são comparativas ambas estimam custos e resultados ambas quantificam os custos financeiros de uma intervenção custo-benefício quantifica da mesma forma os resultados obtidos custo-efetividade, tratando com resultados não quantificáveis em termos financeiros usa outras unidades (naturais)

25 Métodos/Modelos de Avaliação - Meta-avaliação - Avaliação Experimental - Avaliação quasi-experimental: sincrônica e diacrônica - Modelo causal: Marco Lógico(BID) ou Matriz Lógica (BIRD) ou Quadro Lógico (GTZ)

26 Métodos/Modelos de Avaliação Modelo orientado pela teoria ou Teoria do Programa: compara os resultados diretos e indiretos de uma intervenção com os pressupostos teóricos que orientaram a formulação da mesma. Pode usar abordagem dedutiva, indutiva ou focalizada no cliente. Análise de discrepâncias ou Teoria da Implementação: compara desempenho com padrões estabelecidos para insumos, processos e resultados. A discrepância refere- se às diferenças entre a situação real prévia e o padrão e entre o desempenho e o padrão.

27 Pesquisa Avaliativa: principais técnicas Participatory Impact Monitoring (PIM) – não focaliza planos ou sistemas de objetivos formalizados, mas as percepções individuais dos stakeholders, com a finalidade de analisar as atividades e mudanças introduzidas por uma intervenção em suas vidas e ambiente.

28 Avaliação Independente de Objetivos – não se inicia pelos objetivos da intervenção, mas com a população-alvo mais afetada pelo mesmo. Destina-se a apurar os resultados e impactos da política ou programa, examinando como e quanto a população-alvo é afetada e comparando esses dados com o que a intervenção especificamente indica como objetivos.

29 Avaliação de Quarta Geração – focaliza as queixas, interesses e reinvidicações dos stakeholders. Visa a compreender as percepções dos atores envolvidos e afetados pela intervenção, quanto os custos, riscos e benefícios da mesma. Mapeamento Organizacional – examina o arranjo organizacional para uma intervenção para verificar se, e como, as agências envolvidas estão ou não, organizadas de modo a perseguir objetivos comuns, evitar superposições e contradições, e oferecer interface consistente e facilmente compreensível com os usuários.

30 Mapeamento Cognitivo: examina como os indivíduos percebem a operação de uma intervenção (focalizando os problemas, as vantagens, os pontos fortes e as fraquezas desta) e seus resultados e impactos. Mistery Shopping (Cliente Oculto) – é uma técnica observacional, baseada no princípio de que a melhor maneira de avaliar a qualidade de um serviço ou de compreender os seus efeitos sobre os usuários é experimentar a condição de usuário daquele serviço. Diferencia-se de outras formas de observação participante pelo fato de que o avaliador não revela a sua identidade ou condição.

31 Planejamento de um Sistema de M & A 1. Objetivo e periodicidade 2. Usuários 3. Critérios questões gerais 4. Dimensões focais perguntas específicas 5. Instrumentos e Mecanismos de M&A 6. Arranjo institucional 7. Estratégia de disseminação e aprendizado organizacional 8. Estratégia de sustentabilidade 9. Orçamento

32 Objetivo e periodicidade das avaliações 1-Objetivo e periodicidade das avaliações *Testar a estratégia inicial para gerar os resultados momento inicial do ciclo do programa (1-2 anos) *Averiguar a necessidade e identificar quais os ajustes para melhorar a obtenção dos resultados momento intermediário do ciclo do programa (2-3 anos) *Tomar decisões sobre prosseguimento ou extensão do programa, extrair lições momento final do programa: meados do último ano

33 2-Usuários: a quem se destina cada produto do sistema de M&A, conforme os objetivos definidos 3- Critérios: economicidade, conformidade, tempestividade, celeridade, eficácia, eficiência, efetividade, equidade, sustentabilidade, etc 4-Dimensões focais : processo, atividades, produtos, resultados, efeitos, impactos definem as perguntas a serem respondidas 5- Instrumentos e Mecanismos: Relatórios de Monitoramento; Relatórios de Avaliações Iniciais, Intermediárias e Final; Visitas de Validação; Oficinas de Avaliação de Efeitos; Exame Final

34 6- Arranjo institucional: definição das funções e responsabilidades de cada ator no sistema de M&A 7-Estratégia de disseminação e aprendizado organizacional: alcance da divulgação de cada tipo de produto do sistema (quem recebe o quê, quando e por que meios) + mecanismos, instrumentos e dinâmicas a serem adotadas para aprendizagem (oficinas, reuniões, audiências de revisão, etc)

35 8- Estratégia de sustentabilidade avaliação das reações ao sistema de M&A: monitoramento da implementação das recomendações e das lições aprendidas; identificação das necessidades e oferta de sensibilização e de capacitação dos stakeholders; exame crítico do sistema de M&A e ajustes necessários. 9-Orçamento

36 Desenho de uma Avaliação 1-Usuário: a quem se destina a presente avaliação? 2-Objetivo: o que o usuário deseja com a avaliação? 3-Critérios da avaliação 4-Indicadores e suas linhas de base 5-Métodos e técnicas para a avaliação 6-Informação necessária: que dados qualitativos e quantitativos serão necessários, suas fontes e meios de verificação permitem validação 7-Métodos e período de coleta dos dados 8-Métodos e técnicas de análise dos dados 9-Limites e restrições da pesquisa avaliativa 10-Equipe e orçamento

37 Desenho de um Monitoramento 1-Objetivo: processo de implementação, resultados e efeitos parciais ou ambos. 2. Periodicidade 3. Critérios questões gerais 4. Dimensões focais perguntas específicas 5. Indicadores e suas linhas de base 6. Informações necessárias, fontes, bases de dados e suas memórias 7. Instrumentos e Mecanismos 8. Arranjo institucional 9. Estratégia de retroalimentação

38 Itens para avaliar a avaliação 1-Clareza na identificação dos usuários, dos objetivos gerais e específicos, dos critérios e dos indicadores utilizados. 2-Qualidade das perguntas específicas 3-Qualidade metodológica: Consistência da estrutura lógica, dos métodos e das técnicas frente ao objeto e aos critérios; identificação das fontes de informação, amostras e instrumentos utilizados; consistência dos métodos de coleta e análise de dados; indicação dos limites da metodologia utilizada.

39 Itens para avaliar a avaliação 4-Acurácia: relato da confiabilidade e validade dos dados, contexto dos dados, defensibilidade e limites das informações, correção e precisão da análise 5-Qualidade do Relatório:presença de sumário executivo; resposta às perguntas de pesquisa; consistência lógica e pertinência das conclusões; achados e conclusões fundados em dados e fontes identificáveis, inclusive sem limites de confidencialidade quando possível; adequação ao usuário; correção, parcimônia e imparcialidade do estilo.

40 Itens para avaliar a avaliação Sugestões e recomendações: Devem ser pertinentes e embasadas na análise; Devem apontar a necessidade de outros estudos; Sempre que possível devem estar exemplificadas em boas práticas; Devem ser apresentadas por ordem de prioridade; Devem indicar linhas de tempo para implementação e, se possível e se for o caso, estimativas de custos; Devem ser consistentes com o nível de autoridade e poder de decisão dos usuários.


Carregar ppt "Avaliação no Ciclo da Gestão Pública Surge associada ao planejamento, após a Segunda Guerra Ganha relevância no âmbito das novas relações do Estado com."

Apresentações semelhantes


Anúncios Google