A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

AVALIAR : PARA QUE ? Dominique VOLLET CEMAGREF UMR Métafort AgroParisTech- Cemagref-Enita-Inra Clermont Ferrand Formação ENA-Paris, Ciclo Internacional.

Apresentações semelhantes


Apresentação em tema: "AVALIAR : PARA QUE ? Dominique VOLLET CEMAGREF UMR Métafort AgroParisTech- Cemagref-Enita-Inra Clermont Ferrand Formação ENA-Paris, Ciclo Internacional."— Transcrição da apresentação:

1 AVALIAR : PARA QUE ? Dominique VOLLET CEMAGREF UMR Métafort AgroParisTech- Cemagref-Enita-Inra Clermont Ferrand Formação ENA-Paris, Ciclo Internacional Especializado de Administração Pública « Políticas Públicas: da concepção à avaliação"

2 As origens da avaliação 1789 Declaração dos Direitos do Homem e do Cidadão : « a sociedade tem o direito de exigir esclarecimentos sobre a administração a todos os agentes públicos » 1970 racionalização das escolhas orçamentárias 1980 início da descentralização na França 1990 Impulsão da avaliação pela Comunidade Europeia 2000 Entrada em vigor da Lei Orgânica sobre as Leis Financeiras na França (LOLF)

3 Por que a avaliação se desenvolve ? Uma complexidade crescente : ajudar a fazer escolhas estratégicas Os agentes envolvidos e os acordos são numerosos : esclarecer as responsabilidades e verificar a coerência A escassez de recursos : verificar o bom uso dos recursos financeiros públicos

4 I) Conceitos : objetos, momento, definições, critérios e utilidade II) O procedimento da avaliação : natureza, dificuldades gerais e específicas III) Alguns elementos metodológicos para a avaliação de políticas Sumário

5 I) Conceitos 1. Objetos de avaliação 2. Momento da avaliação 3. Definições de acompanhamento e de avaliação 4. Critérios de avaliação 5. Utilidade da avaliação

6 Os objetos da avaliação Indivíduo notas, escolares ou profissionais Organização auditoria, funcionamento da estrutura Ação do Poder Público Realizações, efeitos....

7 A avaliação de programa Programa Sequência de ação limitada no tempo Definida precisamente em meios e objetivos operacionais Momento instrumental da política Objetivos/Meios e impactos

8 A avaliação de política Política Conjunto complexo de programas, procedimentos e normatizações Visando a um mesmo objetivo geral Caráter normativo da ação pública Problemas : agentes envolvidos e valores

9 Tipos de avaliação Avaliação ex-post Análise retrospectiva sobre uma medida ou uma política Avaliação ex-ante Análise prospectiva da possibilidade de implementação e do impacto de uma medida em preparação Avaliação in-itinere Avaliação realizada durante a operacionalização de uma política

10 Os diferentes momentos da avaliação Ação pública Ex-ante Ex-post Intermediária Acompanhamento contínuo + avaliação regular In-itinere t0t1

11 Os instrumentos de gestão e de decisão Auditoria Respeito aos procedimentos Controle de gestão Atingimento dos objetivos de gestão e respeito às normas Acompanhamento Coleta de dados para medir o estado de realização de uma política Avaliação Busca das relações de causalidade entre os objetivos e os efeitos das políticas para compreender e julgar Interno e pontual Interno e permanente aplica-se a um órgão Aplicam-se a uma ação pública ou a uma política

12 Valor agregado da avaliação Recursos Realização Resultados Impactos Controle Controle de gestão e acompanhamento Avaliação (dos impactos) Conforme às normas standards de boa gestão Satisfação do público alvo

13 Definições de avaliação Avaliar uma política é : "reconhecer e medir seus efeitos próprios" – Deleau 1985 "emitir um julgamento sobre seu valor" – Viveret 1989 "verificar se os meios jurídicos, administrativos ou financeiros empregados permitem produzir os efeitos esperados dessa política e atingir os objetivos que lhe são fixados" – Decreto de 22/01/90 "apreciar sua eficácia comparando seus resultados com os objetivos fixados e com os meios e recursos empregados" – Decreto de 18/11/98

14 Ângulos de avaliação de uma política pública INTERESSES PÚBLICOS NECESSIDADES Objetivos Meios Realização Resultados Efeitos Próprios EVOLUÇÕES DA REALIDADE SOCIAL: IMPACTOS SOCIEDADE AÇÕES PÚBLICAS AVALIAÇÃO Evolução (utilidade-durabilidade) Pertinência Eficácia Eficiência Coerência 2

15 1) Estabelecer um balanço das ações 2) Analisar e compreender o funcionamento da política 3) Apreciar seus efeitos 4) Verificar as hipóteses (implícitas ou explícitas) sub-jacentes à ação pública 5) Contribuir para a formação de um julgamento de valor sobre a política (decisores, agentes envolvidos, população) 6) Contribuir para melhorar a ação pública Utilidade da avaliação

16 II) O procedimento de avaliação : As funções da avaliação (1) Função recapitulativa Fazer uma análise global e distanciada Preparar as decisões relativas à política (abandono, manutenção ou modificação) è Decisores e financiadores : administrações centrais, União europeia... Função gerencial Contribuir para a condução da ação pública Modificar a afetação de recursos Melhorar a gestão dos serviços è Organismos encarregados da operacionalização (serviços desconcentrados)

17 As funções da avaliação (2) Função de formação Esclarecer os agentes envolvidos para que eles adaptem seus comportamentos Aprendizagem e mobilização è Agentes envolvidos (funcionários, beneficiários…) Função democrática Contribuir para o debate público sobre as políticas Aplicar o princípio da imputabilidade = capacidade de prestar contas a seus superiores, a seus mandatários, à população è Sociedade civil, associações, contribuintes...

18 1 ) Utilidade-pertinência : informação útil e compreensível a todos os interessados 2) Fiabilidade : utilização de métodos científicos sólidos não suscetíveis de serem questinados 3) Objetividade : mesmas conclusões com uma outra avaliação 4) Possibilidade de generalização : útil para guiar a decisão pública em um espaço e um tempo mais amplos 5) Transparência : explicitar os métodos e seus limites OS CINCO CRITÉRIOS ADOTADOS PELO CONSELHO CIENTÍFICO DE AVALIAÇÃO 3

19 Conhecimento da política (1) Traçar os objetivos da política Traçar a teoria de ação que guiou a concepção da política Traçar o procedimento e as normas utilizadas Identificar as ações implementadas

20 Conhecimento da política (2) Definir os indicadores suscetíveis de representar a natureza e a amplitude da ação pública Indicadores de meios Indicadores de realização Indicadores de resultado Indicadores de impactos...

21 Função dos agentes envolvidos Conhecimento da política (1) Protagonistas Idealizadores Serviços encarregados da instrução ou da implementação Financiadores Populações alvo Beneficiários Organismos setoriais Outros interessados Pontos de vista sobre a política objetivos procedimentos meios informação resultados outros impactos

22 III) Alguns elementos metodológicos para a avaliação de políticas As funções da avaliação 1)Estruturar : esclarecer e hierarquizar os efeitos a serem avaliados, definir os critérios 2) Observar : delimitar o campo de observação, coletar dados 3) Analisar : avaliar os efeitos, cruzar as informações 4) Julgar : emitir um julgamento de síntese

23 Instrumentos para estruturar a avaliação - Gráfico de objetivos ou diagrama lógico de impactos - Análise SWOT (Pontos fortes-Pontos fracos-Oportunidades-Ameaças) Objetivo : encontrar as linhas estratégicas mais pertinentes (ambiente do programa, inventário das ações possíveis, análise externa das oportunidades e ameaças, análise interna dos pontos fortes e fracos, hierarquização das ações possíveis, avaliação de uma estratégia) ; Limite = subjetividade na hierarquização das atividades

24 Gráfico de objetivos Finalidade Objetivos Objetivos Ações estratégicos operacionais Gráfico de objetivos Finalidade Objetivos Ações estratégicos operacionais Assegurar um desenvolvimento equilibrado e sustentável em sinergia com o polo urbano Limitar a expansão urbana Manter as atividades comerciais e artesanais Renovar os alojamentos antigos Construção de novos alojamentos Realização de alojamentos sociais Manter a população local Atrair novos habitantes Fixar a população local Renovar os alojamentos antigos Melhorar o ambiente urbano Melhora do conforto interior dos imóveis antigos Renovação das fachadas dos imóveis antigos

25

26 Instrumentos de observação 1 ) Entrevistas individuais : roteiro da entrevista, tabela de análise, regras de confidencialidade, relatório e validação. 2) Entrevistas de grupo : seleção dos participantes, roteiro da reunião, informação dos participantes, animação, tabela de análise 3) Estudo de caso : seleção de casos, coleta de informações, análise e generalização.

27 Instrumentos para a análise de dados - Sistemas de Informação Geográfica - Análise estrutural-residual - Modelos econômicos : modelo inputs-outputs, modelos macro-econômicos - Análise fatorial - Grupo de comparação : comparação dos beneficiários, elegíveis e não aceitos, elegíveis não requerentes, não elegíveis - Análise de regressão

28 Instrumentos para emitir um julgamento - Análise qualitativa tabela de análise - Análise multicriterial : definição de um número limitado de critérios (5 a 10), ponderação dos critérios, seleção das intervenções a serem comparadas, atribuição de notas aos efeitos, comparação - Análises custo/benefício e custo/eficácia - Lógica

29 Orientações sobre a escolha dos métodos 1) Não se contentar com uma técnica emblemática 2) Combinar diferentes instrumentos em cada uma das fases (notadamente coleta de dados, julgamento de valor)

30 1) Falta de dados sobre o estado inicial ou sobre a evolução da situação 2) Dificuldades em verificar o efeito próprio da política 3) Problemas de prazo na manifestação dos efeitos da política Avaliação: Dificuldades de ordem geral

31 Exemplo de avaliação na região Nord Pas de Calais Contexto geopolítico Construir e afirmar uma identidade regional 2 departamentos Poderosos parceiros locais Contexto econômico Uma região dinâmica e próspera Um seismo econômico, políticas de reconversão com vários agentes envolvidos Conjuntura política Pedido de avaliação da Comunidade Europeia Eleições regionais de 1992 Negociações difíceis para o CPER (Contrato de Projeto Estado-Região)

32 Aumentar a capacidade de expertise da região para fortalecer sua posição e legitimidade nas relações com seus parceiros criação em 1993 da Direção do Projeto e da Avaliação nomeação em 1995 de um responsável pela avaliação

33 Entre o discurso e a prática : para que servem as avaliações ? Uma constatação : várias avaliações na região Nord Pas de Calais tiveram pouca ou nenhuma utilidade. Por quê ? Originadas de uma solicitação, mas confinadas a uma esfera administrativa : qual a apropriação dos resultados pelos agentes políticos ? Decisões a serem tomadas em decorrência das avaliações : alguns partícipes não desejam ou não podem modificar suas práticas As limitações da decisão política : termos curtos, enunciativos A avaliação cujos resultados levam meses para serem obtidos não pode se integrar facilmente no processo de decisão Sem esforço pedagógico, a avaliação permanece um assunto de especialistas

34 Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ? Levar em conta a avaliação desde o início Evita os objetivos vagos, as fórmulas encantatórias, a confusão entre finalidades, objetivos e meios Permite a enunciação clara dos objetivos Favorece a elaboração de indicadores pertinentes Efeito direto sobre a estratégia do que se quer fazer e sobre a qualidade

35 Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ? Antes, e no momento do diagnóstico : identificar os problemas, e formular hipóteses de ações do prognóstico : avaliar as probabilidades e as condições de sucesso da estratégia : selecionar os fatores principais da ação

36 Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ? Durante, e no momento Do acompanhamento de uma política ou de um programa, por meio de um sistema de indicadores, para redefinir os meios a serem empregados, regular os disfuncionamentos, relançar as parcerias

37 Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ? Após, e no momento, do controle das realizações para medir as diferenças entre o que foi previsto e o que foi realizado, analisar os obstáculos, as causas... da medida dos efeitos secundários e dos resultados

38 Conclusão : As questões do iniciante em avaliação de políticas públicas années 2000 Produzir conhecimentos objetivos Otimizar a afetação dos recursos Prestar contas e dar sentido à ação pública POR QUE ? Questão n°2 Representar uma ajuda à decisão pública em face dos desafios econômicos, sociais, ambientais Cumprir uma obrigação O QUE ? MeiosRealizações Objetivos Implementação Questão n°1 AÇÃO PÚBLICA NÍVEIS DE AVALIAÇÃO CoerênciaPertinênciaEficiência Eficácia Resultados (efeitos próprios)


Carregar ppt "AVALIAR : PARA QUE ? Dominique VOLLET CEMAGREF UMR Métafort AgroParisTech- Cemagref-Enita-Inra Clermont Ferrand Formação ENA-Paris, Ciclo Internacional."

Apresentações semelhantes


Anúncios Google