« Políticas Públicas: da concepção à avaliação" AVALIAR : PARA QUE ? Dominique VOLLET CEMAGREF UMR Métafort AgroParisTech-Cemagref-Enita-Inra Clermont Ferrand Formação ENA-Paris, Ciclo Internacional Especializado de Administração Pública « Políticas Públicas: da concepção à avaliação"

As origens da avaliação 1789 Declaração dos Direitos do Homem e do Cidadão : « a sociedade tem o direito de exigir esclarecimentos sobre a administração a todos os agentes públicos » 1970 racionalização das escolhas orçamentárias 1980 início da descentralização na França 1990 Impulsão da avaliação pela Comunidade Europeia 2000 Entrada em vigor da Lei Orgânica sobre as Leis Financeiras na França (LOLF)

Por que a avaliação se desenvolve ? Uma complexidade crescente : ajudar a fazer escolhas estratégicas Os agentes envolvidos e os acordos são numerosos : esclarecer as responsabilidades e verificar a coerência A escassez de recursos : verificar o bom uso dos recursos financeiros públicos

Sumário I) Conceitos : objetos, momento, definições, critérios e utilidade II) O procedimento da avaliação : natureza, dificuldades gerais e específicas III) Alguns elementos metodológicos para a avaliação de políticas

I) Conceitos 1. Objetos de avaliação 2. Momento da avaliação 3. Definições de acompanhamento e de avaliação 4. Critérios de avaliação 5. Utilidade da avaliação

Os objetos da avaliação Indivíduo notas, escolares ou profissionais Organização auditoria, funcionamento da estrutura Ação do Poder Público Realizações, efeitos....

A avaliação de programa Sequência de ação limitada no tempo Definida precisamente em meios e objetivos operacionais Momento instrumental da política Objetivos/Meios e impactos

A avaliação de política Conjunto complexo de programas, procedimentos e normatizações Visando a um mesmo objetivo geral Caráter normativo da ação pública Problemas : agentes envolvidos e valores

Tipos de avaliação Avaliação ex-post Avaliação ex-ante Análise retrospectiva sobre uma medida ou uma política Avaliação ex-ante Análise prospectiva da possibilidade de implementação e do impacto de uma medida em preparação Avaliação in-itinere Avaliação realizada durante a operacionalização de uma política

Os diferentes momentos da avaliação   Os diferentes momentos da avaliação Ex-ante Ex-post Intermediária In-itinere Ação pública t0 t1 Acompanhamento contínuo + avaliação regular

Os instrumentos de gestão e de decisão Auditoria Respeito aos procedimentos Controle de gestão Atingimento dos objetivos de gestão e respeito às normas Acompanhamento Coleta de dados para medir o estado de realização de uma política Avaliação Busca das relações de causalidade entre os objetivos e os efeitos das políticas para compreender e julgar Interno e pontual Interno e permanente aplica-se a um órgão Aplicam-se a uma ação pública ou a uma política

Valor agregado da avaliação Recursos Realização Resultados Impactos Controle Controle de gestão e acompanhamento Avaliação (dos impactos) Conforme às normas standards de boa gestão Satisfação do público alvo Ne pas mélanger les exercices à faire par des personnes différentes

Definições de avaliação Avaliar uma política é  : "reconhecer e medir seus efeitos próprios" – Deleau 1985 "emitir um julgamento sobre seu valor" – Viveret 1989 "verificar se os meios jurídicos, administrativos ou financeiros empregados permitem produzir os efeitos esperados dessa política e atingir os objetivos que lhe são fixados" – Decreto de 22/01/90 "apreciar sua eficácia comparando seus resultados com os objetivos fixados e com os meios e recursos empregados" – Decreto de 18/11/98

Ângulos de avaliação de uma política pública INTERESSES PÚBLICOS NECESSIDADES EVOLUÇÕES DA REALIDADE SOCIAL: IMPACTOS SOCIEDADE Efeitos Próprios Objetivos Resultados Meios PÚBLICAS AÇÕES Realização Pertinência Coerência Eficiência Eficácia AVALIAÇÃO Evolução (utilidade-durabilidade) 2

Utilidade da avaliação 1) Estabelecer um balanço das ações 2) Analisar e compreender o funcionamento da política 3) Apreciar seus efeitos 4) Verificar as hipóteses (implícitas ou explícitas) sub-jacentes à ação pública 5) Contribuir para a formação de um julgamento de valor sobre a política (decisores, agentes envolvidos, população) 6) Contribuir para melhorar a ação pública

II) O procedimento de avaliação : As funções da avaliação (1) Função recapitulativa Fazer uma análise global e distanciada Preparar as decisões relativas à política (abandono, manutenção ou modificação) Decisores e financiadores : administrações centrais, União europeia... Função gerencial Contribuir para a condução da ação pública Modificar a afetação de recursos Melhorar a gestão dos serviços Organismos encarregados da operacionalização (serviços desconcentrados)

As funções da avaliação (2) Função de formação Esclarecer os agentes envolvidos para que eles adaptem seus comportamentos Aprendizagem e mobilização Agentes envolvidos (funcionários, beneficiários…) Função democrática Contribuir para o debate público sobre as políticas Aplicar o princípio da imputabilidade = capacidade de prestar contas a seus superiores, a seus mandatários, à população Sociedade civil, associações, contribuintes...

OS CINCO CRITÉRIOS ADOTADOS PELO CONSELHO CIENTÍFICO DE AVALIAÇÃO 1) Utilidade-pertinência : informação útil e compreensível a todos os interessados 2) Fiabilidade : utilização de métodos científicos sólidos não suscetíveis de serem questinados 3) Objetividade : mesmas conclusões com uma outra avaliação 4) Possibilidade de generalização : útil para guiar a decisão pública em um espaço e um tempo mais amplos 5) Transparência : explicitar os métodos e seus limites 3

Conhecimento da política (1) Traçar os objetivos da política Traçar a teoria de ação que guiou a concepção da política Traçar o procedimento e as normas utilizadas Identificar as ações implementadas

Conhecimento da política (2) Definir os indicadores suscetíveis de representar a natureza e a amplitude da ação pública Indicadores de meios Indicadores de realização Indicadores de resultado Indicadores de impactos...

Função dos agentes envolvidos Conhecimento da política (1) Protagonistas Idealizadores Serviços encarregados da instrução ou da implementação Financiadores Populações alvo Beneficiários Organismos setoriais Outros interessados Pontos de vista sobre a política objetivos procedimentos meios informação resultados outros impactos

III) Alguns elementos metodológicos para a avaliação de políticas As funções da avaliação 1)Estruturar : esclarecer e hierarquizar os efeitos a serem avaliados, definir os critérios 2) Observar : delimitar o campo de observação, coletar dados 3) Analisar : avaliar os efeitos, cruzar as informações 4) Julgar : emitir um julgamento de síntese

Instrumentos para estruturar a avaliação - Gráfico de objetivos ou diagrama lógico de impactos - Análise SWOT (Pontos fortes-Pontos fracos-Oportunidades-Ameaças) Objetivo : encontrar as linhas estratégicas mais pertinentes (ambiente do programa, inventário das ações possíveis, análise externa das oportunidades e ameaças, análise interna dos pontos fortes e fracos, hierarquização das ações possíveis, avaliação de uma estratégia) ; Limite = subjetividade na hierarquização das atividades

Assegurar um desenvolvimento equilibrado e sustentável em sinergia com Gráfico de objetivos Finalidade Objetivos Ações estratégicos operacionais Assegurar um desenvolvimento equilibrado e sustentável em sinergia com o polo urbano Limitar a expansão urbana Manter as atividades comerciais e artesanais Renovar os alojamentos antigos Construção de novos alojamentos Realização de alojamentos sociais Manter a população local Atrair novos habitantes Fixar a população local Melhorar o ambiente urbano Melhora do conforto interior dos imóveis antigos Renovação das fachadas dos imóveis antigos

Instrumentos de observação 1) Entrevistas individuais : roteiro da entrevista, tabela de análise, regras de confidencialidade, relatório e validação. 2) Entrevistas de grupo : seleção dos participantes, roteiro da reunião, informação dos participantes, animação, tabela de análise 3) Estudo de caso : seleção de casos, coleta de informações, análise e generalização.

Instrumentos para a análise de dados - Sistemas de Informação Geográfica - Análise estrutural-residual - Modelos econômicos : modelo inputs-outputs, modelos macro-econômicos - Análise fatorial - Grupo de comparação : comparação dos beneficiários, elegíveis e não aceitos, elegíveis não requerentes, não elegíveis - Análise de regressão

Instrumentos para emitir um julgamento - Análise qualitativa tabela de análise - Análise multicriterial : definição de um número limitado de critérios (5 a 10), ponderação dos critérios, seleção das intervenções a serem comparadas, atribuição de notas aos efeitos, comparação - Análises custo/benefício e custo/eficácia - Lógica

Orientações sobre a escolha dos métodos 1) Não se contentar com uma técnica emblemática 2) Combinar diferentes instrumentos em cada uma das fases (notadamente coleta de dados, julgamento de valor)

Avaliação: Dificuldades de ordem geral 1) Falta de dados sobre o estado inicial ou sobre a evolução da situação 2) Dificuldades em verificar o efeito próprio da política 3) Problemas de prazo na manifestação dos efeitos da política

Exemplo de avaliação na região Nord Pas de Calais Contexto geopolítico Construir e afirmar uma identidade regional 2 departamentos Poderosos parceiros locais Contexto econômico Uma região dinâmica e próspera Um seismo econômico, políticas de reconversão com vários agentes envolvidos Conjuntura política Pedido de avaliação da Comunidade Europeia Eleições regionais de 1992 Negociações difíceis para o CPER 94-98 (Contrato de Projeto Estado-Região) contrairement à la bretagne ou corse quel bien commun entre deux départ prefet de région, départements, 3 CU Charbonnages, sidérurgie, textile et industrie manufacturière tributaire de concours extérieurs, ne peut faire face seule. Marge d'autonomie réduite de formuler et de conduire les politiques régionales Quel que soit le rôle de la région : sens et finalités de son action par rapport à l ’Etat ? L ’évaluation sert alors de négociation avec les partenaires

criação em 1993 da Direção do Projeto e da Avaliação Aumentar a capacidade de expertise da região para fortalecer sua posição e legitimidade nas relações com seus parceiros criação em 1993 da Direção do Projeto e da Avaliação nomeação em 1995 de um responsável pela avaliação Une présidence verte en mars 1992

Entre o discurso e a prática : para que servem as avaliações ? Uma constatação : várias avaliações na região Nord Pas de Calais tiveram pouca ou nenhuma utilidade. Por quê ? Originadas de uma solicitação, mas confinadas a uma esfera administrativa : qual a apropriação dos resultados pelos agentes políticos ? Decisões a serem tomadas em decorrência das avaliações : alguns partícipes não desejam ou não podem modificar suas práticas As limitações da decisão política : termos curtos, enunciativos A avaliação cujos resultados levam meses para serem obtidos não pode se integrar facilmente no processo de decisão Sem esforço pedagógico, a avaliação permanece um assunto de especialistas

Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ? Levar em conta a avaliação desde o início Evita os objetivos vagos, as fórmulas encantatórias, a confusão entre finalidades, objetivos e meios Permite a enunciação clara dos objetivos Favorece a elaboração de indicadores pertinentes Efeito direto sobre a estratégia do que se quer fazer e sobre a qualidade Il ne s ’agit pas ici de parler des temps de l ’évaluation qui seront présentés par la suite

Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ? Antes, e no momento do diagnóstico : identificar os problemas, e formular hipóteses de ações do prognóstico : avaliar as probabilidades e as condições de sucesso da estratégia : selecionar os fatores principais da ação

Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ? Durante, e no momento Do acompanhamento de uma política ou de um programa, por meio de um sistema de indicadores, para redefinir os meios a serem empregados, regular os disfuncionamentos, relançar as parcerias

Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ? Após, e no momento, do controle das realizações para medir as diferenças entre o que foi previsto e o que foi realizado, analisar os obstáculos, as causas... da medida dos efeitos secundários e dos resultados

années 2000 Conclusão : As questões do iniciante em avaliação de políticas públicas O QUE ? Eficácia NÍVEIS DE AVALIAÇÃO Pertinência Coerência Eficiência Questão n°1 Implementação AÇÃO PÚBLICA Objetivos Meios Realizações Resultados (efeitos próprios) POR QUE ? Questão n°2 Cumprir uma obrigação Representar uma ajuda à decisão pública em face dos desafios econômicos, sociais, ambientais Otimizar a afetação dos recursos Prestar contas e dar sentido à ação pública Produzir conhecimentos objetivos