A avaliação das ações públicas, uma forma de avaliação entre outras

Apresentação em tema: "A avaliação das ações públicas, uma forma de avaliação entre outras"— Transcrição da apresentação:

1 A avaliação das ações públicas, uma forma de avaliação entre outras
Podemos avaliar : O pessoal (nível de conhecimento, competências, práticas profissionais) As estruturas (instituições, organismos, serviços) As técnicas (produtos, processos, procedimentos) As ações (políticas, programas, projetos)

2 Vários tipos de ações Políticas Programas Projetos
Normas, regulamentação (leis, decretos) Procedimentos Dispositivos Funções

3 Definição da avaliação das políticas (ações) públicas (I)
Avaliar uma política consiste em “avaliar sua eficiência, comparando seus resultados com os objetivos fixados e os meios utilizados” (Decreto de 18/11/1998)

4 Definição da avaliação (V)
Atividade de estudo e análise sobre a implementação e os resultados de uma ação pública Realizada num quadro metodológico e institucional (mais ou menos) formalizado No intuito de prestar contas e/ou de melhorar essa ação

5 A avaliação : um momento no ciclo de vida das ações
Avaliação ex-ante Avaliação concomitante Avaliação a meio caminho Avaliação ex-post

6 Três dimensões da avaliação
Cognitiva Normativa Instrumental

7 AVALIAÇÃO Pesquisa social Análise de políticas Controle Auditoria
Consultoria Medição da performance Benchmarking

8 Finalidade da avaliação
Prestar contas sobre o “bom uso dos fundos públicos” (accountability) Tomar decisões em base mais racional estratégia (relação com a prospectiva) otimização do uso dos recursos Mobilizar-se, dar sentido à ação Compartilhar informações, fazer convergir as representações

9 Princípios da avaliação como procedimento institucional
A avaliação institucional utiliza os resultados da pesquisa avaliativa Trata-se de um trabalho coletivo, monitorado e sintetizado por uma instância de avaliação Toda avaliação começa pela elaboração coletiva de um projeto (referencial, questionamento, hipóteses, métodos)

10 Etapas de uma avaliação
Carta de mandato Elaboração de um projeto de avaliação Constituição de uma instância de avaliação, que valida o projeto Lançamento de um programa de estudo Acompanhamento e validação dos estudos Redação e validação do relatório Acompanhamento e valorização das conclusões

11 O PROJETO DE AVALIAÇÃO Contexto, expectativas, apostas Delimitação das ações a serem avaliadas Critérios de avaliação (referencial) Diagnóstico e hipóteses Questionamento (agenda analítica) Balanço informacional Programa de estudo (entrevistas, pesquisas) Escolha dos operadores

12 Papel da instância de avaliação
Elaborar uma lista de questionamentos com base no mandato Escolher um (uns) método(s) Juntar informações e documentos pertinentes Realizar audições Organizar e conduzir as pesquisas Sintetizar e interpretar seus resultados Redigir o relatório de avaliação Comunicar, explicar, divulgar

13 Elaborar um referencial:
Transformar objetivos imprecisos, contraditórios e incompletos em um sistema hierarquizado de resultados ou de impactos esperados, suscetíveis de serem medidos ou objetivados através de indicadores ou de descritores

14 Distinguir diferentes níveis de resultados
Outputs (“resultados operacionais”) : resultado direto da atividade dos serviços, bens e serviços produzidos no âmbito de um programa Outcomes (impacto, efeitos): efeitos econômicos e sociais do programa, a curto, médio ou longo prazo A cadeia dos resultados

15 Um exemplo simples : O policial e a segurança rodoviária
“Meios” ou “Recursos” Os efetivos da polícia (os “meios”) As horas de trabalho disponíveis do policial (o “potencial”) Os controles de alcoolismo Os controles positivos As sanções A informação pública A dissuasão A redução do alcolismo ao volante A redução do número de mortos “Outputs” ou “Produções” “Saídas” ou “Impactos”

16 Os principais objetos do questionamento
Implementação (conformidade, mobilização dos atores) Alcance dos objetivos (como o problema evolui) Efeitos líquidos sobre os objetivos (eficácia) Efeitos inesperados (efeitos de sistema…) Mecanismos de ação (porquê e como a política opera) Influência do contexto (circunstâncias influindo na implementação e na eficácia)

17 “Meta-critérios” de avaliação
PERTINÊNCIA (objetivos / finalidades / necessidades) COERÊNCIA (meios / dispositivo / objetivos) EFICÁCIA (resultados / objetivos) EFICIÊNCIA (resultados / meios / custos) IMPACTO SISTÊMICO (impacto global sobre o sistema)

18 Objetivos – Meios – Recursos – Atores
IMPACTO SISTÊMICO Problemas Necessidades Problemas Necessidades Ambiente Sociedade PERTINÊNCIA POLÍTICA Objetivos – Meios – Recursos – Atores COERÊNCIA Resultados Efeitos EFICIÊNCIA EFICÁCIA

19 Redigir um relatório de avaliação o que o leitor deve poder entender :
Objetivo da avaliação Delimitação exata do objeto Como a avaliação foi planejada e conduzida Quais fatos foram estabelecidos Quais conclusões foram tiradas Quais recomendações resultaram dela Fonte : Guia da Comissão Avaliando as Despesas da UE

20 A Carta da Sociedade Francesa para a Avaliação (SFE)
Princípios de : Pluralidade Distanciamento Competência Respeito das pessoas Transparência Oportunidade Responsabilidade

21 Onde encontrar as informações ?
Dados quantitativos exploração de arquivos estatísticos informações administrativas pesquisa por sondagem (questionário, telefone, entrevista) Dados qualitativos entrevistas abertas ou semi-abertas análise de documentos vídeos discussão em grupo observação participativa

22 Os métodos da análise causal
Objetivo : comprovar e quantificar uma relação causal entre um “tratamento” e um efeito observável Uma tarefa central na ótica de uma racionalização da decisão Método preferido : a experimentação controlada Outro método : a estimativa de um modelo econométrico

23 O modelo da experimentação social
Um “tratamento” social é aplicado a uma amostra aleatória de beneficiários Uma amostra estatisticamente equivalente de não-beneficiários é formada A situação dos indivíduos em relação aos objetivos é observada antes, durante e após a implementação do programa Testes estatísticos permitem estabelecer em qual medida o tratamento “faz a diferença”

24 Limites e dificuldades da experimentação
Utilização limitada a certos tipos de programas (efeitos específicos, existência de um ”contrafactual”) Obstáculos éticos / práticos Custos, prazos Problemas de validade externa (generalização)

25 Métodos microeconométricos
Exigem muitos dados individuais a respeito dos beneficiários de um “tratamento” Sua validade depende da validade dos modelos explicativos subjacentes

26 Modelos macroeconométricos
Exigem séries temporais bastante longas Sua validade depende da validade do modelo explicativo subjacente Na prática : utilização limitada à análise dos efeitos econômicos das políticas

27 A avaliação não se limita à análise causal
A avaliação visa tanto explicar mecanismos quanto medir efeitos Ela participa tanto da explicitação do significado da ação quanto da sua racionalização Ela deve produzir uma argumentação apropriada para convencer um público diversificado… e para fundamentar novas ações / decisões com base em informações heterogêneas agindo por indução mais do que por demonstração

28 Os métodos qualitativos
Pesquisas qualitativas (entrevistas…) Estudos de casos, monografias Análise de documentos Etno-metodologia Utilização de material audiovisual “Palavra de especialistas” Métodos de trabalho em grupo

29 As técnicas de decisão Custo – eficácia: comparação de relações custo / resultados para diferentes programas comparáveis Custo – benefícios : os resultados e os impactos são traduzidos em termos monetários e comparados ao custo do programa Análise multicritérios

30 Os métodos econômicos da avaliação ambiental
Método dos “preços hedônicos” Avaliação contingente Limites desses métodos : o valor dos bens ambientais é assimilado à sua utilidade para os indivíduos

31 A “neutralidade carbono”
Princípio geral : compensação obrigatória por economias equivalentes, em termos físicos (toneladas de carbono), no âmbito de um território (região), do impacto dos novos projetos de desenvolvimento sobre as emissões de gases com efeito estufa Ferramenta de base : sistema de cálculo dos “balanços de carbono” de acordo com a natureza dos projetos Implantada na França dentro dos contratos de planos Estado – Regiões Objetivo : estabilidade ou “fator 4” ?

32 As agendas 21 Programa de ação para o século 21, adotado em por 173 países, na Cúpula da Terra, Rio 92 as coletividades territoriais foram convidadas a implementar uma Agenda 21 local Objetivos : desenvolvimento econômico e social ; conservação e administração dos recursos para o desenvolvimento; dar força aos principais grupos sociais Mais de 200 ações na França

33 A diretriz européia sobre os planos e programas (2001)
Torna obrigatória a avaliação ambiental ex- ante dos planos e programas suscetíveis de ter uma incidência significativa sobre o meio ambiente Na França, essa diretriz é aplicada em dezenas de procedimentos administrativos