A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

A avaliação das ações públicas, uma forma de avaliação entre outras Podemos avaliar : O pessoal (nível de conhecimento, competências, práticas profissionais)

Cópias: 1
Modelos e Metodologia de Avaliação de Programas e Políticas Públicos Bernard Perret Outubro de 2007.

Apresentações semelhantes


Apresentação em tema: "A avaliação das ações públicas, uma forma de avaliação entre outras Podemos avaliar : O pessoal (nível de conhecimento, competências, práticas profissionais)"— Transcrição da apresentação:

1 A avaliação das ações públicas, uma forma de avaliação entre outras Podemos avaliar : O pessoal (nível de conhecimento, competências, práticas profissionais) O pessoal (nível de conhecimento, competências, práticas profissionais) As estruturas (instituições, organismos, serviços) As estruturas (instituições, organismos, serviços) As técnicas (produtos, processos, procedimentos) As técnicas (produtos, processos, procedimentos) As ações (políticas, programas, projetos) As ações (políticas, programas, projetos)

2 Vários tipos de ações Políticas Políticas Programas Programas Projetos Projetos Normas, regulamentação (leis, decretos) Normas, regulamentação (leis, decretos) Procedimentos Procedimentos Dispositivos Dispositivos Funções Funções

3 Definição da avaliação das políticas (ações) públicas (I) Avaliar uma política consiste emavaliar sua eficiência, comparando seus resultados com os objetivos fixados e os meios utilizados (Decreto de 18/11/1998) Avaliar uma política consiste emavaliar sua eficiência, comparando seus resultados com os objetivos fixados e os meios utilizados (Decreto de 18/11/1998)

4 Definição da avaliação (V) Atividade de estudo e análise sobre a implementação e os resultados de uma ação pública Atividade de estudo e análise sobre a implementação e os resultados de uma ação pública Realizada num quadro metodológico e institucional (mais ou menos) formalizado Realizada num quadro metodológico e institucional (mais ou menos) formalizado No intuito de prestar contas e/ou de melhorar essa ação No intuito de prestar contas e/ou de melhorar essa ação

5 A avaliação : um momento no ciclo de vida das ações Avaliação ex-ante Avaliação concomitante Avaliação a meio caminho Avaliação ex-post

6 Três dimensões da avaliação Cognitiva Cognitiva Normativa Normativa Instrumental Instrumental

7 Controle Auditoria Consultoria Pesquisa social Análise de políticas Medição da performance Benchmarking AVALIAÇÃO

8 Finalidade da avaliação Prestar contas sobre o bom uso dos fundos públicos (accountability) Tomar decisões em base mais racional estratégia (relação com a prospectiva) otimização do uso dos recursos Mobilizar-se, dar sentido à ação Compartilhar informações, fazer convergir as representações

9 Princípios da avaliação como procedimento institucional A avaliação institucional utiliza os resultados da pesquisa avaliativa Trata-se de um trabalho coletivo, monitorado e sintetizado por uma instância de avaliação Toda avaliação começa pela elaboração coletiva de um projeto (referencial, questionamento, hipóteses, métodos)

10 Etapas de uma avaliação Carta de mandato Carta de mandato Elaboração de um projeto de avaliação Elaboração de um projeto de avaliação Constituição de uma instância de avaliação, que valida o projeto Constituição de uma instância de avaliação, que valida o projeto Lançamento de um programa de estudo Lançamento de um programa de estudo Acompanhamento e validação dos estudos Acompanhamento e validação dos estudos Redação e validação do relatório Redação e validação do relatório Acompanhamento e valorização das conclusões Acompanhamento e valorização das conclusões

11 O PROJETO DE AVALIAÇÃO Contexto, expectativas, apostas Delimitação das ações a serem avaliadas Critérios de avaliação (referencial) Diagnóstico e hipóteses Questionamento (agenda analítica) Balanço informacional Programa de estudo (entrevistas, pesquisas) Escolha dos operadores

12 Papel da instância de avaliação Elaborar uma lista de questionamentos com base no mandato Elaborar uma lista de questionamentos com base no mandato Escolher um (uns) método(s) Escolher um (uns) método(s) Juntar informações e documentos pertinentes Juntar informações e documentos pertinentes Realizar audições Realizar audições Organizar e conduzir as pesquisas Organizar e conduzir as pesquisas Sintetizar e interpretar seus resultados Sintetizar e interpretar seus resultados Redigir o relatório de avaliação Redigir o relatório de avaliação Comunicar, explicar, divulgar Comunicar, explicar, divulgar

13 Elaborar um referencial: Transformar objetivos imprecisos, contraditórios e incompletos em um sistema hierarquizado de resultados ou de impactos esperados, suscetíveis de serem medidos ou objetivados através de indicadores ou de descritores

14 Distinguir diferentes níveis de resultados Outputs (resultados operacionais) : resultado direto da atividade dos serviços, bens e serviços produzidos no âmbito de um programa Outcomes (impacto, efeitos): efeitos econômicos e sociais do programa, a curto, médio ou longo prazo A cadeia dos resultados

15 Um exemplo simples : O policial e a segurança rodoviária Os efetivos da polícia (os meios) Os efetivos da polícia (os meios) As horas de trabalho disponíveis do policial (o potencial) As horas de trabalho disponíveis do policial (o potencial) Os controles de alcoolismo Os controles de alcoolismo Os controles positivos Os controles positivos As sanções As sanções A informação pública A informação pública A dissuasão A dissuasão A redução do alcolismo ao volante A redução do alcolismo ao volante A redução do número de mortos A redução do número de mortos Saídas ou Impactos Meios ou Recursos Outputs ou Produções

16 Os principais objetos do questionamento Implementação (conformidade, mobilização dos atores) Implementação (conformidade, mobilização dos atores) Alcance dos objetivos (como o problema evolui) Alcance dos objetivos (como o problema evolui) Efeitos líquidos sobre os objetivos (eficácia) Efeitos líquidos sobre os objetivos (eficácia) Efeitos inesperados ( efeitos de sistema …) Efeitos inesperados ( efeitos de sistema …) Mecanismos de ação ( porquê e como a política opera ) Mecanismos de ação ( porquê e como a política opera ) Influência do contexto ( circunstâncias influindo na implementação e na eficácia ) Influência do contexto ( circunstâncias influindo na implementação e na eficácia )

17 Meta-critérios de avaliação PERTINÊNCIA ( objetivos / finalidades / necessidades ) COERÊNCIA (meios / dispositivo / objetivos) EFICÁCIA ( resultados / objetivos ) EFICIÊNCIA ( resultados / meios / custos ) IMPACTO SISTÊMICO ( impacto global sobre o sistema )

18 Problemas Necessidades Problemas Necessidades Ambiente Sociedade ResultadosEfeitos POLÍTICA Objetivos – Meios – Recursos – Atores COERÊNCIA EFICIÊNCIA EFICÁCIA IMPACTO SISTÊMICO PERTINÊNCIA

19 Fonte : Guia da Comissão Avaliando as Despesas da UE Redigir um relatório de avaliação o que o leitor deve poder entender : Objetivo da avaliação Objetivo da avaliação Delimitação exata do objeto Delimitação exata do objeto Como a avaliação foi planejada e conduzida Como a avaliação foi planejada e conduzida Quais fatos foram estabelecidos Quais fatos foram estabelecidos Quais conclusões foram tiradas Quais conclusões foram tiradas Quais recomendações resultaram dela Quais recomendações resultaram dela

20 A Carta da Sociedade Francesa para a Avaliação (SFE) Princípios de : Princípios de : Pluralidade Pluralidade Distanciamento Distanciamento Competência Competência Respeito das pessoas Respeito das pessoas Transparência Transparência Oportunidade Oportunidade Responsabilidade Responsabilidade

21 Onde encontrar as informações ? Dados quantitativos exploração de arquivos estatísticos informações administrativas pesquisa por sondagem (questionário, telefone, entrevista ) Dados qualitativos entrevistas abertas ou semi-abertas análise de documentos vídeos discussão em grupo observação participativa

22 Os métodos da análise causal Objetivo : comprovar e quantificar uma relação causal entre um tratamento e um efeito observável Objetivo : comprovar e quantificar uma relação causal entre um tratamento e um efeito observável Uma tarefa central na ótica de uma racionalização da decisão Uma tarefa central na ótica de uma racionalização da decisão Método preferido : a experimentação controlada Método preferido : a experimentação controlada Outro método : a estimativa de um modelo econométrico Outro método : a estimativa de um modelo econométrico

23 O modelo da experimentação social Um tratamento social é aplicado a uma amostra aleatória de beneficiários Um tratamento social é aplicado a uma amostra aleatória de beneficiários Uma amostra estatisticamente equivalente de não-beneficiários é formada Uma amostra estatisticamente equivalente de não-beneficiários é formada A situação dos indivíduos em relação aos objetivos é observada antes, durante e após a implementação do programa A situação dos indivíduos em relação aos objetivos é observada antes, durante e após a implementação do programa Testes estatísticos permitem estabelecer em qual medida o tratamento faz a diferença Testes estatísticos permitem estabelecer em qual medida o tratamento faz a diferença

24 Limites e dificuldades da experimentação Utilização limitada a certos tipos de programas (efeitos específicos, existência de um contrafactual) Utilização limitada a certos tipos de programas (efeitos específicos, existência de um contrafactual) Obstáculos éticos / práticos Obstáculos éticos / práticos Custos, prazos Custos, prazos Problemas de validade externa (generalização) Problemas de validade externa (generalização)

25 Métodos microeconométricos Exigem muitos dados individuais a respeito dos beneficiários de um tratamento Exigem muitos dados individuais a respeito dos beneficiários de um tratamento Sua validade depende da validade dos modelos explicativos subjacentes Sua validade depende da validade dos modelos explicativos subjacentes

26 Modelos macroeconométricos Exigem séries temporais bastante longas Exigem séries temporais bastante longas Sua validade depende da validade do modelo explicativo subjacente Sua validade depende da validade do modelo explicativo subjacente Na prática : utilização limitada à análise dos efeitos econômicos das políticas Na prática : utilização limitada à análise dos efeitos econômicos das políticas

27 A avaliação não se limita à análise causal A avaliação visa tanto explicar mecanismos quanto medir efeitos A avaliação visa tanto explicar mecanismos quanto medir efeitos Ela participa tanto da explicitação do significado da ação quanto da sua racionalização Ela participa tanto da explicitação do significado da ação quanto da sua racionalização Ela deve produzir uma argumentação apropriada para convencer um público diversificado… Ela deve produzir uma argumentação apropriada para convencer um público diversificado… e para fundamentar novas ações / decisões com base em informações heterogêneas e para fundamentar novas ações / decisões com base em informações heterogêneas agindo por indução mais do que por demonstração agindo por indução mais do que por demonstração

28 Os métodos qualitativos Pesquisas qualitativas (entrevistas…) Pesquisas qualitativas (entrevistas…) Estudos de casos, monografias Estudos de casos, monografias Análise de documentos Análise de documentos Etno-metodologia Etno-metodologia Utilização de material audiovisual Utilização de material audiovisual Palavra de especialistas Palavra de especialistas Métodos de trabalho em grupo Métodos de trabalho em grupo

29 As técnicas de decisão Custo – eficácia: comparação de relações custo / resultados para diferentes programas comparáveis Custo – eficácia: comparação de relações custo / resultados para diferentes programas comparáveis Custo – benefícios : os resultados e os impactos são traduzidos em termos monetários e comparados ao custo do programa Custo – benefícios : os resultados e os impactos são traduzidos em termos monetários e comparados ao custo do programa Análise multicritérios Análise multicritérios

30 Os métodos econômicos da avaliação ambiental Método dos preços hedônicos Método dos preços hedônicos Avaliação contingente Avaliação contingente Limites desses métodos : o valor dos bens ambientais é assimilado à sua utilidade para os indivíduos Limites desses métodos : o valor dos bens ambientais é assimilado à sua utilidade para os indivíduos

31 A neutralidade carbono Princípio geral : compensação obrigatória por economias equivalentes, em termos físicos (toneladas de carbono), no âmbito de um território (região), do impacto dos novos projetos de desenvolvimento sobre as emissões de gases com efeito estufa Princípio geral : compensação obrigatória por economias equivalentes, em termos físicos (toneladas de carbono), no âmbito de um território (região), do impacto dos novos projetos de desenvolvimento sobre as emissões de gases com efeito estufa Ferramenta de base : sistema de cálculo dos balanços de carbono de acordo com a natureza dos projetos Ferramenta de base : sistema de cálculo dos balanços de carbono de acordo com a natureza dos projetos Implantada na França dentro dos contratos de planos Estado – Regiões Implantada na França dentro dos contratos de planos Estado – Regiões Objetivo : estabilidade ou fator 4 ? Objetivo : estabilidade ou fator 4 ?

32 As agendas 21 Programa de ação para o século 21, adotado em 1992 por 173 países, na Cúpula da Terra, Rio 92 Programa de ação para o século 21, adotado em 1992 por 173 países, na Cúpula da Terra, Rio 92 as coletividades territoriais foram convidadas a implementar uma Agenda 21 local as coletividades territoriais foram convidadas a implementar uma Agenda 21 local Objetivos : desenvolvimento econômico e social ; conservação e administração dos recursos para o desenvolvimento; dar força aos principais grupos sociais Objetivos : desenvolvimento econômico e social ; conservação e administração dos recursos para o desenvolvimento; dar força aos principais grupos sociais Mais de 200 ações na França Mais de 200 ações na França

33 A diretriz européia sobre os planos e programas (2001) Torna obrigatória a avaliação ambiental ex- ante dos planos e programas suscetíveis de ter uma incidência significativa sobre o meio ambiente Torna obrigatória a avaliação ambiental ex- ante dos planos e programas suscetíveis de ter uma incidência significativa sobre o meio ambiente Na França, essa diretriz é aplicada em dezenas de procedimentos administrativos Na França, essa diretriz é aplicada em dezenas de procedimentos administrativos


Carregar ppt "A avaliação das ações públicas, uma forma de avaliação entre outras Podemos avaliar : O pessoal (nível de conhecimento, competências, práticas profissionais)"

Apresentações semelhantes


Anúncios Google