Modelos e Metodologia de Avaliação de Programas e Políticas Públicos Bernard Perret Outubro de 2007.

Apresentação em tema: "Modelos e Metodologia de Avaliação de Programas e Políticas Públicos Bernard Perret Outubro de 2007."— Transcrição da apresentação:

1 Modelos e Metodologia de Avaliação de Programas e Políticas Públicos Bernard Perret Outubro de 2007

2 A avaliação das políticas públicas Definições – finalidades da avaliação Definições – finalidades da avaliação Elementos históricos Elementos históricos Atualidade da avaliação Atualidade da avaliação Elementos de metodologia Elementos de metodologia As ferramentas de avaliação As ferramentas de avaliação Exemplos Exemplos

3 A avaliação das ações públicas, uma forma de avaliação entre outras Podemos avaliar : O pessoal (nível de conhecimento, competências, práticas profissionais) O pessoal (nível de conhecimento, competências, práticas profissionais) As estruturas (instituições, organismos, serviços) As estruturas (instituições, organismos, serviços) As técnicas (produtos, processos, procedimentos) As técnicas (produtos, processos, procedimentos) As ações (políticas, programas, projetos) As ações (políticas, programas, projetos)

4 Vários tipos de ações Políticas Políticas Programas Programas Projetos Projetos Normas, regulamentação (leis, decretos) Normas, regulamentação (leis, decretos) Procedimentos Procedimentos Dispositivos Dispositivos Funções Funções

5 A avaliação : um momento no ciclo de vida das ações Avaliação ex-ante Avaliação concomitante Avaliação a meio caminho Avaliação ex-post

6 Politica pública Conjunto de meios e dispositivos de ação, implementados em conseqüência das decisões de uma ou várias autoridades públicas, no intuito de alcançar um objetivo ou de atingir uma finalidade ligada ao interesse geral. Conjunto de meios e dispositivos de ação, implementados em conseqüência das decisões de uma ou várias autoridades públicas, no intuito de alcançar um objetivo ou de atingir uma finalidade ligada ao interesse geral.

7 Definição da avaliação das políticas (ações) públicas (I) Avaliar uma política consiste emavaliar sua eficiência, comparando seus resultados com os objetivos fixados e os meios utilizados (Decreto de 18/11/1998) Avaliar uma política consiste emavaliar sua eficiência, comparando seus resultados com os objetivos fixados e os meios utilizados (Decreto de 18/11/1998)

8 Definição da avaliação (V) Atividade de estudo e análise sobre a implementação e os resultados de uma ação pública Atividade de estudo e análise sobre a implementação e os resultados de uma ação pública Realizada num quadro metodológico e institucional (mais ou menos) formalizado Realizada num quadro metodológico e institucional (mais ou menos) formalizado No intuito de prestar contas e/ou de melhorar essa ação No intuito de prestar contas e/ou de melhorar essa ação

9 Três dimensões da avaliação Cognitiva Cognitiva Normativa Normativa Instrumental Instrumental

10 Controle Auditoria Consultoria Pesquisa social Análise de políticas Medição da performance Benchmarking AVALIAÇÃO

11 Avaliação versus fiscalização A a A avaliação procura ter como resultado um parecer compartilhado a respeito da eficiência da política avaliada, e não apenas verificar a conformidade com normas administrativas ou técnicas (Circular de 28 de dezembro de 1998)

12 Fronteiras imprecisas com a auditoria Em regra geral : - a auditoria é realizada sobre funções ou estruturas (organismos, serviços, instituições, funções...) - a avaliação é feita sobre ações (políticas, programas, projetos) Nem sempre a situação fica tão clara, como demonstram 2 exemplos franceses : - avaliação dos estabelecimentos sociais e médico-sociais (Lei de 02/01/2002) - avaliação dos estabelecimentos sociais e médico-sociais (Lei de 02/01/2002) -auditoria dos programas orçamentários

13 Finalidade da avaliação Prestar contas sobre o bom uso dos fundos públicos (accountability) Tomar decisões em base mais racional estratégia (relação com a prospectiva) otimização do uso dos recursos Mobilizar-se, dar sentido à ação Compartilhar informações, fazer convergir as representações

14 Uma pluralidade de mecanismos de retroação Controle hierárquico Controle hierárquico Inspeção / auditoria interna Inspeção / auditoria interna Controle de gestão Controle de gestão Controle externo (Tribunal de Contas) Controle externo (Tribunal de Contas) Indicadores de performance / benchmarks Indicadores de performance / benchmarks Avaliação das políticas e programas públicos Avaliação das políticas e programas públicos Avaliação política (pesquisas de opinião, eleições) Avaliação política (pesquisas de opinião, eleições)

15 Políticos Administrativos Atividade dos agentes Outputs Resultados Satisfação e opinião do público Controle hierárquico Controle de gestão Controles externos Avaliação das políticas públicas Eleições, pesquisas de opinião (avaliação política)

16 A avaliação enquanto modo de elaboração da ação pública O paradigma do decisor racional O paradigma do decisor racional A abordagem cognitiva das políticas públicas A abordagem cognitiva das políticas públicas

17 Avaliação e abordagem cognitiva das políticas públicas As políticas públicas são a conseqüência de interações sociais, que resultam na produção de idéias, representações e valores comuns (Yves Surel) As políticas públicas são a conseqüência de interações sociais, que resultam na produção de idéias, representações e valores comuns (Yves Surel) Nessa perspectiva, a avaliação aparece como um esforço de amplificação e sistematização dos processos de interação e de conhecimento que produzem as políticas públicas. Nessa perspectiva, a avaliação aparece como um esforço de amplificação e sistematização dos processos de interação e de conhecimento que produzem as políticas públicas.

18 As origens americanas Intervenções federais contestadas Intervenções federais contestadas Programas sociais com pouca legitimidade Programas sociais com pouca legitimidade Democracia = Accountability Democracia = Accountability A orientação empirista das ciências sociais A orientação empirista das ciências sociais O objetivo de uma política baseada em provas (Evidence-based policies) O objetivo de uma política baseada em provas (Evidence-based policies)

19 Os pontos fortes da avaliação no mundo anglófono Uma real integração da avaliação ao processo orçamentário Uma real integração da avaliação ao processo orçamentário O caráter programático da ação pública O caráter programático da ação pública O papel ativo do Parlamento e do Tribunal de Contas O papel ativo do Parlamento e do Tribunal de Contas A orientação empirista das ciências sociais A orientação empirista das ciências sociais A profissionalização dos avaliadores A profissionalização dos avaliadores

20 Algumas datas da avaliação na França A Racionalização das escolhas orçamentárias (1970- 1984) A Racionalização das escolhas orçamentárias (1970- 1984) As tentativas de institucionalização da avaliação pluralista como ferramenta da governança pública : As tentativas de institucionalização da avaliação pluralista como ferramenta da governança pública : Criação de um Conselho Científico da Avaliação (1990) Criação de um Conselho Científico da Avaliação (1990) Transformação em Conselho Nacional da Avaliação (1998) Transformação em Conselho Nacional da Avaliação (1998) Fracasso relativo e supressão do CNE (2002) Fracasso relativo e supressão do CNE (2002) A avaliação nos procedimentos contratuais (1993) A avaliação nos procedimentos contratuais (1993) A avaliação dos fundos estruturais europeus (1993) A avaliação dos fundos estruturais europeus (1993) A avaliação na nova lei orçamentária (2001) A avaliação na nova lei orçamentária (2001) A Revisão geral das políticas públicas (2007) A Revisão geral das políticas públicas (2007)

21 Os desafios da ação pública Novas exigências sociais / complexidade Novas exigências sociais / complexidade Aperto da pressão orçamentária Aperto da pressão orçamentária Crise das ideologias e da autoridade (deficit de legitimidade da ação pública) Crise das ideologias e da autoridade (deficit de legitimidade da ação pública) Novas formas de governança e de regulação (globalização, Europa, descentralização, parcerias, passagem do fazer para o mandar fazer) Novas formas de governança e de regulação (globalização, Europa, descentralização, parcerias, passagem do fazer para o mandar fazer) Crise da administração pública, demanda de significado no trabalho Crise da administração pública, demanda de significado no trabalho

22 Das utilizações potenciais às utilizações reais: o caso francês Uma contribuição muito fraca ao debate público Uma contribuição muito fraca ao debate público Utilizações orçamentárias relativamente raras, pelo menos na França Utilizações orçamentárias relativamente raras, pelo menos na França O lugar da avaliação na governança mundial (UE, Banco Mundial…) O lugar da avaliação na governança mundial (UE, Banco Mundial…) Um auxílio real para o monitoramento das políticas Um auxílio real para o monitoramento das políticas A importância da dimensão formativa A importância da dimensão formativa A contribuição para a elaboração de visões compartilhadas A contribuição para a elaboração de visões compartilhadas Na maioria das vezes, efeitos adiados e indiretos Na maioria das vezes, efeitos adiados e indiretos

23 Vários pontos de vista possíveis A avaliação Goal free A avaliação Goal free A avaliação econômica A avaliação econômica A avaliação baseada nos objetivos A avaliação baseada nos objetivos A avaliação baseada na teoria da política A avaliação baseada na teoria da política O ponto de vista mais natural e mais legítimo para realizar uma avaliação institucionalizada consiste em partir dos objetivos. O ponto de vista mais natural e mais legítimo para realizar uma avaliação institucionalizada consiste em partir dos objetivos.

24 Princípios da avaliação como procedimento institucional A avaliação institucional utiliza os resultados da pesquisa avaliativa Trata-se de um trabalho coletivo, monitorado e sintetizado por uma instância de avaliação Toda avaliação começa pela elaboração coletiva de um projeto (referencial, questionamento, hipóteses, métodos)

25 Num mundo onde a atenção constitui um recurso importante e dos mais escassos, a informação pode ser um luxo caro, pois ela pode desviar nossa atenção daquilo que é importante para aquilo que não é. Não podemos nos dar o luxo de tratar uma informação pelo simples motivo que ela está aí (Herbert Simon)

26 Etapas de uma avaliação Carta de mandato Carta de mandato Elaboração de um projeto de avaliação Elaboração de um projeto de avaliação Constituição de uma instância de avaliação, que valida o projeto Constituição de uma instância de avaliação, que valida o projeto Lançamento de um programa de estudo Lançamento de um programa de estudo Acompanhamento e validação dos estudos Acompanhamento e validação dos estudos Redação e validação do relatório Redação e validação do relatório Acompanhamento e valorização das conclusões Acompanhamento e valorização das conclusões

27 O PROJETO DE AVALIAÇÃO Contexto, expectativas, apostas Delimitação das ações a serem avaliadas Critérios de avaliação (referencial) Diagnóstico e hipóteses Questionamento (agenda analítica) Balanço informacional Programa de estudo (entrevistas, pesquisas) Escolha dos operadores

28 Papel da instância de avaliação Elaborar uma lista de questionamentos com base no mandato Elaborar uma lista de questionamentos com base no mandato Escolher um (uns) método(s) Escolher um (uns) método(s) Juntar informações e documentos pertinentes Juntar informações e documentos pertinentes Realizar audições Realizar audições Organizar e conduzir as pesquisas Organizar e conduzir as pesquisas Sintetizar e interpretar seus resultados Sintetizar e interpretar seus resultados Redigir o relatório de avaliação Redigir o relatório de avaliação Comunicar, explicar, divulgar Comunicar, explicar, divulgar

29 Elaborar um referencial: Transformar objetivos imprecisos, contraditórios e incompletos em um sistema hierarquizado de resultados ou de impactos esperados, suscetíveis de serem medidos ou objetivados através de indicadores ou de descritores

30 Distinguir diferentes níveis de resultados Outputs (resultados operacionais) : resultado direto da atividade dos serviços, bens e serviços produzidos no âmbito de um programa Outcomes (impacto, efeitos): efeitos econômicos e sociais do programa, a curto, médio ou longo prazo A cadeia dos resultados

31 Um exemplo simples : O policial e a segurança rodoviária Os efetivos da polícia (os meios) Os efetivos da polícia (os meios) As horas de trabalho disponíveis do policial (o potencial) As horas de trabalho disponíveis do policial (o potencial) Os controles de alcoolismo Os controles de alcoolismo Os controles positivos Os controles positivos As sanções As sanções A informação pública A informação pública A dissuasão A dissuasão A redução do alcolismo ao volante A redução do alcolismo ao volante A redução do número de mortos A redução do número de mortos Saídas ou Impactos Meios ou Recursos Outputs ou Produções

32 Os principais objetos do questionamento Implementação (conformidade, mobilização dos atores) Implementação (conformidade, mobilização dos atores) Alcance dos objetivos (como o problema evolui) Alcance dos objetivos (como o problema evolui) Efeitos líquidos sobre os objetivos (eficácia) Efeitos líquidos sobre os objetivos (eficácia) Efeitos inesperados ( efeitos de sistema …) Efeitos inesperados ( efeitos de sistema …) Mecanismos de ação ( porquê e como a política opera ) Mecanismos de ação ( porquê e como a política opera ) Influência do contexto ( circunstâncias influindo na implementação e na eficácia ) Influência do contexto ( circunstâncias influindo na implementação e na eficácia )

33 Meta-critérios de avaliação PERTINÊNCIA ( objetivos / finalidades / necessidades ) COERÊNCIA (meios / dispositivo / objetivos) EFICÁCIA ( resultados / objetivos ) EFICIÊNCIA ( resultados / meios / custos ) IMPACTO SISTÊMICO ( impacto global sobre o sistema )

34 Problemas Necessidades Problemas Necessidades Ambiente Sociedade ResultadosEfeitos POLÍTICA Objetivos – Meios – Recursos – Atores COERÊNCIA EFICIÊNCIA EFICÁCIA IMPACTO SISTÊMICO PERTINÊNCIA

35 Onde encontrar as informações ? Dados quantitativos exploração de arquivos estatísticos informações administrativas pesquisa por sondagem (questionário, telefone, entrevista ) Dados qualitativos entrevistas abertas ou semi-abertas análise de documentos vídeos discussão em grupo observação participativa

36 O que é um indicador ? Um número que fornece uma informação a respeito de um fenômeno ou da sua evolução Um número que fornece uma informação a respeito de um fenômeno ou da sua evolução Um dispositivo de agregação otimizada da informação Um dispositivo de agregação otimizada da informação Sua função é de chamar a atenção sobre um fato ou uma tendência importante Sua função é de chamar a atenção sobre um fato ou uma tendência importante Em geral, ele não basta para formar um juízo a respeito do sucesso de uma ação Em geral, ele não basta para formar um juízo a respeito do sucesso de uma ação

37 Lugar dos indicadores na avaliação Toda avaliação está baseada em números Toda avaliação está baseada em números Os indicadores ocupam um lugar que varia muito enquanto ponto de apoio das conclusões : Os indicadores ocupam um lugar que varia muito enquanto ponto de apoio das conclusões : Às vezes, eles respondem por si só às perguntas da avaliação Às vezes, eles respondem por si só às perguntas da avaliação Em regra geral, eles precisam ser interpretados e completados por informações qualitativas Em regra geral, eles precisam ser interpretados e completados por informações qualitativas

38 Os métodos da análise causal Objetivo : comprovar e quantificar uma relação causal entre um tratamento e um efeito observável Objetivo : comprovar e quantificar uma relação causal entre um tratamento e um efeito observável Uma tarefa central na ótica de uma racionalização da decisão Uma tarefa central na ótica de uma racionalização da decisão Método preferido : a experimentação controlada Método preferido : a experimentação controlada Outro método : a estimativa de um modelo econométrico Outro método : a estimativa de um modelo econométrico

39 O modelo da experimentação social Um tratamento social é aplicado a uma amostra aleatória de beneficiários Um tratamento social é aplicado a uma amostra aleatória de beneficiários Uma amostra estatisticamente equivalente de não-beneficiários é formada Uma amostra estatisticamente equivalente de não-beneficiários é formada A situação dos indivíduos em relação aos objetivos é observada antes, durante e após a implementação do programa A situação dos indivíduos em relação aos objetivos é observada antes, durante e após a implementação do programa Testes estatísticos permitem estabelecer em qual medida o tratamento faz a diferença Testes estatísticos permitem estabelecer em qual medida o tratamento faz a diferença

40 Limites e dificuldades da experimentação Utilização limitada a certos tipos de programas (efeitos específicos, existência de um contrafactual) Utilização limitada a certos tipos de programas (efeitos específicos, existência de um contrafactual) Obstáculos éticos / práticos Obstáculos éticos / práticos Custos, prazos Custos, prazos Problemas de validade externa (generalização) Problemas de validade externa (generalização)

41 Métodos microeconométricos Exigem muitos dados individuais a respeito dos beneficiários de um tratamento Exigem muitos dados individuais a respeito dos beneficiários de um tratamento Sua validade depende da validade dos modelos explicativos subjacentes Sua validade depende da validade dos modelos explicativos subjacentes

42 Modelos macroeconométricos Exigem séries temporais bastante longas Exigem séries temporais bastante longas Sua validade depende da validade do modelo explicativo subjacente Sua validade depende da validade do modelo explicativo subjacente Na prática : utilização limitada à análise dos efeitos econômicos das políticas Na prática : utilização limitada à análise dos efeitos econômicos das políticas

43 A avaliação não se limita à análise causal A avaliação visa tanto explicar mecanismos quanto medir efeitos A avaliação visa tanto explicar mecanismos quanto medir efeitos Ela participa tanto da explicitação do significado da ação quanto da sua racionalização Ela participa tanto da explicitação do significado da ação quanto da sua racionalização Ela deve produzir uma argumentação apropriada para convencer um público diversificado… Ela deve produzir uma argumentação apropriada para convencer um público diversificado… e para fundamentar novas ações / decisões com base em informações heterogêneas e para fundamentar novas ações / decisões com base em informações heterogêneas agindo por indução mais do que por demonstração agindo por indução mais do que por demonstração

44 Os métodos qualitativos Pesquisas qualitativas (entrevistas…) Pesquisas qualitativas (entrevistas…) Estudos de casos, monografias Estudos de casos, monografias Análise de documentos Análise de documentos Etno-metodologia Etno-metodologia Utilização de material audiovisual Utilização de material audiovisual Palavra de especialistas Palavra de especialistas Métodos de trabalho em grupo Métodos de trabalho em grupo

45 As técnicas de decisão Custo – eficácia: comparação de relações custo / resultados para diferentes programas comparáveis Custo – eficácia: comparação de relações custo / resultados para diferentes programas comparáveis Custo – benefícios : os resultados e os impactos são traduzidos em termos monetários e comparados ao custo do programa Custo – benefícios : os resultados e os impactos são traduzidos em termos monetários e comparados ao custo do programa Análise multicritérios Análise multicritérios

46 Fonte : Guia da Comissão Avaliando as Despesas da UE Redigir um relatório de avaliação o que o leitor deve poder entender : Objetivo da avaliação Objetivo da avaliação Delimitação exata do objeto Delimitação exata do objeto Como a avaliação foi planejada e conduzida Como a avaliação foi planejada e conduzida Quais fatos foram estabelecidos Quais fatos foram estabelecidos Quais conclusões foram tiradas Quais conclusões foram tiradas Quais recomendações resultaram dela Quais recomendações resultaram dela

47 A Carta da Sociedade Francesa para a Avaliação (SFE) Princípios de : Princípios de : Pluralidade Pluralidade Distanciamento Distanciamento Competência Competência Respeito das pessoas Respeito das pessoas Transparência Transparência Oportunidade Oportunidade Responsabilidade Responsabilidade