A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Sequência 4 – Técnicas de avaliação de programas « Políticas Públicas : da concepção à avaliação » (ENA, Paris, 23 - 24 junho 2009) Christian Hugues (Escritório.

Apresentações semelhantes


Apresentação em tema: "Sequência 4 – Técnicas de avaliação de programas « Políticas Públicas : da concepção à avaliação » (ENA, Paris, 23 - 24 junho 2009) Christian Hugues (Escritório."— Transcrição da apresentação:

1 Sequência 4 – Técnicas de avaliação de programas « Políticas Públicas : da concepção à avaliação » (ENA, Paris, junho 2009) Christian Hugues (Escritório de Consultoria Evalua – Diretor) - Tel : Fax :

2 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence – Técnicas para estruturar a avaliação Análise SWOT (Pontos fortes e fracos – Oportunidades - Ameaças) Apresentação : Técnica desenvolvida nos anos 50 para ajudar as empresas a definirem suas estratégias em um ambiente de concorrência. Para que serve esta técnica ? Evidencia os fatores dominantes e determinantes, internos e externos à coletividade, capazes de influenciar o sucesso de seu projeto. Traça linhas estratégicas pertinentes ao relacionamento do projeto com o seu ambiente. Em que caso utilizá-la : Concepção de uma intervenção e avaliação ex-ante. Como utilizá-la ? 1/ Radiografia do ambiente da intervenção 2/ Inventário das ações possíveis 3/ Análise externa das oportunidades e das ameaças 4/ Análise interna dos pontos fortes e fracos 5/ Hierarquização das ações possíveis 6/ Avaliação de uma estratégia

3 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence Técnicas para estruturar a avaliação Cartografia conceitual de impactos Apresentação : Técnica utilizada para auxiliar na definição de estratégias ou de reorganização de empresas, mais tarde aplicada na concepção de políticas públicas, notadamente de programas sociais. Para que serve esta técnica ? Esclarecer/hierarquizar os impactos advindos de uma intervenção pública levando-se em conta o conjunto dos protagonistas. Em um contexto ex-ante : determinar os objetivos visados e as prioridades. Em um contexto ex-post : elaborar o referencial da avaliação (indicadores de impacto). Em que caso utilizá-la : Para estruturar o conteúdo de um programa complexo, notadamente quando existem divergências de objetivos entre os parceiros (decisores, financiadores). Como utilizá-la ? 1/ Constituição de um grupo de pessoas que atuam no programa 2/ Listagem dos impactos advindos do programa de forma descritiva 3/ Ponderação das descrições e elaboração de colunas 4/ Cálculo do mapa conceitual de impactos 5/ Definição dos critérios de eficácia

4 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence Técnicas para estruturar a avaliação Voto em cores Apresentação : Técnica de voto que permite estruturar a reflexão coletiva no intuito de melhorar a eficácia, de estimular a criatividade ou de buscar uma posição comum. Para que serve esta técnica ? Facilita a expressão de todos os participantes sobre um tema determinado. O voto em cores possibilita o conhecimento visual de todas as opiniões graças a uma apresentação em cores dos resultados do voto individual. Permite identificar rapidamente as questões sobre as quais há consenso daquelas em que há conflito. Em que caso utilizá-la : Em reuniões de trabalho (grupos grandes). Como utilizá-la ? 1/ Formulação dos enunciados (trabalho qualitativo preliminar / verificar a compreensão dos enunciados) 2/ Voto individual : vermelho (discordância total), rosa (discordância parcial), amarelo (sem opinião formada sobre o tema), verde claro (concordância parcial), verde escuro (concordância total), branco (sem opinião sobre o tema), preto (não deseja participar da votação). 3/ Transcrição dos votos em um quadro 4/ Discussão em grupo (priorizar aqueles que manifestaram dissenso) 5/ Reformulação dos enunciados com o grupo (identificar um posicionamento coletivo sobre o tema).

5 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence Técnicas para estruturar a avaliação Quadro lógico Apresentação : Exercício de estruturação dos elementos que compõem um projeto, e técnica de análise de sua coerência interna e externa. Apresentação formal e matricial do funcionamento interno do projeto, dos modos de verificação de atingimento do objetivo e dos fatores endógenos e exógenos que condicionam seu sucesso. Para que serve esta técnica ? Técnica de apoio à definição objetiva de um projeto, a sua formulação em termos operacionais, a sua implementação, seu acompanhamento e avaliação. Em que caso utilizá-la : Preferencialmente no caso de programas simples, cujos objetivos e principais protagonistas são claramente definidos. Como utilizá-la ? 1/ Definir a lógica da intervenção 2/ Identificar as hipóteses 3/ Informar os indicadores objetivamente verificáveis e os modos de verificação 4/ Indicar os recursos e os custos 5/ Efetuar uma revisão final

6 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence – Técnicas de observação Entrevista individual Apresentação : Busca de informações qualitativas e das opiniões das pessoas envolvidas em um programa ou um projeto deteminado, seu contexto, sua implementação, seus resultados ou impactos. Várias formas : entrevista em conversa informal, entrevista semi-direcionada, entrevista direcionada. Para que serve esta técnica ? Técnica exploratória que permite obter informações pertinentes sobre as maneiras de pensar. Em que caso utilizá-la : Em um contexto exploratório. Como utilizá-la ? 1/ Seleção das pessoas a serem interrogadas : o número de entrevistas depende do tema de estudo, da variedade de comportamentos e dos recursos disponíveis. 2/ Concepção do roteiro da entrevista (guia). 3/ Seleção e formação dos entrevistadores. 4/ Realização das entrevistas. 5/ Análise dos resultados.

7 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence – Técnicas de observação Estudo de caso Apresentação : Estudo aprofundado de dados coletados a partir de casos específicos. Para que serve esta técnica ? Ilustração, exploração, análise crítica, análise de implementação, análise dos impactos. Finalidade analítica e de comunicação. Em que caso utilizá-la : Método de análise holística que se aplica às situações complexas. Como utilizá-la ? 1/ Seleção dos casos a serem estudados : ao menos três categorias de critérios (comodidade/acesso, objetivo a atingir, possibilidade de generalização de um caso particular). 2/ Coleta de dados. 3/ As minúcias do caso. 4/ Relato.

8 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence – Técnicas de observação Análise fatorial Apresentação : Técnica de análise estatística multidimensional utilizada para classificar grandes volumes de dados quantitativos referentes a grupos de indivíduos sobre os quais se dispõe de informações relativas a diversas características (variáveis). Esta técnica identifica as similitudes ou ligações (fatores) entre indivíduos e entre variáveis e produz uma representação gráfica simplificada dos dados disponíveis evidenciando os fenômenos a serem analisados. Para que serve esta técnica ? Analisar detalhadamente as reações dos destinatários e suas características e assim ter uma melhor compreensão da eficácia relativa às intervenções. Explorar as correlações entre os fenômenos e identificar eventuais fatores concorrentes que possam ampliar ou reduzir o impacto do programa. Em que caso utilizá-la : Construção de tipologias. Como utilizá-la ? 1/ Elaboração de uma tabela de dados 2/ et 3/ Localização dos indivíduos e das variáveis 4/ Análise multidimensional 5/ Projeção no espaço (2 ou 3 dimensões) 6/ Interpretação dos resultados.

9 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence – Técnicas de observação Pesquisa Delphi Apresentação : Procedimento de consulta anônima e iterativa de especialistas via correio: utilização de questionários sucessivos a fim de evidenciar convergências e identificar um eventual consenso. A ausência de discussão anterior permite uma explicitação das divergências entre especialistas e assim uma melhor compreensão da natureza do conhecimento de cada um dentre eles. Para que serve esta técnica ? Buscar opiniões cuja credibilidade advém da legitimidade dos próprios especialistas consultados (esclarecer a evolução de uma situação, identificar as prioridades, elaborar cenários prospectivos). Em que caso utilizá-la : Quando há um conhecimento especializado importante sobre o tema. Quando há o receio de que os especialistas se influenciem reciprocamente: o anonimato e a ausência de interações favorizam uma análise profunda dos raciocínios lógicos que originam as opiniões expressas Como utilizá-la ? 1/ Determinação e formulação das questões 2/ Seleção dos especialistas 3/ Elaboração do primeiro questionário e envio aos especialistas 4/ Análise das respostas do primeiro questionário 5/ Elaboração do segundo questionário e envio aos especialistas 6/ Envio de um terceiro questionário 7/ Resumo do procedimento e redação do relatório final.

10 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence – Técnicas de observação Grupos de comparação Apresentação : Comparar um « grupo participante » com um grupo similar que não tenha sido alvo da intervenção pública (« grupo de controle »). Para que serve esta técnica ? Estimar os efeitos próprios de uma intervenção pública, isto é, os efeitos diretamente imputáveis a esta intervenção, e não aqueles que resultam de fatores exógenos ou concorrentes. Em que caso utilizá-la : No caso em que a intervenção oferece subvenções ou serviços a um grupo relativamente homogêneo de destinatários, os quais já foram atingidos (situação retrospectiva), e há um grupo similar não beneficiado pela intervenção avaliada. Técnica reservada às situações em que os mecanismos de produção de efeitos já são suficientemente conhecidos. Como utilizá-la ? 1/ Construção de grupos de comparação: criação de binômios, comparação com indivíduos conhecidos do programa mas não participantes, comparação com um grupo hipotético reconstituído a partir de estatísticas nacionais. 2/ Comparação propriamente dita : análise das mudanças observadas nos dois grupos para deduzir uma estimativa do efeito próprio do programa (difference in differences). Comparação « somente após », comparação « antes-depois », comparação de tendência « antes-depois ».

11 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence – Técnicas de observação Análise de regressão Apresentação : Estimativa quantitativa da influência de vários fatores relacionados a uma variável a ser explicada. Para que serve esta técnica ? Para estimar os efeitos : a técnica serve para atribuir uma parte das mudanças observadas à intervenção avaliada (efeito próprio) e uma outra parte aos fatores concorrentes. Em que caso utilizá-la : No caso em que os efeitos da intervenção são bem identificados e os mecanismos de produção de efeitos são conhecidos. Quando se dispõe de um volume importante de observações quantitativas (entre mil e dez mil unidades). Como utilizá-la ? 1/ Construção de um modelo causal 2/ Seleção de uma amostra 3/ Coleta de dados 4/ Cálculo dos coeficientes 5/ Teste de ajuste 6/ Generalização dos coeficientes do modelo ao conjunto da população.

12 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence – Técnicas para formular um julgamento Painel de especialistas Apresentação : Reunião de vários especialistas independentes e reconhecidos nos campos correspondentes à intervenção avaliada. Os especialistas produzem coletivamente um julgamento sobre o valor de uma intervenção pública e seus efeitos. Para que serve esta técnica? Permite dispor rapidamente e a um custo baixo de um julgamento global integrando as principais informações conhecidas sobre a intervenção, bem como múltiplas experiências anteriores e exteriores. Em que caso utilizá-la : Para buscar um consenso sobre questões complexas e mal estruturadas, em relação às quais as outras técnicas não permitem fornecer respostas unívocas ou confiáveis. Como utilizá-la? 1/ Identificação de uma lista de especialistas potenciais 2/ Seleção e notificação dos especialistasSélection et mandatement des experts 3/ Investigações 4/ Síntese.

13 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence Técnicas para formular um julgamento Análise multicritério Apresentação : Técnica que permite considerar simultaneamente vários critérios intervindo em situações complexas. Para que serve esta técnica? Para estruturar e combinar as apreciações que intervêm no processo de tomada de decisão. Em que caso utilizá-la : Nas avaliações ex-ante de projetos públicos e de suas variantes (escolha da localização de um autoestrada, construção de uma nova infraestrutura...). Como utilizá-la? 1/ Definição dos projetos ou ações 2/ Definição do rol de critérios de julgamento 3/ Análise dos impactos das ações 4/ Julgamento dos efeitos das ações de acordo com cada critério adotado 5/ Organização dos julgamentos.

14 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence Técnicas para formular um julgamento Análise custo-eficácia Apresentação : Método pragmático focado diretamento no efeito principal de uma intervenção pública em relação a seu custo e que exclui voluntariamente outros efeitos potenciais. Para que serve esta técnica? Avaliar a eficácia de uma intervenção em relação a uma única medida, quantificável e considerada como o objetivo preponderante ou objetivo principal do programa. Em que caso utilizá-la : Avaliação de intervenções em que os efeitos esperados foram claramente definidos, são relativamente homogêneos e/ou podem ser medidos em termos de resultado principal (por exemplo, o número de empregos criados). Como utilizá-la? 1/ Determinação do objetivo da intervenção pública 2/ Definição do custo total da intervenção 3/ Medida do impacto 4/ Cálculo da proporção custo-eficácia.

15 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence Técnicas para formular um julgamento Benchmarking Apresentação : Troca de informações relativas à gestão de políticas ou de órgãos públicos com organizações reputadas por sua excelência em um campo específico. Para que serve esta técnica ? Identificar e formalizar os pontos fortes e fracos de um órgão comparando-o com outras organizações reconhecidamente melhores em um campo no qual o aperfeiçoamento deve ser realizado (análise de boas práticas). Em que caso utilizá-la : Avaliação de medidas ou de dispositivos: Identificar as intervenções bem sucedidas e utilizá-las como parâmetro para a intervenção a ser avaliada. Como utilizá-la ? 1/ Selecionar as partes do processo que serão objeto do benchmarking 2/ Identificar um parceiro para o benchmarking 3/ Observar o processo selecionado 4/ Analisar as diferenças de performances.

16 T9112XB - CH - ENA CISAP09 - Pratique de l'évaluation des politiques publiques - Séquence Técnicas para formular um julgamento Análise custo-vantagens Apresentação : Técnica de análise dos projetos públicos que visa determinar se a realização de um projeto é desejável para a sociedade como um todo. Monetarização de todos os efeitos positivos ou negativos do projeto. Para que serve esta técnica? Para comparar o conjunto dos impactos de um projeto público com os impactos, mesmo heterogêneos, passíveis de serem mensurados em termos monetários. Em que caso utilizá-la : Évaluation de projets de grande dimension tels que les grands travaux dinfrastructures. Como utilizá-la? 1/ Definição do projeto e de seu custo: Qual o custo do investimento e do funcionamento ? (aplicação eventual de preços fictícios) Qual a duração do projeto ? 2/ Identificação de vantagens e desvantagens Identificação dos grupos favorisados (beneficiários) e desfavorisados. 3/ Monetarização das vantagens e desvantagens 4/ Avaliação do projeto Aplicação do princípio de compensação Valor atualizado liquido do projeto.


Carregar ppt "Sequência 4 – Técnicas de avaliação de programas « Políticas Públicas : da concepção à avaliação » (ENA, Paris, 23 - 24 junho 2009) Christian Hugues (Escritório."

Apresentações semelhantes


Anúncios Google