Carregar apresentação
A apresentação está carregando. Por favor, espere
PublicouGonçalo Marinho Chagas Alterado mais de 8 anos atrás
1
IMB MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS José Celso Cardoso Jr. Ipea Goiânia, junho 2015
2
Ministério do Planejamento MONITORAMENTO e AVALIAÇÃO A QUE SERÁ QUE SE DESTINAM??? - o “fim” último de nossos atos!!! - alienação; resignação!!!
3
Ministério do Planejamento M & A como atributos intrínsecos do Planejamento EVOLUÇÃO À IDEIA DE CICLO PDCA: Monitoramento e Avaliação não são fases isoladas do Ciclo de Políticas Públicas: monitorar e avaliar significam planejar e retroalimentar sistemas de informação (LATO SENSU) para inteligência decisória. M&A SÃO ELEMENTOS INDISSOCIÁVEIS DO CONCEITO DE PLANEJAMENTO: O esforço contínuo de compreensão da realidade se abastece do monitoramento e da avaliação; sem esse conhecimento, o Planejamento é apenas uma peça de ficção.
4
DESEMPENHO INSTITUCIONAL, IMPLEMENTAÇÃO DE POLÍTICAS PÚBLICAS, EFICIÊNCIA, EFICÁCIA, EFETIVIDADE Formulação e Planejamento Governamental Orçamentação e Programação Financeira Representação, Participação e Interfaces Socioestatais Monitoramento, Avaliação e Controles Interno e Externo do Estado Administração Política e Gestão Pública Arrecadação e Repartição Tributária CAPACIDADES ESTATAIS: Tributação, função social da propriedade, criação e gestão da moeda, gerenciamento da dívida pública INSTRUMENTOS GOVERNAMENTAIS: PPA, empresas estatais, bancos públicos, fundos públicos, fundos de pensão ÉTICA REPUBLICANA: esfera pública, interesse geral, bem-comum ÉTICA DEMOCRÁTICA: representação, participação, deliberação e controle social
5
MONITORAMENTO DAS PRIORIDADES PR SPI/MPOG + M. Setoriais MONITORAMENTO ESTRATÉGICO SPI/MPOG + M. Setoriais MONITORAMENTO TEMÁTICO SPI/MPOG + M. Setoriais DIMENSÃO ESTRATÉGICA RELATÓRIO DE AVALIAÇÃO PPA SPI/MPOG MONITORAMENTO PRIORITÁRIO SAM-SAG-GAIA / PR-BR MONITORAMENTO SETORIAL EX: PAC, BSM, PRONATEC, PBM, C,T&I, etc... “MONITORAMENTO ORÇAMENTÁRIO” SOF / TCU / CGU DIMENSÃO ESTRATÉGICA MENSAGEM PRESIDENCIAL PR/BR PR, M.SETORIAIS, SOF, CGU, TCU“SPI/MPOG + M. Setoriais NÍVEIS E TIPOS DE MONITORAMENTO – BRASIL, GOV. FEDERAL HOJE
6
Plano Individualizado de Monitoramento Temático Programas Objetivos Iniciativa Indicadores Metas Ações Campos estruturados Monitoramento Estratégico Desigualdades Regionalização de Metas Agendas/Programas Matriciais Público Atendido (renda, gênero, raça, etc.) Territorialidades Transversalidades Multissetorialidade Análise Situacional
7
M&A NÃO SÃO FIM EM SI MESMO! M&A ≠ COBRANÇA M&A ≠ PRESTAÇÃO DE CONTAS M&A ≠ CONTROLE M&A SÃO PARTE DE PROCESSOS +- ESTRUTURADOS DE APRENDIZADO “... visando informações tempestivas para tomada de decisões...” (mito dos manuais!!!) Conceitos e Fundamentos
8
M&A = APRENDIZADO Se M&A diz respeito ao processo de implementação, execução e gestão das ações de Estado, então deve ser capaz de ser: dinâmico, sistêmico, abrangente e multi-inter-trans dimensional. Espera-se que, por meio de sua aplicação e uso regulares (vale dizer: uso contínuo, cumulativo e coletivo para agregação de valor), possam se desenvolver: * Conhecimentos densos e aprofundados das realidades, bem como da operação/implementação/gestão cotidianas das políticas públicas, segundo os atributos e formas de mensuração do desempenho; * Informações harmonizadas e indicadores úteis ao gerenciamento “tempestivo” das ações de governo; Conceitos e Fundamentos
9
INFORMATIVO E FORMATIVO ANALÍTICO E AVALIATIVO PROPOSITIVO E PROSPECTIVO PRODUZ CONHECIMENTO: 1. DENSO E APROFUNDADO DA REALIDADE; 2. E DA IMPLEMENTAÇÃO E GESTÃO COTIDIANA DAS POLÍTICAS PÚBLICAS. DINÂMICO SISTÊMICO ABRANGENTE MULTI-INTER-TRANS DISCIPLINAR GERA: 1. INFORMAÇÕES HARMONIZADAS; 2. INDICADORES ÚTEIS. M&A ESTRATÉGICO DE POLÍTICAS PÚBLICAS CONTÍNUO COLETIVO CUMULATIVO
10
Ministério do Planejamento Riscos associados aos processos de produção de informações para M&A Atenção especial quanto a: Criar regras demasiadas Criar sistemas fechados Criar obrigações desnecessárias Criar muitos campos para preenchimento textual, subjetivo Estabelecer fluxos ideais e realizáveis para trânsito de informações Determinar claramente competências Riscos associados: comprometer a entrega de bens e serviços.
11
Ministério do Planejamento Qualidade da informação para M&A A qualidade da informação depende primordialmente da relação de confiança entre aqueles que a fornecem e aqueles que a utilizam. Resulta, em síntese, da natureza, da densidade e da extensão do diálogo. Se não há confiança o processo torna-se um entrave; O valor das informações é reduzido e está comprometido; e A política pública, programa ou processo não alcança legitimidade. DESAFIO PERMANENTE: Como trabalhar padrões de confiança em cenários com diversos atores e interesses diversos, em múltiplas arenas e fóruns?
12
Ministério do Planejamento Necessidade de informação para Planejamento e gestão Uma Política Pública: Declara e põe em prática a linha de ação do governo; Envolve vários atores (conflitos) e níveis de decisão (formais e informais); É abrangente e não se limita a leis e regras; É uma ação intencional, com objetivos a serem alcançados (nem sempre revelados); Envolve processos após sua decisão e proposição (implementação, execução, monitoramento e avaliação, retroalimentação, inteligência). A produção e análise de informações é essencial em todas as fases do processo de formulação e implementação de uma política.
13
Ministério do Planejamento Necessidade da informação para Planejamento e gestão Algumas finalidades – não exclusivas - das informações produzidas: Informações para diagnóstico (ex.: IBGE) Informações de atendimento (ex.: recortes por unidades da Federação) Informações para controle (ex.: Executivo, Sociedade, TCU) Informação para transparência (ex.: Lei de Acesso a Informação)
14
Ministério do Planejamento Fontes de Informação Indicadores Contribuem para: Mensurar os resultados e gerir o desempenho; Avaliar o alcance de objetivos; Embasar a análise crítica dos resultados e do processo de tomada de decisão; Viabilizar a análise comparativa do desempenho em áreas ou ambientes semelhantes. ATENÇÃO: Os indicadores não têm o poder de explicar a realidade. Mas, são muito úteis para revelar aspectos de uma política.
15
Ministério do Planejamento Medir tudo Quem quer medir tudo acaba não medindo nada; deve-se medir o que é relevante, significativo, útil; medir custa tempo e dinheiro. Medição absoluta Não existem medidas únicas, exatas, válidas, totalmente confiáveis, simples, sensíveis, disponíveis e econômicas, ao mesmo tempo. Uma boa prática é trabalhar com aproximações a partir de dados já existentes e calibrar medições a partir daí. Medir por medir As medidas devem fazer sentido, não devem ser uma obrigação, mas sim ferramentas úteis à melhoria de desempenho. Se fizer sentido apenas para a área meio: não será eficiente, não será eficaz e não será efetivo. Dependência da tecnologia Primeiro conceber a sistemática e depois o sistema; nenhum sistema consegue ser perfeito. Tecnologia tem limites, imperfeições, custos e atributos distintos. TI não é análise. Fontes de Informação Indicadores: mitos a superar
16
Ministério do Planejamento Utilidade Validade Confiabilidade Mensurabilidade Sensibilidade Desagregabilidade Economicidade Estabilidade Simplicidade Fontes de Informação Indicadores: atributos
17
Ministério do Planejamento Fontes de Informação Indicadores: abrangência Complexidade: indicadores simples podem ser combinados de forma a permitir uma visão ponderada e multidimensional da realidade. Podem ser: Analíticos: quando retratam dimensões sociais específicas como as taxas de promoção, repetência e evasão escolar; Sintéticos: ou índices, quando sintetizam diferentes conceitos da realidade empírica, ou seja, derivam de operações realizadas com indicadores analíticos e tendem a retratar o comportamento médio das dimensões consideradas. Diversas instituições nacionais e internacionais divulgam indicadores sintéticos. Exemplos: IDH – Índice de Desenvolvimento Humano (Multidimensional); IDEB – Índice de Desenvolvimento da Educação Básica (Unidimensional); IQVU – Índice de Qualidade de Vida Urbana; IDH, municipal; ODM, municipal.
18
Ministério do Planejamento Vantagens: Simplicidade de entendimento. Sumarizam questões complexas facilitando a mobilização e priorização de recursos. Permitam estabelecimento de ranking entre regiões, estados, países etc. Facilitam a comparação de performance. Desvantagens: Mitificação do índice em detrimento do conceito original. Requer base conceitual e empiricamente consistentes (dimensões em geral têm dinâmicas e tratamentos próprios). Subjetividade na definição dos critérios de seleção e ponderação das dimensões envolvidas; podem assim ter a sua validade questionada. A simplificação pode induzir a decisões erradas. Ênfase demasiada no ranking (análise de elevador). Fontes de Informação Indicadores Sintéticos
19
Ministério do Planejamento Fontes de Informação Indicadores para Avaliação de Desempenho Economicidade: medem os gastos envolvidos na obtenção dos insumos. Eficiência: essa medida possui estreita relação com produtividade, ou seja, o quanto se consegue produzir com os meios disponibilizados. Eficácia: aponta o grau em que uma intervenção atinge os objetivos planejados. Efetividade: mede os efeitos positivos ou negativos na realidade que sofreu a intervenção.
20
Ministério do Planejamento Fontes de Informação Indicadores: tipologias Insumo: médicos/mil habitantes e gasto per capita com educação. Processo: o porcentual de recursos financeiros liberados no mês. Produto: o porcentual de quilômetros de estrada entregues, de armazéns construídos ou de crianças vacinadas, em relação às metas estabelecidas. Resultado: a taxa de reprovação escolar e a taxa de homicídios. Impacto: o Índice de Gini sobre distribuição de renda e o PIB per capita.
21
Ministério do Planejamento Fontes de Informação Indicadores: limitações Indicadores são representações imperfeitas: Indicadores são abstrações, representações, simplificações de uma dada realidade, portanto são suscetíveis aos vieses de quem produziu, coletou e/ou interpretou. Não se deve confiar absolutamente nas medidas; periodicamente devem ser realizadas avaliações críticas acerca da pertinência dos indicadores selecionados. Indicadores são escolhidos por pessoas. Pessoas têm interesses. Indicadores apenas apontam, assinalam, indicam como o próprio nome revela. É comum que o foco das ações seja deslocado da realidade com que se deseja trabalhar para o indicador escolhido para representá-la. => indução e repetição de erro.
22
Ministério do Planejamento Fontes de Informação Indicadores : limitações Indicadores sintético versus Sistema de Indicadores: Quando os conceitos são complexos não se pode reduzir a administração de uma política ou programa à simples apreciação de um indicador sintético. O IDH, por exemplo, resultado da ponderação de três temas distintos (economia, saúde e educação), busca melhor representar o nível de desenvolvimento socioeconômico de um país; porém, a sua composição mistura um conceito mais sensível às variações conjunturais e de prazo mais curto (PIB per capita) com conceitos estruturais menos sensíveis e de prazo mais longo de evolução (saúde e educação). Assim, uma variação anual positiva do IDH decorrente do aumento do PIB per capita pode, por exemplo, camuflar uma estagnação ou até um retrocesso nas outras dimensões estruturais do índice (saúde e educação).
23
MÓDULOS COMPONENTES DO MONITORAMENT O ESTRATÉGICO DE POLÍTICAS PÚBLICAS 1. Momento Explicativo: Árvore de problemas 3. Momento Estratégico: Fatores Críticos de Contexto 6. Módulo: Matriz de Dados e Indicadores 8. Módulo: Instrumentos e tecnologias de M&A: georreferenciamento, soluções de T.I.C.’s, sistemas e aplicativos telemáticos. 10. Módulo: Mapa de problemas, lacunas e indefinições dos programas 4. Momento Tático- Operacional: CAPACIDADES + PROCESSOS = ENTREGAS 9. Módulo: Análise de consistência global do modelo 7. Módulo: Cenários e Estudos Prospectivos 5. Módulo: Arenas, Atores e Processos Decisórios 2. Momento Normativo: Estruturação de programas e ações
24
CAPACIDADES ORGANIZACIONAIS RECURSOS TANGÍVEIS: ESTRUTURA FÍSICA E FINANCEIRA, TIPO E PERFIL DA BUROCRACIA, MARCO LEGAL E REGULATÓRIO, ETC RECURSOS INTANGÍVEIS: ARENAS E ARRANJOS INSTITUCIONAIS, RECURSOS DE PODER ECONÔMICO, SOCIAL, POLÍTICO, JURÍDICO, CULTURAL, INFORMACIONAL, COMUNICACIONAL, ETC. AVALIAÇÃO DE FORMULAÇÃO E DESENHO PROCESSOS INSTITUCIONAIS RELAÇÕES ENTRE PODERES; RELAÇÕES FEDERATIVAS; RELAÇÕES INTRA- EXECUTIVO; PESO E PAPEL DA BUROCRACIA; DIMENSÕES ESPECÍFICAS DO CIRCUITO PLANEJAMENTO, GESTÃO, CONTROLE, PARTICIPAÇÃO; ESTRUTURA DE FINANCIAMENTO E GASTOS; ARRANJOS E INTERFACES ESTADO –SOCIEDADE; TRANSVERSALIDADES E TERRITORIALIDADE; FLUXOGRAMAS ESPECÍFICOS DAS POLÍTICAS, PROGRAMAS, INICIATIVAS E AÇÕES DE GOVERNO. MONITORAMENTO E AVALIAÇÃO DE IMPLEMENTAÇÃO E GESTÃO ENTREGA DE BENS E SERVIÇOS PÚBLICOS INTERFACES INTRA E INTER POLÍTICAS, INDICADORES, FONTES, PERIODICIDADES; ALIMENTAÇÃO, ESPECIFICIDADES E RESTRIÇÕES METODOLÓGICAS; RELATÓRIOS PERIÓDICOS; VISITAS INTERMITENTES; PUBLICIZAÇÃO E COMUNICAÇÃO PERMANENTES; METAS. MONITORAMENTO E AVALIAÇÃO DE EFICIÊNCIA RESULTADOS INTERMEDIÁRIOS E FINAIS MUDANÇAS NAS CAUSAS CRÍTICAS E MUDANÇAS NO PROBLEMA. MONITORAMENTO E AVALIAÇÃO EX POST DE RESULTADOS INTERMEDIÁRIOS E FINAIS = DIMENSÃO DA EFICÁCIA IMPACTOS DIRETOS E INDIRETOS MUDANÇAS NAS CONSEQUENCIAS DO PROBLEMA MONITORAMENTO E AVALIAÇÃO EX POST DE IMPACTOS DIRETOS E INDIRETOS = DIMENSÃO DA EFETIVIDADE
25
ELEMENTOS CONSTITUTIVOS 1. Concebido como desdobramento do Modelo Lógico, visa contemplar a dimensão da implementação/execução e da gestão das políticas públicas. Desta forma, busca- se construir um modelo ou instrumento sistemático, regular, de Acompanhamento e Monitoramento, Análise e Avaliação do desempenho institucional do setor público brasileiro. 2. Espera-se que, por meio de sua aplicação e uso regulares (vale dizer: uso contínuo, cumulativo e coletivo para agregação de valor), possam se desenvolver: a. Conhecimento denso, aprofundado, da realidade, bem como da operação/implementação/gestão cotidianas das políticas públicas, segundo os atributos e formas de mensuração do desempenho. b. Informações padronizadas e indicadores úteis ao gerenciamento cotidiana das ações de governo; Monitoramento Estratégico de Políticas Públicas
26
3. Características Adicionais: a. O modelo permite abordagem sobre níveis diversos da realidade: nível macro da ação global do Estado; nível meso das políticas públicas e programas governamentais específicos; nível micro das organizações e instituições particulares. a. Tanto melhor e mais efetivo, quanto mais em diálogo e pactuação interinstitucional com atores relevantes o modelo se estruturar e se fizer implementar. a. O uso contínuo, cumulativo e coletivo do modelo deverá gerar (e por meio disso ser validado e legitimado) os seguintes instrumentos específicos: i. Relatórios Periódicos e Tempestivos de Monitoramento Estratégico. ii. Visitas Intermitentes e Checagens de Campo: “obs. participante”. iii. Publicização e Comunicação Permanentes, visando: pactuação do modelo; articulação interinstitucional e coordenação em rede para efetivação, monitoramento e avaliação das políticas públicas brasileiras. Monitoramento Estratégico de Políticas Públicas
27
Especificidades do Modelo 4. O modelo é composto por módulos inter(in)dependentes, de modo que: a. Cada módulo possui especificidades (determinantes e estratégias) próprias / individualizadas para sua montagem; b. O modelo completo prevê a montagem de 10 módulos, em ordem idealmente (mas não necessariamente!) progressiva e cumulativa de dificuldade, complexidade e sofisticação (inclusive internamente a cada módulo!); c. Para tornar-se operacional, o modelo busca simplificar conceitos e métodos de aplicação – vide figura-resumo; d. Os 4 primeiros módulos correspondem aos 4 Momentos da dinâmica de Planejamento Estratégico Situacional, cf. C.Matus, e tal qual refletido e operacionalizado por meio do Modelo Lógico Ipea, cf. M.Cassiolato & S.Gueresi:
28
Especificidades do Modelo 4. O modelo é composto por módulos inter(in)dependentes, de modo que: 1. Momento Explicativo: teoria do problema por meio da construção da árvore de problemas – relação das causas críticas e consequências do problema principal: contextualização e caracterização do problema. 2. Momento Normativo: teoria do programa por meio da estruturação de programas (plano como aposta) – identificação dos recursos especificação das operações e ações localização das entregas de bens e serviços aos distintos públicos-alvo dos programas. 3. Momento Estratégico: identificação de riscos e oportunidades à implementação e ao desempenho institucional dos programas por meio da construção da árvore de fatores críticos de contexto. 4. Momento Tático-Operacional: processamento técnico-político da capacidade de governo propriamente dita, por meio da melhor combinação possível entre capacidades processos (arranjos institucionais e estratégias de execução) entregas de bens e serviços resultados (intermediários e finais) impactos (diretos e indiretos).
29
Especificidades do Modelo e. Os 6 módulos seguintes são inter(in)dependentes aos módulos/momentos principais, e podem ser compostos como parte do processo de monitoramento do desempenho institucional:.Módulo-5: Identificação e Análise de Arenas, Atores e Processos Decisórios – vide figura-detalhada adiante;.Módulo-6: Matriz de Dados (fontes, características metodológicas) e Indicadores quanti-quali (de capacidades, processos, entregas, resultados e impactos) – vide figura-detalhada adiante;.Módulo-7: Cenários e Estudos Prospectivos – ver Manual Ilpes;.Módulo-8: Identificação e Incorporação de Instrumentos e Tecnologias de Monitoramento & Avaliação (georreferenciamento, soluções de T.I.C.’s, sistemas e aplicativos telemáticos, etc...) – vide detalhamento adiante;.Módulo-9: Análise Periódica de Consistência e/ou Vulnerabilidade Técnico-Política do Modelo;.Módulo-10: Montagem de Modelo-Espelho do modelo principal, evidenciando lacunas, problemas, indefinições e também possibilidades e necessidades do programa
30
1. CAPACIDADES ORGANIZACIONAIS E INSTITUCIONAIS: 1.1 – Recursos Tangíveis: a) Estrutura física e financeira do objeto sob M&A; b) Tipo e perfil da estrutura de pessoal (RH) envolvido; c) Marco legal e regulatório; d) Outras categorias de relevância a incluir... 1.2 – Recursos Intangíveis: a) Arena e Arranjo institucional da política, programa ou ação sob M&A; b) Tipo e perfil dos recursos econômicos, sociais, políticos, jurídicos, culturais, informacionais, comunicacionais, simbólicos envolvidos; c) Outras categorias de relevância a incluir... Monitoramento Estratégico de Políticas Públicas
31
2. PROCESSOS ORGANIZACIONAIS E INSTITUCIONAIS: a) fluxogramas específicos das políticas, programas, iniciativas e ações de governo sob M&A; b) relações entre poderes: ver proposta Lassance & Acir para tipo e grau de priorização presidencial, tipo e grau de judicialização das políticas; montantes e perfis das emendas parlamentares; c) relações federativas: ver propostas Leandro & Márcio; Ari & Costantino; Paulo de Tarso & GT-ipea; SAF...; d) relações intra-executivo: hierarquia, disciplina, missão; tipo e grau de cooperação e/ou conflito intersetorial; e) peso e papel da burocracia: ver SEGEP e SRT; f) dimensões específicas do circuito planejamento, gestão, controle, participação em cada caso: tipo e peso dos diversos instrumentos de articulação intersetorial e interfederativa; g) estrutura de financiamento e gastos: grau de progressividade ou regressividade da arrecadação X grau de redistributividade do gasto; h) arranjos e interfaces Estado –Sociedade: ver proposta Roberto Pires & Cia, ver pesquisas Diest sobre conselhos, conferências, audiências, ouvidorias, tipo e peso dos diferentes instrumentos de relacionamento Estado-Sociedade; i) transversalidades e territorialidades: ver proposta Leopoldo para Fórum interconselhos; j) Outras categorias de relevância a incluir... Monitoramento Estratégico de Políticas Públicas
32
3. ENTREGAS DE BENS E SERVIÇOS À POPULAÇÃO: a) Interfaces intra e inter políticas; a) indicadores, fontes e periodicidades; a) alimentação, especificidades e restrições metodológicas; a) relatórios periódicos; a) visitas intermitentes; a) Plano de Comunicação: publicização e comunicação permanentes com atores diretos, parceiros e sociedade em geral... Monitoramento Estratégico de Políticas Públicas
33
PROBLEMAS E QUESTÕES (de interesse público?!) ARENA DECISÓRIA ATORES E GRUPOS DE PRESSÃO E LOBBIES VISÍVEIS E INVISÍVEIS RECUSOS DE PODER INTERESSES BEM INSTITUCIONALIZADOS POUCO INSTITUCIONALIZADOS PROCESSOS E CIRCUITOS DECISÓRIOS AMBIENTE PRENHE DE COMPLEXIDADES (heterogeneidades e desigualdades), RISCOS E INCERTEZAS ECONÔMICOS, POLÍTICOS, SOCIAIS, CULTURAIS, JURÍDICOS, SIMBÓLICOS, COMUNICACIONAIS, ETC. ABERTOS ESTRUTURADOS OBSCUROS, IMPRECISOS CIRCUITOS FORMAIS CIRCUITOS INFORMAIS, “ANÉIS BUROCRÁTICOS”
34
Muito Obrigado! Josecelso.cardoso@ipea.gov.br 61 – 3315.5500
Apresentações semelhantes
© 2024 SlidePlayer.com.br Inc.
All rights reserved.