IMB MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS José Celso Cardoso Jr. Ipea Goiânia, junho 2015

Ministério do Planejamento MONITORAMENTO e AVALIAÇÃO A QUE SERÁ QUE SE DESTINAM??? - o “fim” último de nossos atos!!! - alienação; resignação!!!

Ministério do Planejamento M & A como atributos intrínsecos do Planejamento EVOLUÇÃO À IDEIA DE CICLO PDCA: Monitoramento e Avaliação não são fases isoladas do Ciclo de Políticas Públicas: monitorar e avaliar significam planejar e retroalimentar sistemas de informação (LATO SENSU) para inteligência decisória. M&A SÃO ELEMENTOS INDISSOCIÁVEIS DO CONCEITO DE PLANEJAMENTO: O esforço contínuo de compreensão da realidade se abastece do monitoramento e da avaliação; sem esse conhecimento, o Planejamento é apenas uma peça de ficção.

DESEMPENHO INSTITUCIONAL, IMPLEMENTAÇÃO DE POLÍTICAS PÚBLICAS, EFICIÊNCIA, EFICÁCIA, EFETIVIDADE Formulação e Planejamento Governamental Orçamentação e Programação Financeira Representação, Participação e Interfaces Socioestatais Monitoramento, Avaliação e Controles Interno e Externo do Estado Administração Política e Gestão Pública Arrecadação e Repartição Tributária CAPACIDADES ESTATAIS: Tributação, função social da propriedade, criação e gestão da moeda, gerenciamento da dívida pública INSTRUMENTOS GOVERNAMENTAIS: PPA, empresas estatais, bancos públicos, fundos públicos, fundos de pensão ÉTICA REPUBLICANA: esfera pública, interesse geral, bem-comum ÉTICA DEMOCRÁTICA: representação, participação, deliberação e controle social

MONITORAMENTO DAS PRIORIDADES PR SPI/MPOG + M. Setoriais MONITORAMENTO ESTRATÉGICO SPI/MPOG + M. Setoriais MONITORAMENTO TEMÁTICO SPI/MPOG + M. Setoriais DIMENSÃO ESTRATÉGICA RELATÓRIO DE AVALIAÇÃO PPA SPI/MPOG MONITORAMENTO PRIORITÁRIO SAM-SAG-GAIA / PR-BR MONITORAMENTO SETORIAL EX: PAC, BSM, PRONATEC, PBM, C,T&I, etc... “MONITORAMENTO ORÇAMENTÁRIO” SOF / TCU / CGU DIMENSÃO ESTRATÉGICA MENSAGEM PRESIDENCIAL PR/BR PR, M.SETORIAIS, SOF, CGU, TCU“SPI/MPOG + M. Setoriais NÍVEIS E TIPOS DE MONITORAMENTO – BRASIL, GOV. FEDERAL HOJE

Plano Individualizado de Monitoramento Temático Programas Objetivos Iniciativa Indicadores Metas Ações Campos estruturados Monitoramento Estratégico Desigualdades Regionalização de Metas Agendas/Programas Matriciais Público Atendido (renda, gênero, raça, etc.) Territorialidades Transversalidades Multissetorialidade Análise Situacional

M&A NÃO SÃO FIM EM SI MESMO! M&A ≠ COBRANÇA M&A ≠ PRESTAÇÃO DE CONTAS M&A ≠ CONTROLE M&A SÃO PARTE DE PROCESSOS +- ESTRUTURADOS DE APRENDIZADO “... visando informações tempestivas para tomada de decisões...” (mito dos manuais!!!) Conceitos e Fundamentos

M&A = APRENDIZADO Se M&A diz respeito ao processo de implementação, execução e gestão das ações de Estado, então deve ser capaz de ser: dinâmico, sistêmico, abrangente e multi-inter-trans dimensional. Espera-se que, por meio de sua aplicação e uso regulares (vale dizer: uso contínuo, cumulativo e coletivo para agregação de valor), possam se desenvolver: * Conhecimentos densos e aprofundados das realidades, bem como da operação/implementação/gestão cotidianas das políticas públicas, segundo os atributos e formas de mensuração do desempenho; * Informações harmonizadas e indicadores úteis ao gerenciamento “tempestivo” das ações de governo; Conceitos e Fundamentos

INFORMATIVO E FORMATIVO ANALÍTICO E AVALIATIVO PROPOSITIVO E PROSPECTIVO PRODUZ CONHECIMENTO: 1. DENSO E APROFUNDADO DA REALIDADE; 2. E DA IMPLEMENTAÇÃO E GESTÃO COTIDIANA DAS POLÍTICAS PÚBLICAS. DINÂMICO SISTÊMICO ABRANGENTE MULTI-INTER-TRANS DISCIPLINAR GERA: 1. INFORMAÇÕES HARMONIZADAS; 2. INDICADORES ÚTEIS. M&A ESTRATÉGICO DE POLÍTICAS PÚBLICAS CONTÍNUO COLETIVO CUMULATIVO

Ministério do Planejamento Riscos associados aos processos de produção de informações para M&A Atenção especial quanto a:  Criar regras demasiadas  Criar sistemas fechados  Criar obrigações desnecessárias  Criar muitos campos para preenchimento textual, subjetivo  Estabelecer fluxos ideais e realizáveis para trânsito de informações  Determinar claramente competências Riscos associados: comprometer a entrega de bens e serviços.

Ministério do Planejamento Qualidade da informação para M&A A qualidade da informação depende primordialmente da relação de confiança entre aqueles que a fornecem e aqueles que a utilizam. Resulta, em síntese, da natureza, da densidade e da extensão do diálogo.  Se não há confiança o processo torna-se um entrave;  O valor das informações é reduzido e está comprometido; e  A política pública, programa ou processo não alcança legitimidade. DESAFIO PERMANENTE: Como trabalhar padrões de confiança em cenários com diversos atores e interesses diversos, em múltiplas arenas e fóruns?

Ministério do Planejamento Necessidade de informação para Planejamento e gestão Uma Política Pública:  Declara e põe em prática a linha de ação do governo;  Envolve vários atores (conflitos) e níveis de decisão (formais e informais);  É abrangente e não se limita a leis e regras;  É uma ação intencional, com objetivos a serem alcançados (nem sempre revelados);  Envolve processos após sua decisão e proposição (implementação, execução, monitoramento e avaliação, retroalimentação, inteligência). A produção e análise de informações é essencial em todas as fases do processo de formulação e implementação de uma política.

Ministério do Planejamento Necessidade da informação para Planejamento e gestão Algumas finalidades – não exclusivas - das informações produzidas:  Informações para diagnóstico (ex.: IBGE)  Informações de atendimento (ex.: recortes por unidades da Federação)  Informações para controle (ex.: Executivo, Sociedade, TCU)  Informação para transparência (ex.: Lei de Acesso a Informação)

Ministério do Planejamento Fontes de Informação Indicadores Contribuem para:  Mensurar os resultados e gerir o desempenho;  Avaliar o alcance de objetivos;  Embasar a análise crítica dos resultados e do processo de tomada de decisão;  Viabilizar a análise comparativa do desempenho em áreas ou ambientes semelhantes. ATENÇÃO: Os indicadores não têm o poder de explicar a realidade. Mas, são muito úteis para revelar aspectos de uma política.

Ministério do Planejamento  Medir tudo Quem quer medir tudo acaba não medindo nada; deve-se medir o que é relevante, significativo, útil; medir custa tempo e dinheiro.  Medição absoluta Não existem medidas únicas, exatas, válidas, totalmente confiáveis, simples, sensíveis, disponíveis e econômicas, ao mesmo tempo. Uma boa prática é trabalhar com aproximações a partir de dados já existentes e calibrar medições a partir daí.  Medir por medir As medidas devem fazer sentido, não devem ser uma obrigação, mas sim ferramentas úteis à melhoria de desempenho. Se fizer sentido apenas para a área meio: não será eficiente, não será eficaz e não será efetivo.  Dependência da tecnologia Primeiro conceber a sistemática e depois o sistema; nenhum sistema consegue ser perfeito. Tecnologia tem limites, imperfeições, custos e atributos distintos. TI não é análise. Fontes de Informação Indicadores: mitos a superar

Ministério do Planejamento  Utilidade  Validade  Confiabilidade  Mensurabilidade  Sensibilidade  Desagregabilidade  Economicidade  Estabilidade  Simplicidade Fontes de Informação Indicadores: atributos

Ministério do Planejamento Fontes de Informação Indicadores: abrangência  Complexidade: indicadores simples podem ser combinados de forma a permitir uma visão ponderada e multidimensional da realidade. Podem ser: Analíticos: quando retratam dimensões sociais específicas como as taxas de promoção, repetência e evasão escolar; Sintéticos: ou índices, quando sintetizam diferentes conceitos da realidade empírica, ou seja, derivam de operações realizadas com indicadores analíticos e tendem a retratar o comportamento médio das dimensões consideradas. Diversas instituições nacionais e internacionais divulgam indicadores sintéticos.  Exemplos: IDH – Índice de Desenvolvimento Humano (Multidimensional); IDEB – Índice de Desenvolvimento da Educação Básica (Unidimensional); IQVU – Índice de Qualidade de Vida Urbana; IDH, municipal; ODM, municipal.

Ministério do Planejamento  Vantagens: Simplicidade de entendimento. Sumarizam questões complexas facilitando a mobilização e priorização de recursos. Permitam estabelecimento de ranking entre regiões, estados, países etc. Facilitam a comparação de performance.  Desvantagens: Mitificação do índice em detrimento do conceito original. Requer base conceitual e empiricamente consistentes (dimensões em geral têm dinâmicas e tratamentos próprios). Subjetividade na definição dos critérios de seleção e ponderação das dimensões envolvidas; podem assim ter a sua validade questionada. A simplificação pode induzir a decisões erradas. Ênfase demasiada no ranking (análise de elevador). Fontes de Informação Indicadores Sintéticos

Ministério do Planejamento Fontes de Informação Indicadores para Avaliação de Desempenho  Economicidade: medem os gastos envolvidos na obtenção dos insumos.  Eficiência: essa medida possui estreita relação com produtividade, ou seja, o quanto se consegue produzir com os meios disponibilizados.  Eficácia: aponta o grau em que uma intervenção atinge os objetivos planejados.  Efetividade: mede os efeitos positivos ou negativos na realidade que sofreu a intervenção.

Ministério do Planejamento Fontes de Informação Indicadores: tipologias  Insumo: médicos/mil habitantes e gasto per capita com educação.  Processo: o porcentual de recursos financeiros liberados no mês.  Produto: o porcentual de quilômetros de estrada entregues, de armazéns construídos ou de crianças vacinadas, em relação às metas estabelecidas.  Resultado: a taxa de reprovação escolar e a taxa de homicídios.  Impacto: o Índice de Gini sobre distribuição de renda e o PIB per capita.

Ministério do Planejamento Fontes de Informação Indicadores: limitações  Indicadores são representações imperfeitas: Indicadores são abstrações, representações, simplificações de uma dada realidade, portanto são suscetíveis aos vieses de quem produziu, coletou e/ou interpretou. Não se deve confiar absolutamente nas medidas; periodicamente devem ser realizadas avaliações críticas acerca da pertinência dos indicadores selecionados. Indicadores são escolhidos por pessoas. Pessoas têm interesses. Indicadores apenas apontam, assinalam, indicam como o próprio nome revela. É comum que o foco das ações seja deslocado da realidade com que se deseja trabalhar para o indicador escolhido para representá-la. => indução e repetição de erro.

Ministério do Planejamento Fontes de Informação Indicadores : limitações  Indicadores sintético versus Sistema de Indicadores: Quando os conceitos são complexos não se pode reduzir a administração de uma política ou programa à simples apreciação de um indicador sintético. O IDH, por exemplo, resultado da ponderação de três temas distintos (economia, saúde e educação), busca melhor representar o nível de desenvolvimento socioeconômico de um país; porém, a sua composição mistura um conceito mais sensível às variações conjunturais e de prazo mais curto (PIB per capita) com conceitos estruturais menos sensíveis e de prazo mais longo de evolução (saúde e educação). Assim, uma variação anual positiva do IDH decorrente do aumento do PIB per capita pode, por exemplo, camuflar uma estagnação ou até um retrocesso nas outras dimensões estruturais do índice (saúde e educação).

MÓDULOS COMPONENTES DO MONITORAMENT O ESTRATÉGICO DE POLÍTICAS PÚBLICAS 1. Momento Explicativo: Árvore de problemas 3. Momento Estratégico: Fatores Críticos de Contexto 6. Módulo: Matriz de Dados e Indicadores 8. Módulo: Instrumentos e tecnologias de M&A: georreferenciamento, soluções de T.I.C.’s, sistemas e aplicativos telemáticos. 10. Módulo: Mapa de problemas, lacunas e indefinições dos programas 4. Momento Tático- Operacional: CAPACIDADES + PROCESSOS = ENTREGAS 9. Módulo: Análise de consistência global do modelo 7. Módulo: Cenários e Estudos Prospectivos 5. Módulo: Arenas, Atores e Processos Decisórios 2. Momento Normativo: Estruturação de programas e ações

CAPACIDADES ORGANIZACIONAIS RECURSOS TANGÍVEIS: ESTRUTURA FÍSICA E FINANCEIRA, TIPO E PERFIL DA BUROCRACIA, MARCO LEGAL E REGULATÓRIO, ETC RECURSOS INTANGÍVEIS: ARENAS E ARRANJOS INSTITUCIONAIS, RECURSOS DE PODER ECONÔMICO, SOCIAL, POLÍTICO, JURÍDICO, CULTURAL, INFORMACIONAL, COMUNICACIONAL, ETC. AVALIAÇÃO DE FORMULAÇÃO E DESENHO PROCESSOS INSTITUCIONAIS RELAÇÕES ENTRE PODERES; RELAÇÕES FEDERATIVAS; RELAÇÕES INTRA- EXECUTIVO; PESO E PAPEL DA BUROCRACIA; DIMENSÕES ESPECÍFICAS DO CIRCUITO PLANEJAMENTO, GESTÃO, CONTROLE, PARTICIPAÇÃO; ESTRUTURA DE FINANCIAMENTO E GASTOS; ARRANJOS E INTERFACES ESTADO –SOCIEDADE; TRANSVERSALIDADES E TERRITORIALIDADE; FLUXOGRAMAS ESPECÍFICOS DAS POLÍTICAS, PROGRAMAS, INICIATIVAS E AÇÕES DE GOVERNO. MONITORAMENTO E AVALIAÇÃO DE IMPLEMENTAÇÃO E GESTÃO ENTREGA DE BENS E SERVIÇOS PÚBLICOS INTERFACES INTRA E INTER POLÍTICAS, INDICADORES, FONTES, PERIODICIDADES; ALIMENTAÇÃO, ESPECIFICIDADES E RESTRIÇÕES METODOLÓGICAS; RELATÓRIOS PERIÓDICOS; VISITAS INTERMITENTES; PUBLICIZAÇÃO E COMUNICAÇÃO PERMANENTES; METAS. MONITORAMENTO E AVALIAÇÃO DE EFICIÊNCIA RESULTADOS INTERMEDIÁRIOS E FINAIS MUDANÇAS NAS CAUSAS CRÍTICAS E MUDANÇAS NO PROBLEMA. MONITORAMENTO E AVALIAÇÃO EX POST DE RESULTADOS INTERMEDIÁRIOS E FINAIS = DIMENSÃO DA EFICÁCIA IMPACTOS DIRETOS E INDIRETOS MUDANÇAS NAS CONSEQUENCIAS DO PROBLEMA MONITORAMENTO E AVALIAÇÃO EX POST DE IMPACTOS DIRETOS E INDIRETOS = DIMENSÃO DA EFETIVIDADE

ELEMENTOS CONSTITUTIVOS 1. Concebido como desdobramento do Modelo Lógico, visa contemplar a dimensão da implementação/execução e da gestão das políticas públicas. Desta forma, busca- se construir um modelo ou instrumento sistemático, regular, de Acompanhamento e Monitoramento, Análise e Avaliação do desempenho institucional do setor público brasileiro. 2. Espera-se que, por meio de sua aplicação e uso regulares (vale dizer: uso contínuo, cumulativo e coletivo para agregação de valor), possam se desenvolver: a. Conhecimento denso, aprofundado, da realidade, bem como da operação/implementação/gestão cotidianas das políticas públicas, segundo os atributos e formas de mensuração do desempenho. b. Informações padronizadas e indicadores úteis ao gerenciamento cotidiana das ações de governo; Monitoramento Estratégico de Políticas Públicas

3. Características Adicionais: a. O modelo permite abordagem sobre níveis diversos da realidade: nível macro da ação global do Estado; nível meso das políticas públicas e programas governamentais específicos; nível micro das organizações e instituições particulares. a. Tanto melhor e mais efetivo, quanto mais em diálogo e pactuação interinstitucional com atores relevantes o modelo se estruturar e se fizer implementar. a. O uso contínuo, cumulativo e coletivo do modelo deverá gerar (e por meio disso ser validado e legitimado) os seguintes instrumentos específicos: i. Relatórios Periódicos e Tempestivos de Monitoramento Estratégico. ii. Visitas Intermitentes e Checagens de Campo: “obs. participante”. iii. Publicização e Comunicação Permanentes, visando: pactuação do modelo; articulação interinstitucional e coordenação em rede para efetivação, monitoramento e avaliação das políticas públicas brasileiras. Monitoramento Estratégico de Políticas Públicas

Especificidades do Modelo 4. O modelo é composto por módulos inter(in)dependentes, de modo que: a. Cada módulo possui especificidades (determinantes e estratégias) próprias / individualizadas para sua montagem; b. O modelo completo prevê a montagem de 10 módulos, em ordem idealmente (mas não necessariamente!) progressiva e cumulativa de dificuldade, complexidade e sofisticação (inclusive internamente a cada módulo!); c. Para tornar-se operacional, o modelo busca simplificar conceitos e métodos de aplicação – vide figura-resumo; d. Os 4 primeiros módulos correspondem aos 4 Momentos da dinâmica de Planejamento Estratégico Situacional, cf. C.Matus, e tal qual refletido e operacionalizado por meio do Modelo Lógico Ipea, cf. M.Cassiolato & S.Gueresi:

Especificidades do Modelo 4. O modelo é composto por módulos inter(in)dependentes, de modo que: 1. Momento Explicativo: teoria do problema por meio da construção da árvore de problemas – relação das causas críticas e consequências do problema principal: contextualização e caracterização do problema. 2. Momento Normativo: teoria do programa por meio da estruturação de programas (plano como aposta) – identificação dos recursos  especificação das operações e ações  localização das entregas de bens e serviços aos distintos públicos-alvo dos programas. 3. Momento Estratégico: identificação de riscos e oportunidades à implementação e ao desempenho institucional dos programas por meio da construção da árvore de fatores críticos de contexto. 4. Momento Tático-Operacional: processamento técnico-político da capacidade de governo propriamente dita, por meio da melhor combinação possível entre capacidades  processos (arranjos institucionais e estratégias de execução)  entregas de bens e serviços  resultados (intermediários e finais)  impactos (diretos e indiretos).

Especificidades do Modelo e. Os 6 módulos seguintes são inter(in)dependentes aos módulos/momentos principais, e podem ser compostos como parte do processo de monitoramento do desempenho institucional:.Módulo-5: Identificação e Análise de Arenas, Atores e Processos Decisórios – vide figura-detalhada adiante;.Módulo-6: Matriz de Dados (fontes, características metodológicas) e Indicadores quanti-quali (de capacidades, processos, entregas, resultados e impactos) – vide figura-detalhada adiante;.Módulo-7: Cenários e Estudos Prospectivos – ver Manual Ilpes;.Módulo-8: Identificação e Incorporação de Instrumentos e Tecnologias de Monitoramento & Avaliação (georreferenciamento, soluções de T.I.C.’s, sistemas e aplicativos telemáticos, etc...) – vide detalhamento adiante;.Módulo-9: Análise Periódica de Consistência e/ou Vulnerabilidade Técnico-Política do Modelo;.Módulo-10: Montagem de Modelo-Espelho do modelo principal, evidenciando lacunas, problemas, indefinições e também possibilidades e necessidades do programa

1. CAPACIDADES ORGANIZACIONAIS E INSTITUCIONAIS: 1.1 – Recursos Tangíveis: a) Estrutura física e financeira do objeto sob M&A; b) Tipo e perfil da estrutura de pessoal (RH) envolvido; c) Marco legal e regulatório; d) Outras categorias de relevância a incluir – Recursos Intangíveis: a) Arena e Arranjo institucional da política, programa ou ação sob M&A; b) Tipo e perfil dos recursos econômicos, sociais, políticos, jurídicos, culturais, informacionais, comunicacionais, simbólicos envolvidos; c) Outras categorias de relevância a incluir... Monitoramento Estratégico de Políticas Públicas

2. PROCESSOS ORGANIZACIONAIS E INSTITUCIONAIS: a) fluxogramas específicos das políticas, programas, iniciativas e ações de governo sob M&A; b) relações entre poderes: ver proposta Lassance & Acir para tipo e grau de priorização presidencial, tipo e grau de judicialização das políticas; montantes e perfis das emendas parlamentares; c) relações federativas: ver propostas Leandro & Márcio; Ari & Costantino; Paulo de Tarso & GT-ipea; SAF...; d) relações intra-executivo: hierarquia, disciplina, missão; tipo e grau de cooperação e/ou conflito intersetorial; e) peso e papel da burocracia: ver SEGEP e SRT; f) dimensões específicas do circuito planejamento, gestão, controle, participação em cada caso: tipo e peso dos diversos instrumentos de articulação intersetorial e interfederativa; g) estrutura de financiamento e gastos: grau de progressividade ou regressividade da arrecadação X grau de redistributividade do gasto; h) arranjos e interfaces Estado –Sociedade: ver proposta Roberto Pires & Cia, ver pesquisas Diest sobre conselhos, conferências, audiências, ouvidorias, tipo e peso dos diferentes instrumentos de relacionamento Estado-Sociedade; i) transversalidades e territorialidades: ver proposta Leopoldo para Fórum interconselhos; j) Outras categorias de relevância a incluir... Monitoramento Estratégico de Políticas Públicas

3. ENTREGAS DE BENS E SERVIÇOS À POPULAÇÃO: a) Interfaces intra e inter políticas; a) indicadores, fontes e periodicidades; a) alimentação, especificidades e restrições metodológicas; a) relatórios periódicos; a) visitas intermitentes; a) Plano de Comunicação: publicização e comunicação permanentes com atores diretos, parceiros e sociedade em geral... Monitoramento Estratégico de Políticas Públicas

PROBLEMAS E QUESTÕES (de interesse público?!) ARENA DECISÓRIA ATORES E GRUPOS DE PRESSÃO E LOBBIES VISÍVEIS E INVISÍVEIS RECUSOS DE PODER INTERESSES BEM INSTITUCIONALIZADOS POUCO INSTITUCIONALIZADOS PROCESSOS E CIRCUITOS DECISÓRIOS AMBIENTE PRENHE DE COMPLEXIDADES (heterogeneidades e desigualdades), RISCOS E INCERTEZAS ECONÔMICOS, POLÍTICOS, SOCIAIS, CULTURAIS, JURÍDICOS, SIMBÓLICOS, COMUNICACIONAIS, ETC. ABERTOS ESTRUTURADOS OBSCUROS, IMPRECISOS CIRCUITOS FORMAIS CIRCUITOS INFORMAIS, “ANÉIS BUROCRÁTICOS”

Muito Obrigado! 61 –