Estratégia de Uso de Indicadores MINISTÉRIO DO PLANEJAMENTO Estratégia de Uso de Indicadores Medir resultados para atestar o alcance de objetivos Carlos Tadeu A. de Pinho Brasília, Outubro de 2009

Apresentação Ao estabelecer, a partir do PPA 2000-2003, que toda ação destinada a proporcionar bem ou serviço para atendimento a demandas da sociedade fosse estruturada em Programas, o Governo Federal determinou também que fossem previstos indicadores destinados a quantificar a realidade que se pretendia modificar, considerando a premissa que medir resultados é essencial para atestar a conquista de objetivos.

Indicadores no PPA Nos últimos 4 anos, em média mais de 30% dos indicadores do PPA não foram apurados. Fonte: SIGPLAN – Módulo de Avaliação

Indicadores no PPA Construção de indicadores feita de forma intuitiva, pouca ênfase na teoria como norteadora da prática. Causas prováveis: Falta compreensão do significado e alcance dos indicadores no ciclo de gestão das políticas públicas. Inexistência de uma orientação estratégica orientada à construção e utilização de indicadores.

Objetivo Geral Definir uma estratégia de utilização de indicadores orientada à avaliação de resultados dos programas do PPA.

Conteúdo Marco Conceitual Guia Metodológico Guia de Referência

Visa também, mas não se restringe, a: Marco Conceitual Tem por objetivo estabelecer um paradigma conceitual para a Administração Federal acerca de Indicadores, constituindo a fundamentação teórica necessária à utilização de medidas de desempenho. Visa também, mas não se restringe, a: uniformizar conceitos, classificações e nomenclaturas; possibilitar o entendimento da literatura existente; incorporar experiências nacionais e internacionais.

Conteúdo Apresentação Conceitos Histórico Funções Básicas Tipologia: Propriedades Taxonomias Limitações Anexos

Propriedades Validade: capacidade de representar, com a maior proximidade possível, a realidade que se deseja medir e modificar. Um indicador deve ser significante ao que está sendo medido e manter essa significância ao longo do tempo. Confiabilidade: indicadores devem ter origem em fontes confiáveis, que utilizem metodologias reconhecidas e transparentes de coleta, processamento e divulgação. Simplicidade: indicadores devem ser de fácil obtenção, construção, manutenção, comunicação, entendimento e reconhecimento pelo público em geral, interno ou externo.

Propriedades Sensibilidade: é a capacidade que um indicador possui de refletir tempestivamente as mudanças decorrentes das intervenções realizadas. Desagregabilidade: capacidade de representação regionalizada de grupos sociodemográficos, considerando que a dimensão territorial se apresenta como um componente essencial na implementação de políticas públicas. Economicidade: capacidade do indicador de ser obtido a custos módicos; a relação entre os custos de obtenção e os benefícios advindos deve ser bastante favorável.

Propriedades Estabilidade: capacidade de estabelecimento de séries históricas, que permitam monitoramentos e comparações. Mensurabilidade: é a capacidade de alcance e mensuração quando necessário, na sua versão mais atual, com maior precisão possível e sem ambiguidade. Auditabilidade: qualquer pessoa deve sentir-se apta a verificar a boa aplicação das regras de uso dos indicadores (obtenção, tratamento, formatação, difusão, interpretação).

Indicadores de Gestão do Fluxo de Implementação de Programas Insumo: são indicadores ex-ante facto que têm relação direta com os recursos a serem alocados, ou seja, com a disponibilidade dos recursos humanos, materiais, financeiros e outros a serem utilizados pelas ações de governo. Pode-se citar como exemplos médicos/mil habitantes e gasto per capita com educação. Processo: são medidas in curso ou intermediárias que traduzem o esforço empreendido na obtenção dos resultados, ou seja, medem o nível de utilização dos insumos alocados, por exemplo o percentual de recursos financeiros liberados no mês. Produto: medem o alcance das metas físicas. São medidas ex-post facto que expressam o quanto foi entregue de produtos ou serviços em relação às metas, que deverão resultar em mudanças no público-alvo e na sociedade. São exemplos o percentual de quilômetros de estrada entregues, de armazéns construídos ou de crianças vacinadas, em relação às metas físicas estabelecidas. Resultado: são medidas expressam os efeitos ou benefícios do Programa no público-alvo e têm particular importância no contexto de gestão pública orientada a resultados. São exemplos a taxa de reprovação escolar e a taxa de homicídios. Impacto: possuem natureza mais abrangente e multidimensional, têm relação com a sociedade como um todo e medem os efeitos das estratégias governamentais de médio e longo prazos. Na maioria dos casos estão associados aos objetivos setoriais e de governo. São exemplos o Índice Gini de distribuição de renda e o PIB per capita.

Indicadores de Avaliação de Desempenho Economicidade: medem os gastos envolvidos na obtenção dos insumos necessários às ações que produzirão dos resultados planejados. Visa minimizar custos sem comprometer os padrões de qualidade estabelecidos e requer a implementação de um sistema que estabeleça referenciais de comparação e negociação. Eficiência: essa medida possui estreita relação com produtividade, ou seja, o quanto se consegue produzir com os meios disponibilizados. Assim, a partir de um padrão ou referencial, a eficiência de um processo será tanto maior quanto mais produtos forem entregues com a mesma quantidade de insumos. Eficácia: aponta o grau em que um programa atinge os objetivos planejados, ou seja, uma vez estabelecido o referencial (linha de base) e as metas a serem alcançadas, utiliza-se indicadores de resultado para avaliar se estas foram atingidas ou superadas. Efetividade: mede os efeitos positivos ou negativos na realidade que sofreu a intervenção, ou seja, aponta se, de fato, houve mudanças socioeconômicas, ambientais ou institucionais decorrentes dos impactos obtidos pela política, plano ou programa.

Indicadores no Fluxo de Implementação de Programas

Limitações Indicadores são representações imperfeitas São abstrações, representações, simplificações de uma dada realidade, portanto são suscetíveis aos vieses de quem produziu, coletou e/ou interpretou. O indicador e a dimensão de interesse não se confundem Há casos em que o foco das ações é deslocado da dimensão que se deseja trabalhar para o indicador escolhido para representá-lo. Indicador sintético versus Sistema de Indicadores cuidado na escolha de indicadores sintéticos, em geral apontam áreas de ação prioritárias mas não expressam problemas específicos.

Guia Metodológico Tem por objetivo estabelecer uma metodologia para a construção ou seleção de indicadores para os programas do Plano Plurianual do Governo Federal, com foco na aferição de resultados.

Conteúdo Apresentação: por que indicadores e condicionantes Marco Conceitual Sistema Estatístico Nacional: objetivos, abrangência, componentes, produtos Indicadores no PPA: Dimensões Estratégicas, Papéis e responsabilidades Método de Construção Simulação de Uso Anexos Fontes, Publicações e Tecnologias Perguntas mais frequentes Guia de Referência

Sistema Estatístico Nacional De acordo com o artigo 1o da lei 6183, tem como objetivo possibilitar o conhecimento da realidade física, econômica e social do País, visando especialmente ao planejamento econômico e social e à segurança nacional. Abrange as atividades nas áreas de estatísticas primárias (contínuas e censitárias); as estatísticas derivadas (indicadores econômicos e sociais, sistemas de contabilidade social e outros sistemas de estatísticas derivadas); e a sistematização de dados sobre meio ambiente e recursos naturais. Instituições Componentes Fonte: Anipes/Fundação SEADE Fonte: Anipes/Fundação SEADE

Papéis e Responsabilidades Fonte: Portaria 140, de 10/06/2009, do Ministério do Planejamento

Método de Construção 1. Avaliar objetivos e metas Entender bem objetivos e metas é essencial para a escolha de indicadores válidos. A medição dos resultados irá apontar o grau de alcance dos objetivos e de sucesso do programa. 2. Identificar os principais interessados Faz-se necessário determinar quem são os principais interessados, pois diferentes envolvidos possuem diferentes necessidades de informação. 3. Definir tipos de indicadores necessários. Indicador de resultado final: ou indicador-chave, mede o resultado final no seu aspecto mais relevante. Indicador complementar de resultado: às vezes um objetivo de programa possui tal grau de abrangência que demanda outros indicadores. Indicador específico: serve para expressar necessidades dos interessados ou especificidades do conceito a ser medido (transversalidades, impactos). 4. Definir critérios de seleção Eliminatórios: são os critérios que devem ser obrigatoriamente atendidos, do contrário a medida deverá ser descartada. Classificatórios: servirão para estabelecer um ranking dos indicadores, possibilitando escolhas mais seguras. 5. Mapear indicadores candidatos Caso não seja possível selecionar no SEN, os indicadores deverão ser construídos no contexto do programa. 6. Realizar análise de trade-off Permite analisar vantagens e desvantagens das alternativas. 7. Validar os indicadores selecionados Trata-se de uma verificação final de conformidade e pertinência, utilizando-se para isso de um check list. 8. Cadastrar os indicadores Os atributos descritivos dos indicadores escolhidos devem ser cadastrados no sistema.

Critérios de Seleção

Matriz de Priorização

Check List de Verificação Final Os indicadores escolhidos são válidos para expressar os resultados esperados? Tem relação direta com os objetivos do programa? Consideram a dimensão territorial desejada? São em quantidade suficiente para expressar todas as dimensões envolvidas? Atendem ao critério de completude dos atributos exigidos para o seu cadastramento no sistema? Expressam questões transversais, quando existirem? São oriundos de fontes confiáveis? Quando utilizados por outros programas sofrem influência destes? As limitações inerentes aos indicadores foram consideras? Deve haver redefinição de objetivos ou revisão da teoria do programa?

Anexos - Fontes

Anexos - Publicações

Anexos - Publicações

Anexos - Publicações

Guia de Referência

Próximos Passos Validação da metodologia proposta. Avaliação conjunta dos indicadores dos programas do PPA Definição e implementação de uma estratégia de divulgação: Publicação Cursos Oficinas de Indicadores

Contatos avaliacaoppa@planejamento.gov.br