A experiência recente da SAGI/MDS na estruturação do monitoramento de programas Departamento de Monitoramento da Secretaria de Avaliação e Gestão da Informação (DM/SAGI/MDS) Salvador, 11 de outubro de 2011. 1

Sumário Monitoramento Modelo lógico Indicadores Alimentação dos indicadores Painel de monitoramento O caso do BPC Bibliografia

Monitoramento Latu sensu, todas as atividades que realizam algum tipo de acompanhamento dentro da administração pública acabam sendo identificadas como monitoramento: Controle e auditoria: apura malversação de recursos públicos, ou seja, se recursos financeiros, humanos ou de infra-estruturação foram geridos de forma contrária às normas que regulam seu uso. Acompanhamento físico-financeiro: verifica a situação da execução daquilo que foi planejado e inserido na peça orçamentária que disciplina os gastos e/ou investimentos de programas, ações e projetos públicos. Pesquisas avaliativas: realizadas para a compreensão dos motivos pelos quais determinada ação pública tomou tal ou qual configuração, se esse arranjo favorece a obtenção de resultados e se os resultados pretendidos foram realmente alcançados.

Monitoramento A princípio, a estruturação do monitoramento de programas pode ter por base conceitual e informacional cada uma das três atividades descritas anteriormente. A forma do monitoramento deve ser determinada: Pelo escopo que se pretende dar ao monitoramento – o que, por sua vez, dependerá do momento no qual se encontra a ação; E das necessidades de seus gestores. Apesar disso, duas preocupações são comuns a todas essas abordagens: A necessidade da utilização de indicadores para a realização do monitoramento de programas; Que esse processo tenha por objetivo subsidiar a gestão dos programas com informações tempestivas para a tomada de decisão.

Monitoramento Conceitos: Avaliação: subsidia os gestores com informações mais aprofundadas e detalhadas sobre o funcionamento e os efeitos do programa, levantadas nas pesquisas de avaliação; Monitoramento: tem o propósito de subsidiar os gestores com informações mais simples e tempestivas sobre a operação e os efeitos do programa, resumidas em painéis ou sistemas de indicadores de monitoramento (Jannuzzi, 2009, p. 124).

Monitoramento Desafios do monitoramento: Conjunto de indicadores equilibrado, que reflita todos os pontos estratégicos momento que está a ação; Regularidade; Indicadores sejam calculados com uma periodicidade que permita aos gestores reagir ainda dentro de um ciclo de execução do programa; As informações geradas pelos indicadores de monitoramento sejam apresentadas em formato de fácil consumo pelos gestores dos programas; Escopo: superados os momentos mais problemáticos da implantação de qualquer intervenção pública, começa a ser mais apropriado a introdução de uma abordagem de resultados na estruturação do monitoramento dos programas.

Estruturação do monitoramento Explicitação (esquemática) do desenho do programa: por meio do modelo lógico; Identificação e/ou construção de indicadores (principalmente de eficácia e efetividade); Alimentação dos indicadores; Análise dos indicadores; Relatório periódico de monitoramento; (Re)ação da gestão.

Conceito de modelo lógico O modelo lógico é uma representação gráfica de um projeto, programa, serviço ou política, que retrata: as relações entre os componentes necessários a sua implementação e os efeitos esperados sobre a população.

Componentes básicos do modelo lógico Diagnóstico e Planejamento Insumos (Inputs)‏ Atividades (Activities)‏ Produtos (Outputs)‏ Resultados (Outcomes)‏ Impactos (Impacts)‏ Dados para Desenvolvimento do Programa Dados do Programa Dados populacionais Fonte: Manual da oficina de capacitação em avaliação com foco na melhoria do programa. PN DST-Aids, abril de 2005.

Componentes da implementação Divisão em três: Insumos: são os recursos financeiros, humanos e/ou materiais necessários ao desenvolvimento das atividades; Atividades: são as variadas tarefas e processos desenvolvidos visando o benefício da população-alvo; Produtos: são os serviços e bens gerados pela realização das atividades. Esses componentes são os efeitos mais imediatos do programa, obtidos pela combinação de insumos no desenvolvimento das atividades.

Efeitos da ação Divisão em dois (pelo menos): Resultados: são as mudanças diretas alcançadas pelos beneficiários através da participação no programa. Esse componente reflete os efeitos esperados do programa sobre o público-alvo; Impactos: são as contribuições do programa para determinadas mudanças sociais. Esse componente indica os efeitos indiretos do programa sobre a sociedade, ocasionados pelos efeitos somativos de várias políticas públicas sobre a população.

Diferença do marco lógico Em virtude do formato matricial, da similaridade semântica e da base conceitual comum, é frequente a confusão do “modelo lógico” com o “marco lógico”. Marco lógico: única matriz com componentes-chave do programa e instrumentos de mensuração (indicadores, fontes de coleta e suposições consideradas). Modelo lógico: preocupação exclusiva com a discussão e explicitação do que se costuma chamar de teoria do programa.

Características do modelo lógico Recurso analítico: não é um retrato preciso da realidade (que não é nem tão simples nem tão linear); Simplicidade: imagem sucinta da teoria do programa Apresenta de forma esquemática a transformação social que os gestores públicos pretendem atingir e o caminho que precisa ser trilhado; Ferramenta dinâmica: passível de alterações ao longo da vida do programa.

Elaboração do modelo lógico Estudo de documentos do programa; Realização de oficina com pessoas-chave para construção do primeiro esboço do modelo: Construção do modelo de trás para frente; Processo: vários esboços e reuniões; Fomento de debate e acordos entre os gestores; Validação do modelo pelos gestores.

Informações Necessidade: tempestivas, simples e em quantidade adequada. Realidade: impossível conhecer todos os detalhes dos vários processos envolvidos na implementação de uma ação pública. Recurso: indicadores

Especificação de indicadores Formas de organização: “Mais de uma dezena de formas e critérios de classificação de indicadores” (Brasil, 2010, p. 27). Desafio para a estruturação do monitoramento: especificar o conjunto de indicadores que será acompanhado. as que destrincham a teoria do programa e; as que oferecerem os principais tipos de medidas de desempenho.

Especificação de indicadores A explicitação da teoria de funcionamento do programa por meio do modelo lógico auxilia na identificação dos pontos estratégicos do programa, permitindo a especificação de um conjunto de indicadores equilibrado.

Conceito de indicadores “(...) medidas, de ordem quantitativa ou qualitativa, dotada de significado particular e utilizada para organizar e captar as informações relevantes dos elementos que compõem o objeto da observação. É um recurso metodológico que informa empiricamente sobre a evolução do aspecto observado” (Brasil, 2010, p. 21).

Utilização dos indicadores No processo de monitoramento, os indicadores podem ser utilizados para: Acompanhamento do cumprimento de metas; Análise global do desempenho da ação (eficácia e efetividade). Subsídio para o planejamento das visitas de campo

Tipos de indicadores

Formatos estatísticos dos indicadores números absolutos; médias; proporções; razões; taxas; índices.

Identificação/construção de indicadores Oficina: especificação do conjunto de indicadores em conjunto com a equipe do programa. Consumidores das informações no dia-a-dia: precisam entender o significado das medidas; Conhecedores dos detalhes dos programas: qualificam as medidas.

Identificação/construção de indicadores Apresentação do que sejam e a função dos indicadores; Escolha dos elementos do modelo lógico que serão monitorados; Mapeamento de indicadores já existentes; Adaptação de indicadores já existentes aos componentes do modelo lógico; Construção de indicadores para os componentes que precisam ser monitorados e não possuem medidas especificas; Validação dos indicadores entre os diretores do Departamento de Monitoramento e da área fim

Identificação/construção de indicadores Planilha de indicadores: Componente do modelo lógico; Interpretação; Método de cálculo; Fontes de informação; Periodicidade.

Identificação/construção de indicadores Plano de implementação: Indicadores com possibilidade de cálculo imediato; Indicadores com necessidade de desenvolvimento ou aprimoramento de seus procedimentos de alimentação (instrumentos de coleta, procedimentos de preenchimento, fluxo da informação etc.).

Alimentação dos indicadores Indicadores de impacto: tem como principais fontes de alimentação os grandes sistemas nacionais de informação, como os da Saúde, da Educação e do Trabalho, além é claro das estatísticas nacionais fornecidas pelo IBGE; Indicadores de resultados: tem como principais fontes de informação pesquisas sociais, pois precisam necessariamente chegar até os beneficiários para conhecer as transformações ocorridas em suas vidas; Indicadores de produto: tem como principais fontes de alimentação dados operacionais dos programas.

Alimentação dos indicadores Verificação de todas bases de dados dos programas; Adaptação de rotinas/sistemas existentes: Reformulação de instrumentos de coleta existentes; Implantação dos instrumentos reformulados nos sistemas de informação; Solicitação de inclusão de variáveis na base de dados de referência para os indicadores de monitoramento. Desenvolvimento de novas rotinas/sistemas: Construção de instrumento de coleta: questões devem ser incluídas no instrumento tão somente para abastecer as variáveis dos indicadores já especificados para o monitoramento – esperando-se com isso gerar um instrumento de simples preenchimento; Pré-teste do instrumento; Ajuste do instrumento; Construção de manual de preenchimento; Consolidação de proposta de sistema de informação: pela atual dinâmica de trabalho SAGI, o departamento responsável pelo desenvolvimento do sistema só recebe a demanda se ela for feita por meio de um projeto, que contemple pelos seguintes pontos: o instrumento de coleta; o manual de preenchimento; o dicionário de variáveis; a definição dos perfis de acesso e preenchimento.; Capacitação dos parceiros locais para o preenchimento.

O caso do BPC Explicitação da teoria do programa (modelo lógico): 3 reuniões com a equipe do BPC (e mais 1 reunião entre diretores para validação); Especificação do conjunto de indicadores de monitoramento (relacionados aos componentes do ML): 7 reuniões com a equipe do BPC (e mais 1 reunião entre diretores para validação); 3 indicadores de impacto e 8 de resultado (efetividade); e 11 indicadores de produto (eficácia). 5 indicadores com possibilidade de cálculo imediato. Apresentação do 1º relatório de monitoramento: abril de 2011 Retorno da área-fim em 45 dias (ciclos completos de três meses).

Componentes do modelo lógico Indicadores Interpretação Método de cálculo Fontes de informação Periodicidade Impactos ↑ da expectativa de vida da população Tempo médio de vida do beneficiário do BPC Expressa a contribuição do BPC na ampliação do tempo de vida de seus beneficiários. Além do acompanhamento da evolução temporal dessa medida, é também pertinente na análise comparar o tempo médio de vida do público-alvo do BPC (beneficiários x não beneficiários) com tempo médio de vida da população geral.   SIGBPC () Anual Resultados Garantia de renda a idosos e pessoas com deficiência Número de beneficiários do BPC Expressa a quantidade total de pessoas idosas e com deficiência beneficiadas pelo BPC. Número total de pessoas idosas e com deficiência com benefícios mantidos Mensal Participação do valor do benefício na renda familiar Mede o grau de contribuição do benefício na renda familiar - considerando a importância do benefício para o provimento das necessidades básicas da pessoa idosa e com deficiência e de suas famílias (espaço fundamental de convivência do beneficiário). Valor do benefício / renda da família após recebimento do benefício SIGBC ()  Produtos Benefícios concedidos ao idoso e à pessoa com deficiência Tempo médio para concessão do benefício Expressa o tempo que, em média, foi necessário para a concessão do beneficío, entre o requerimento pelo beneficiário e o início do pagamento pelo INSS. Proxy para aferir a capacidade operacional das APS no processamento dos requerimentos. Somatório da diferença entre a data do início do pagamento e a data do requerimento (em dias) / número total de benefícios concedidos num mês específico Benefícios reavaliados Percentual de benefícios não reavaliados há mais de dois anos Mede o desempenho do BPC na reavaliação periódica da situação socioeconômica e física de seus beneficiários ("dois anos" para a reavaliação é o tempo determinado nas normas do programa). Número total benefícios não reavalidados há mais de dois anos / número total de benefícios mantidos há mais de 2 anos x 100 Trimestral Beneficiários acompanhados Percentual de inclusão dos beneficiários do BPC no CadÚnico Mede o grau de cobertura pelo CadÚnico dos beneficiários do BPC. Considerando a importância atual do CadÚnico na articulação e integração de diferentes ações sociais, essa medida é também uma proxypara aferir o acompanhamento dos beneficiários do BPC por outras ações sociais, principalmente as da Assistência Social, e o potencial de ampliação da cobertura do CadÚnico. Número total de beneficiários do BPC inscritos no CadÚnico / número total de beneficiários do BPC x 100 CadÚnico e SIGBPC ()

Painel de monitoramento Encontra-se em processo de desenvolvimento concomitante ao relatório http://aplicacoes.mds.gov.br/sagi/PainelBPC/# Aplicativo que possibilitará a visualização constante e atualizada de cada indicador do BPC de diferentes maneiras – em tabelas, gráficos e/ou mapas.

Painel de monitoramento

Bibliografia BRASIL. Ministério da Saúde. Programa Nacional de DST e AIDS. (2005), Manual da oficina de capacitação em avaliação com foco na melhoria do programa. Brasília. Disponível em: http://www.aids.gov.br/data/Pages/LUMISCEEB81DCPTBRIE.htm. BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimento Estratégico - SPI. (2010), Indicadores de Programa: Guia Metodológico. Brasília. Disponível em: http://www.planejamento.gov.br/secretarias/upload/Arquivos/spi/publicacoes/100324_indicadores_programas-guia_metodologico.pdf JANNUZZI, Paulo et al. (2009), Estruturação de sistemas de monitoramento e especificação de pesquisas de avaliação, os problemas dos programas públicos no Brasil são. In: ENAP. Avaliação de Programas Sociais. Brasília, Enap - EIAPP. POISTER, Theodore. (2003), Measuring Performance. In: Public and Non Profit Organizations. San Francisco: Jossey-Bass Publishers. VALARELLI, Leandro. (2005), A gestão de projetos e a construção e o uso de indicadores. Mimeo. Rio de Janeiro. W.K. Kellogg Foundation. (2004), Logic Model Development Guide. Michigan. Disponível em: http://www.wkkf.org/Pubs/Tools/Evaluation/Pub3669.pdf.

Contato Lauro Stocco: lauro.stocco@mds.gov.br