Monitoramento dos Programas Sociais – parte 4

Apresentação em tema: "Monitoramento dos Programas Sociais – parte 4"— Transcrição da apresentação:

1 Monitoramento dos Programas Sociais – parte 4
Dionara B Andreani Barbosa Rio de Janeiro

2 Exercício

3 Exercício

4 Tipos Dicas: Se o planejamento/desenho da ação contar com um recurso (financeiro, material ou humano) que já existe na instituição: insumo; Bem ou serviço entregue, finalizado: produto; Tempos verbais: acordo Infinitivo: atividades; Pretérito: produtos. População-alvo: resultados, pois restringe o efeito sobre os beneficiários da ação.

5 Exercício

6 Exercício

7 Tipos Existem vários formatos de modelo lógico: depende do momento no qual se encontra a intervenção pública e das necessidades dos gestores: Formulação: problemas / hipóteses; Implementação: atividades / produtos; Efeitos esperados: público-alvo / população em geral.

8 Características do modelo lógico
Recurso analítico: não é um retrato preciso da realidade (que não é nem tão simples nem tão linear); Simplicidade: imagem sucinta da teoria do programa Apresenta de forma esquemática a transformação social que os gestores públicos pretendem atingir e o caminho que precisa ser trilhado; Ferramenta dinâmica: passível de alterações ao longo da vida do programa.

9 Elaboração do modelo lógico
Estudo de documentos do programa; Realização de oficina com pessoas-chave para construção do primeiro esboço do modelo: Construção do modelo de trás para frente; Processo: vários esboços e reuniões; Fomento de debate e acordos entre os gestores; Validação do modelo pelos gestores: Esse modelo descreve logicamente o funcionamento do programa e os efeitos esperados? O que precisa mudar?

10 Diferença do “marco” lógico
Em virtude do formato matricial, da similaridade semântica e da base conceitual comum, é frequente a confusão do “modelo lógico” com o “marco lógico”. Marco lógico: única matriz com componentes-chave do programa e instrumentos de mensuração (indicadores, fontes de coleta e suposições consideradas). Modelo lógico: preocupação exclusiva com a discussão e explicitação do que se costuma chamar de teoria do programa.

11 Marco lógico

12 Informações Necessidade: tempestivas, simples e em quantidade adequada. Realidade: impossível conhecer todos os detalhes dos vários processos envolvidos na implementação de uma ação pública. Recurso: indicadores

13 Desafio para a estruturação do monitoramento dos programas
Especificar o conjunto de indicadores para o monitoramento dos programas sociais que será acompanhado. as que destrincham a teoria do programa e; as que oferecerem os principais tipos de medidas de desempenho.

14 Especificação de indicadores
A explicitação da teoria de funcionamento do programa por meio do modelo lógico auxilia na identificação dos pontos estratégicos do programa, permitindo a especificação de um conjunto de indicadores equilibrado, que trate das questões-chave da ação – tanto aquelas relacionadas ao processo de implementação quanto aos efeitos gerados sobre a população.

15 Tipos de indicadores de programas

16 Identificação/construção de indicadores
Plano de implementação: Indicadores com possibilidade de cálculo imediato; Indicadores com necessidade de desenvolvimento ou aprimoramento de seus procedimentos de alimentação (instrumentos de coleta, procedimentos de preenchimento, fluxo da informação etc.).

17 (Fontes de) alimentação dos indicadores
Indicadores de impacto: tem como principais fontes de alimentação os grandes sistemas nacionais de informação, como os da Saúde, da Educação e do Trabalho, além é claro das estatísticas nacionais fornecidas pelo IBGE; Indicadores de resultados: tem como principais fontes de informação pesquisas sociais, pois precisam necessariamente chegar até os beneficiários para conhecer as transformações ocorridas em suas vidas; Indicadores de produto: tem como principais fontes de alimentação os dados operacionais dos programas.

18 O caso do BPC Explicitação da teoria do programa (modelo lógico): 3 reuniões com a equipe do BPC (e mais 1 reunião entre diretores para validação); Especificação do conjunto de indicadores de monitoramento (relacionados aos componentes do ML): 7 reuniões com a equipe do BPC (e mais 1 reunião entre diretores para validação); 3 indicadores de impacto e 8 de resultado (efetividade); e 11 indicadores de produto (eficácia). 5 indicadores com possibilidade de cálculo imediato. Apresentação do 1º relatório de monitoramento: abril de 2011 Retorno da área-fim em 45 dias (ciclos completos de três meses).

19 Antecedentes Contato com o DBA/SNAS para discutir necessidades de monitoramento: Apresentação pelo DBA/SNAS da ação BPC e da situação de seu monitoramento (desestruturado e não periódico); Apresentação pelo DM/SAGI de seus métodos de trabalho.

20

21

22 Componentes do modelo lógico
Indicadores Interpretação Método de cálculo Fontes de informação Periodicidade Impactos ↑ da expectativa de vida da população Tempo médio de vida do beneficiário do BPC Expressa a contribuição do BPC na ampliação do tempo de vida de seus beneficiários. Além do acompanhamento da evolução temporal dessa medida, é também pertinente na análise comparar o tempo médio de vida do público-alvo do BPC (beneficiários x não beneficiários) com tempo médio de vida da população geral. SIGBPC () Anual Resultados Garantia de renda a idosos e pessoas com deficiência Número de beneficiários do BPC Expressa a quantidade total de pessoas idosas e com deficiência beneficiadas pelo BPC. Número total de pessoas idosas e com deficiência com benefícios mantidos Mensal Participação do valor do benefício na renda familiar Mede o grau de contribuição do benefício na renda familiar - considerando a importância do benefício para o provimento das necessidades básicas da pessoa idosa e com deficiência e de suas famílias (espaço fundamental de convivência do beneficiário). Valor do benefício / renda da família após recebimento do benefício SIGBC ()  Produtos Benefícios concedidos ao idoso e à pessoa com deficiência Tempo médio para concessão do benefício Expressa o tempo que, em média, foi necessário para a concessão do beneficío, entre o requerimento pelo beneficiário e o início do pagamento pelo INSS. Proxy para aferir a capacidade operacional das APS no processamento dos requerimentos. Somatório da diferença entre a data do início do pagamento e a data do requerimento (em dias) / número total de benefícios concedidos num mês específico Benefícios reavaliados Percentual de benefícios não reavaliados há mais de dois anos Mede o desempenho do BPC na reavaliação periódica da situação socioeconômica e física de seus beneficiários ("dois anos" para a reavaliação é o tempo determinado nas normas do programa). Número total benefícios não reavalidados há mais de dois anos / número total de benefícios mantidos há mais de 2 anos x 100 Trimestral Beneficiários acompanhados Percentual de inclusão dos beneficiários do BPC no CadÚnico Mede o grau de cobertura pelo CadÚnico dos beneficiários do BPC. Considerando a importância atual do CadÚnico na articulação e integração de diferentes ações sociais, essa medida é também uma proxypara aferir o acompanhamento dos beneficiários do BPC por outras ações sociais, principalmente as da Assistência Social, e o potencial de ampliação da cobertura do CadÚnico. Número total de beneficiários do BPC inscritos no CadÚnico / número total de beneficiários do BPC x 100 CadÚnico e SIGBPC ()

23 Indicadores do BPC IMPACTOS
Aumento da expectativa de vida da população: Tempo médio de vida do beneficiário Redução da pobreza e extrema pobreza no Brasil Aumento médio da renda dos beneficiários em relação ao referencial de pobreza Dinamização das economias locais Participação BPC no PIB local

24 Indicadores do BPC RESULTADOS
Garantia de renda a idosos e a pessoas com deficiência Número de beneficiários do BPC Percentual de idosos com renda familiar per capita menor que 1/4 SM com benefícios mantidos Percentual de pessoas com deficiência com renda familiar per capita menor que 1/4 SM com benefícios mantidos Erro de inclusão de beneficiários Erro de exclusão de beneficiários Participação do valor do benefício na renda familiar

25 Indicadores do BPC Redução da quantidade de idosos e pessoas com deficiência em situação de pobreza e extrema pobreza Percentual de famílias com idosos beneficiários do BPC que ultrapassaram a linha de pobreza Percentual de famílias com pessoas com deficiência beneficiárias do BPC que ultrapassaram a linha de pobreza

26 Indicadores do BPC PRODUTOS BPC divulgado Benefícios requeridos
Percentual de cartilhas distribuídas pelos CRAS Benefícios requeridos Número de benefícios requeridos por mês Avaliação para pessoa com deficiência realizada (social e médica) Efeito do novo modelo de avaliação da pessoa com deficiência na concessão do benefício RESULTADOS Garantia de renda a idosos e a pessoas com deficiência Número de beneficiários do BPC Percentual de idosos com renda familiar per capita menor que 1/4 SM com benefícios mantidos Percentual de pessoas com deficiência com renda familiar per capita menor que 1/4 SM com benefícios mantidos Erro de inclusão de beneficiários Erro de exclusão de beneficiários Participação do valor do benefício na renda familiar

27 Indicadores do BPC Benefícios concedidos ao idoso e à pessoa com deficiência Taxa de concessão de benefícios Tempo médio para concessão do benefício Percentual de benefícios concedidos por via judicial Percentual de benefícios concedidos por recurso administrativo Benefícios reavaliados Percentual de benefícios não reavaliados há mais de dois anos

28 Indicadores do BPC Benefícios acompanhados
Percentual de famílias de beneficiários do BPC acompanhadas pelo PAIF ou PAEFI Percentual de elegíveis mas não beneficiários do BPC inscritos no CadÚnico Percentual de inclusão dos beneficiários do BPC no CadÚnico

29 Alimentação dos indicadores
Fontes: IBGE; DATAPREV/Previdência Social; Censo SUAS. Fluxo da informação: Banco de dados: recuperação (com séries temporais) e marcação de variáveis de interesse; Problemas na transmissão da base da DATAPREV para o DBA/SNAS: dados tratados disponíveis com defasagem de 6 meses.

30 Retroalimentação Temporalidade: Ciclos de três meses;
45 dias de espaço entre a apresentação do relatório de monitoramento pelo DM/SAGI e as alternativas de correção de rumos pelo DBA/SNAS.

31 Retroalimentação Proposta de cronograma:
25 de abril: 1° reunião para apresentação da evolução dos indicadores e recomendações de (re)ação 6 de junho: 1° reunião para a discussão da viabilidade das recomendações e apresentação de alternativas de correção de rumos 25 de julho: 2° oficina para apresentação da evolução dos indicadores e recomendações de (re)ação 5 de setembro: 2° reunião para a discussão da viabilidade das recomendações e apresentação de alternativas de correção de rumos 24 de outubro: 3° reunião para apresentação da evolução dos indicadores e recomendações de (re)ação 5 de dezembro: 3° reunião para a discussão da viabilidade das recomendações e apresentação de alternativas de correção de rumos 23 de janeiro (de 2012): 4° reunião para apresentação da evolução dos indicadores e recomendações de (re)ação 5 de março (de 2012): 4° reunião para a discussão da viabilidade das recomendações e apresentação de alternativas de correção de rumos

32 Painel de monitoramento

33 Bibliografia BRASIL. Ministério da Saúde. Programa Nacional de DST e AIDS. (2005), Manual da oficina de capacitação em avaliação com foco na melhoria do programa. Brasília. Disponível em: BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimento Estratégico - SPI. (2010), Indicadores de Programa: Guia Metodológico. Brasília. Disponível em: FREY, Klaus. (2000), Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planejamento e Políticas Públicas, nº 21. JANNUZZI, Paulo et al. (2009), Estruturação de sistemas de monitoramento e especificação de pesquisas de avaliação, os problemas dos programas públicos no Brasil são. In: ENAP. Avaliação de Programas Sociais. Brasília, Enap - EIAPP. PFEIFFER, Peter. (2006), O Quadro Lógico: Método para Gerenciar Mudanças. In: GIACOMONI, James e PAGNUSSAT, José Luiz. Planejamento e Orçamento Governamental. ENAP. POISTER, Theodore. (2003), Measuring Performance. In: Public and Non Profit Organizations. San Francisco: Jossey-Bass Publishers. VALARELLI, Leandro. (2005), A gestão de projetos e a construção e o uso de indicadores. Mimeo. Rio de Janeiro. W.K. Kellogg Foundation. (2004), Logic Model Development Guide. Michigan. Disponível em:

34 Sistema de Monitoramento
Brasília, 2012. 34

35 Sistemas de Indicadores
Um bom sistema de indicadores de monitoramento de programas é aquele em que a informação foi selecionada de diferentes fontes e está organizada de forma sintetizada e mais adequada ao uso analítico pelos diferentes gestores.

36 Sistemas de M&A Pode ser entendido, em um sentido lato, como o conjunto de atividades – articuladas, sistemáticas e formalizadas- de produção, registro, acompanhamento e análise crítica de informações geradas na Gestão de Políticas Públicas, de seus programas, produtos e serviços, por meio das organizações, agentes e públicos-alvo envolvidos, com a finalidade de subsidiar a tomada decisão quanto aos esforços necessários para aprimoramento da ação pública. Trata-se, pois, de um conjunto de atividades inerentes ao ciclo de gerenciamento da produção das Políticas Públicas, voltadas à sistematização de informação acerca dos aspectos considerados críticos para sucesso dos programas.

37 Sistemas de M&A Além de prover informação para análise das “entregas” de produtos e serviços e para correção de eventuais falhas da ação governamental, os sistemas de M&A também se destinam, a produzir conhecimento sobre os impactos das Políticas e programas, bem como os custos de produção dos mesmos. mecanismos importantes para garantir maior transparência da forma de utilização dos recursos públicos para subsidiar decisões sobre o mérito e relevância das Políticas e programas na repartição orçamentária, ainda que não os únicos, nem necessariamente os mais legítimos.

38 Sistemas de M&A no Ciclo de Políticas e Programas
Ferramentas para análise comparativa no tempo e espaço Pesquisas do IBGE Dados Integrados em uma Mesma plataforma Cadastros Públicos Registros de Outros Ministérios Indicadores de recursos Indicadores de processos Registro de Gestão dos Programas Chave de integração de dados: municípios, CPF, NIS Indicadores de resultados Indicadores de impacto Indicadores de contexto Categorias de análise Dados de Execução Orçamentária Jannuzzi, 2011

39 Sistemas de M&A A abrangência conceitual e programática dos sistemas de M&A pode ser mais macro- quando se referem a Políticas ou Estratégias de Governo meso – quando voltados ao acompanhamento gerencial e analítico de programas e/ou organizações micro-ambiental- quando a ênfase avaliativa recai sobre indivíduos, processos ou produtos muito específicos.

40 Monitoramento Gerencial e Monitoramento Analítico
Brasília, 2012. 40

41 Monitoramento Gerencial
Monitoramento gerencial: acompanhamento das ações, em suas diferentes fases, para orientar a tomada de decisão visando a prestação dos serviços e cumprimento de prazos e metas previstos no programa  Sistemas informatizados, planilhas de controle  Muito intensivo em dados, estruturados ou não  Subentende a lógica de encadeamento de ações  Prazos e metas são os parâmetros de avaliação

42 Monitoramento Analítico
Monitoramento analítico: é entendido como o exercício sistemático de análise de séries históricas de indicadores de esforços e de processos-chave da lógica de intervenção implícita de um programa- como indicadores de fluxos de desembolsos financeiros, de realização de atividades-meio, de entrega de produtos e serviços- e de indicadores que permitam inferir os efeitos – resultados e, se possível, impactos- dos programas junto a seus públicos-alvo, tipificados segundo diferentes contextos socioeconômicos de vivência- como municípios ou regiões mais pobres ou mais desenvolvidas, com menor ou maior oferta de infraestrutura de serviços públicos, por exemplo- ou segundo arquétipos das estruturas organizacionais que lhes atendem nos programas- como municípios ou regiões com agentes com menor ou maior capacidade de gestão operacional do programa, ou menor ou maior controle social, maior ou menor integração/articulação entre programas sociais, por exemplo.

43

44

45 Perguntas a serem respondidas por meio de um Painel de Indicadores de Monitoramento Analítico
a) Como se processam as adesões, convênios e entregas dos programas em municípios mas pobres ? E nos mais ricos ? E nos menos estruturados em termos de gestão ? E nos mais estruturados ? E nos municípios em que se sabe que há ações mais articuladas entre programas ? b) Enfim, como evoluem os indicadores de esforços nos municípios ? Há algum critério de priorização que justifique tal comportamento ? c) Como evoluem os indicadores de efeitos nos municípios ? d) E os indicadores de contexto ? Alguns deles parecem ser refletir efeitos dos programas ? e) Parece haver algum comportamento inesperado dos indicadores de efeitos em função dos esforços e da lógica de encadeamento ? f) Que informações você pode inferir destas análises para aprimoramento incremental do programa ? g) Que tipo de problema identificado por esses indicadores sugere a necessidade de realização de uma Pesquisa de Avaliação específica ?

46 Princípios relativos à construção do Painel de Indicadores
O conjunto de indicadores não pode se pretender exaustivo e deve ser equilibrado entre as dimensões de acompanhamento Os indicadores devem ser organizados por níveis de atuação estratégica-operacional, setorialmente, lógica sintese-análise ou por nível de criticidade para as demais atividades Os indicadores devem permitir evolução dos esforços, processos e efeitos Os indicadores devem privilegiar a sua sensibilidade e especificidade ao programa, ainda que com problemas de validade de constructo ou de cobertura Indicadores devem estar suportados em aplicativos de fácil implementação operacional, que buscam informação em outros sistemas transacionais

47 Princípios relativos à construção do Painel de Indicadores
Os indicadores devem ter interpretação normativa clara Os indicadores devem ser mutuamente consistentes e com importância equivalente Os indicadores devem ser inteligíveis e acessíveis ao gestor Os indicadores devem ser atualizados a partir de fontes de dados já existentes, periodicamente. Indicadores de potenciais impactos podem ser buscados em outros cadastros públicos ou pesquisas do Sistema Estatístico Nacional (Censo 2010 e o Sist.Integrado de Pesquisas Domiciliares)

48 Etapas para Construção de um Painel de Indicadores

49 Sala de monitoramento Essa sala serve para monitorar processos industriais, sinais de emergência, imagens de um determinado local ou mesmo centralizar a cadeia de comando de um plano de emergência ou de contingência.

50 Monitoramento Estratégico: exemplos
Será que o poder de compra do benefício básico desde agosto de 2007 foi assegurado?

51 Monitoramento Estratégico: exemplos

52 Monitoramento Estratégico: exemplos
27,8% das despesas da população com até R$ 830 de renda média mensal familiar é para alimentação. Como 82,6% dos gastos é com alimentação no domicílio.....

53 Monitoramento Estratégico: exemplos

54 Monitoramento Estratégico: exemplos

55 Seleção de indicadores para o MONIB
Monitoramento Estratégico: exemplos Seleção de indicadores para o MONIB Usar como índice de inflação a alimentação no domicílio é um indicador razoável. O INPC é calculado pelo IBGE desde 1979, se refere às famílias com rendimento monetário de 01 a 06 salários mínimos, sendo o chefe assalariado, e abrange nove regiões metropolitanas do País, além do município de Goiânia e de Brasília.

56 Monitoramento Estratégico: exemplos

57 Monitoramento Estratégico: exemplos
Pode se especular que os preços dos produtos alimentícios tenderão aumentar nos próximos meses para o consumidor. Há uma defasagem entre os preços dos produtores e os preços dos consumidores

58 Monitoramento Estratégico: exemplos
Se 27,8% do total das despesas dos mais pobres estão centradas na alimentação, quais os alimentos que merecem ser monitorados?

59 Monitoramento Estratégico: exemplos

60 Monitoramento Estratégico: exemplos

61 Monitoramento Estratégico: exemplos

62 Produção de arroz por município – Brasil - 2010
Monitoramento Estratégico: exemplos Produção de arroz por município – Brasil

63 Monitoramento Estratégico: exemplos

64 Monitoramento Estratégico: exemplos

65 Monitoramento Estratégico: exemplos

66 Monitoramento Estratégico: exemplos

67 Monitoramento Estratégico: exemplos

68 Monitoramento Estratégico: exemplos

69 Monitoramento Estratégico: exemplos

70 Monitoramento Estratégico: exemplos

71 Monitoramento Estratégico: exemplos
Será que o preço do arroz irá se manter estável no Brasil?

72 Monitoramento Um sistema de monitoramento trabalha com um leque de indicadores e sinaleiras que são significativos para a estratégia . A operacionalização de um bom sistema de monitoramento que parece, em teoria, simples, não é !!!

73 “Um sistema de informações casuístico, parcial, assistemático, atrasado, inseguro, disperso e sobrecarregado de dados primários irrelevantes, é um aparato sensorial defeituoso que limita severamente a capacidade de uma organização para sintonizar-se com os processos concretos, identificar os problemas atuais e potenciais, avaliar os resultados da ação e corrigir oportunamente os desvios com respeito aos objetivos traçados” (Matus, 1996) Quem não monitora os problemas que deve resolver e o resultado das ações com as quais pretende enfrentá-los não sabe o que acontece por conta do seu agir e nem que mudanças provocou com a sua ação. Não sabe por onde anda, não consegue avaliar a eficiência e a eficácia de suas intervenções.