A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

SAGI Secretaria de Avaliação e Gestão da Informção A experiência recente da SAGI/MDS na estruturação do monitoramento de programas Salvador, 11 de outubro.

Apresentações semelhantes


Apresentação em tema: "SAGI Secretaria de Avaliação e Gestão da Informção A experiência recente da SAGI/MDS na estruturação do monitoramento de programas Salvador, 11 de outubro."— Transcrição da apresentação:

1 SAGI Secretaria de Avaliação e Gestão da Informção A experiência recente da SAGI/MDS na estruturação do monitoramento de programas Salvador, 11 de outubro de Departamento de Monitoramento da Secretaria de Avaliação e Gestão da Informação (DM/SAGI/MDS)

2 SAGI Secretaria de Avaliação e Gestão da Informção Sumário Monitoramento Modelo lógico Indicadores Alimentação dos indicadores Painel de monitoramento O caso do BPC Bibliografia

3 SAGI Secretaria de Avaliação e Gestão da Informção Monitoramento Latu sensu, todas as atividades que realizam algum tipo de acompanhamento dentro da administração pública acabam sendo identificadas como monitoramento: Controle e auditoria: apura malversação de recursos públicos, ou seja, se recursos financeiros, humanos ou de infra- estruturação foram geridos de forma contrária às normas que regulam seu uso. Acompanhamento físico-financeiro: verifica a situação da execução daquilo que foi planejado e inserido na peça orçamentária que disciplina os gastos e/ou investimentos de programas, ações e projetos públicos. Pesquisas avaliativas: realizadas para a compreensão dos motivos pelos quais determinada ação pública tomou tal ou qual configuração, se esse arranjo favorece a obtenção de resultados e se os resultados pretendidos foram realmente alcançados.

4 SAGI Secretaria de Avaliação e Gestão da Informção Monitoramento A princípio, a estruturação do monitoramento de programas pode ter por base conceitual e informacional cada uma das três atividades descritas anteriormente. A forma do monitoramento deve ser determinada: Pelo escopo que se pretende dar ao monitoramento – o que, por sua vez, dependerá do momento no qual se encontra a ação; E das necessidades de seus gestores. Apesar disso, duas preocupações são comuns a todas essas abordagens: A necessidade da utilização de indicadores para a realização do monitoramento de programas; Que esse processo tenha por objetivo subsidiar a gestão dos programas com informações tempestivas para a tomada de decisão.

5 SAGI Secretaria de Avaliação e Gestão da Informção Monitoramento Conceitos : Avaliação: subsidia os gestores com informações mais aprofundadas e detalhadas sobre o funcionamento e os efeitos do programa, levantadas nas pesquisas de avaliação; Monitoramento: tem o propósito de subsidiar os gestores com informações mais simples e tempestivas sobre a operação e os efeitos do programa, resumidas em painéis ou sistemas de indicadores de monitoramento (Jannuzzi, 2009, p. 124).

6 SAGI Secretaria de Avaliação e Gestão da Informção Monitoramento Desafios do monitoramento: Conjunto de indicadores equilibrado, que reflita todos os pontos estratégicos momento que está a ação; Regularidade; Indicadores sejam calculados com uma periodicidade que permita aos gestores reagir ainda dentro de um ciclo de execução do programa; As informações geradas pelos indicadores de monitoramento sejam apresentadas em formato de fácil consumo pelos gestores dos programas; Escopo: superados os momentos mais problemáticos da implantação de qualquer intervenção pública, começa a ser mais apropriado a introdução de uma abordagem de resultados na estruturação do monitoramento dos programas.

7 SAGI Secretaria de Avaliação e Gestão da Informção Estruturação do monitoramento 1.Explicitação (esquemática) do desenho do programa: por meio do modelo lógico; 2.Identificação e/ou construção de indicadores (principalmente de eficácia e efetividade); 3.Alimentação dos indicadores; 4.Análise dos indicadores; 5.Relatório periódico de monitoramento; 6.(Re)ação da gestão.

8 SAGI Secretaria de Avaliação e Gestão da Informção Conceito de modelo lógico O modelo lógico é uma representação gráfica de um projeto, programa, serviço ou política, que retrata: as relações entre os componentes necessários a sua implementação e os efeitos esperados sobre a população.

9 SAGI Secretaria de Avaliação e Gestão da Informção Componentes básicos do modelo lógico Dados populacionais Insumos (Inputs) Dados para Desenvolvimento do Programa Diagnóstico e Planejamento Impactos (Impacts) Atividades (Activities) Produtos (Outputs) Resultados (Outcomes) Dados do Programa Fonte: Manual da oficina de capacitação em avaliação com foco na melhoria do programa. PN DST-Aids, abril de 2005.

10 SAGI Secretaria de Avaliação e Gestão da Informção Componentes da implementação Divisão em três: Insumos: são os recursos financeiros, humanos e/ou materiais necessários ao desenvolvimento das atividades; Atividades: são as variadas tarefas e processos desenvolvidos visando o benefício da população-alvo; Produtos: são os serviços e bens gerados pela realização das atividades. Esses componentes são os efeitos mais imediatos do programa, obtidos pela combinação de insumos no desenvolvimento das atividades.

11 SAGI Secretaria de Avaliação e Gestão da Informção Efeitos da ação Divisão em dois (pelo menos): Resultados: são as mudanças diretas alcançadas pelos beneficiários através da participação no programa. Esse componente reflete os efeitos esperados do programa sobre o público-alvo; Impactos: são as contribuições do programa para determinadas mudanças sociais. Esse componente indica os efeitos indiretos do programa sobre a sociedade, ocasionados pelos efeitos somativos de várias políticas públicas sobre a população.

12 SAGI Secretaria de Avaliação e Gestão da Informção Diferença do marco lógico Em virtude do formato matricial, da similaridade semântica e da base conceitual comum, é frequente a confusão do modelo lógico com o marco lógico. Marco lógico: única matriz com componentes- chave do programa e instrumentos de mensuração (indicadores, fontes de coleta e suposições consideradas). Modelo lógico: preocupação exclusiva com a discussão e explicitação do que se costuma chamar de teoria do programa.

13 SAGI Secretaria de Avaliação e Gestão da Informção Características do modelo lógico Recurso analítico: não é um retrato preciso da realidade (que não é nem tão simples nem tão linear); Simplicidade: imagem sucinta da teoria do programa Apresenta de forma esquemática a transformação social que os gestores públicos pretendem atingir e o caminho que precisa ser trilhado; Ferramenta dinâmica: passível de alterações ao longo da vida do programa.

14 SAGI Secretaria de Avaliação e Gestão da Informção Elaboração do modelo lógico Estudo de documentos do programa; Realização de oficina com pessoas-chave para construção do primeiro esboço do modelo: Construção do modelo de trás para frente; Processo: vários esboços e reuniões; Fomento de debate e acordos entre os gestores; Validação do modelo pelos gestores.

15 SAGI Secretaria de Avaliação e Gestão da Informção

16 Informações Necessidade: tempestivas, simples e em quantidade adequada. Realidade: impossível conhecer todos os detalhes dos vários processos envolvidos na implementação de uma ação pública. Recurso: indicadores

17 SAGI Secretaria de Avaliação e Gestão da Informção Especificação de indicadores Formas de organização: Mais de uma dezena de formas e critérios de classificação de indicadores (Brasil, 2010, p. 27). Desafio para a estruturação do monitoramento: especificar o conjunto de indicadores que será acompanhado. as que destrincham a teoria do programa e; as que oferecerem os principais tipos de medidas de desempenho.

18 SAGI Secretaria de Avaliação e Gestão da Informção Especificação de indicadores A explicitação da teoria de funcionamento do programa por meio do modelo lógico auxilia na identificação dos pontos estratégicos do programa, permitindo a especificação de um conjunto de indicadores equilibrado.

19 SAGI Secretaria de Avaliação e Gestão da Informção Conceito de indicadores Conceito: (...) medidas, de ordem quantitativa ou qualitativa, dotada de significado particular e utilizada para organizar e captar as informações relevantes dos elementos que compõem o objeto da observação. É um recurso metodológico que informa empiricamente sobre a evolução do aspecto observado (Brasil, 2010, p. 21).

20 SAGI Secretaria de Avaliação e Gestão da Informção Utilização dos indicadores No processo de monitoramento, os indicadores podem ser utilizados para: Acompanhamento do cumprimento de metas; Análise global do desempenho da ação (eficácia e efetividade). Subsídio para o planejamento das visitas de campo

21 SAGI Secretaria de Avaliação e Gestão da Informção Tipos de indicadores

22 SAGI Secretaria de Avaliação e Gestão da Informção Formatos estatísticos dos indicadores números absolutos; médias; proporções; razões; taxas; índices.

23 SAGI Secretaria de Avaliação e Gestão da Informção Identificação/construção de indicadores Oficina: especificação do conjunto de indicadores em conjunto com a equipe do programa. Consumidores das informações no dia-a-dia: precisam entender o significado das medidas; Conhecedores dos detalhes dos programas: qualificam as medidas.

24 SAGI Secretaria de Avaliação e Gestão da Informção Identificação/construção de indicadores Apresentação do que sejam e a função dos indicadores; Escolha dos elementos do modelo lógico que serão monitorados; Mapeamento de indicadores já existentes; Adaptação de indicadores já existentes aos componentes do modelo lógico; Construção de indicadores para os componentes que precisam ser monitorados e não possuem medidas especificas; Validação dos indicadores entre os diretores do Departamento de Monitoramento e da área fim

25 SAGI Secretaria de Avaliação e Gestão da Informção Identificação/construção de indicadores Planilha de indicadores: Componente do modelo lógico; Interpretação; Método de cálculo; Fontes de informação; Periodicidade.

26 SAGI Secretaria de Avaliação e Gestão da Informção Identificação/construção de indicadores Plano de implementação: Indicadores com possibilidade de cálculo imediato; Indicadores com necessidade de desenvolvimento ou aprimoramento de seus procedimentos de alimentação (instrumentos de coleta, procedimentos de preenchimento, fluxo da informação etc.).

27 SAGI Secretaria de Avaliação e Gestão da Informção Alimentação dos indicadores Indicadores de impacto: tem como principais fontes de alimentação os grandes sistemas nacionais de informação, como os da Saúde, da Educação e do Trabalho, além é claro das estatísticas nacionais fornecidas pelo IBGE; Indicadores de resultados: tem como principais fontes de informação pesquisas sociais, pois precisam necessariamente chegar até os beneficiários para conhecer as transformações ocorridas em suas vidas; Indicadores de produto: tem como principais fontes de alimentação dados operacionais dos programas.

28 SAGI Secretaria de Avaliação e Gestão da Informção Alimentação dos indicadores Verificação de todas bases de dados dos programas; Adaptação de rotinas/sistemas existentes: Reformulação de instrumentos de coleta existentes; Implantação dos instrumentos reformulados nos sistemas de informação; Solicitação de inclusão de variáveis na base de dados de referência para os indicadores de monitoramento. Desenvolvimento de novas rotinas/sistemas: Construção de instrumento de coleta: questões devem ser incluídas no instrumento tão somente para abastecer as variáveis dos indicadores já especificados para o monitoramento – esperando-se com isso gerar um instrumento de simples preenchimento; Pré-teste do instrumento; Ajuste do instrumento; Construção de manual de preenchimento; Consolidação de proposta de sistema de informação: pela atual dinâmica de trabalho SAGI, o departamento responsável pelo desenvolvimento do sistema só recebe a demanda se ela for feita por meio de um projeto, que contemple pelos seguintes pontos: o instrumento de coleta; o manual de preenchimento; o dicionário de variáveis; a definição dos perfis de acesso e preenchimento.; Capacitação dos parceiros locais para o preenchimento.

29 SAGI Secretaria de Avaliação e Gestão da Informção O caso do BPC Explicitação da teoria do programa (modelo lógico): 3 reuniões com a equipe do BPC (e mais 1 reunião entre diretores para validação); Especificação do conjunto de indicadores de monitoramento (relacionados aos componentes do ML): 7 reuniões com a equipe do BPC (e mais 1 reunião entre diretores para validação); 3 indicadores de impacto e 8 de resultado (efetividade); e 11 indicadores de produto (eficácia). 5 indicadores com possibilidade de cálculo imediato. Apresentação do 1º relatório de monitoramento: abril de 2011 Retorno da área-fim em 45 dias (ciclos completos de três meses).

30 SAGI Secretaria de Avaliação e Gestão da Informção Componentes do modelo lógicoIndicadoresInterpretaçãoMétodo de cálculo Fontes de informação Periodicidade Impactos da expectativa de vida da população Tempo médio de vida do beneficiário do BPC Expressa a contribuição do BPC na ampliação do tempo de vida de seus beneficiários. Além do acompanhamento da evolução temporal dessa medida, é também pertinente na análise comparar o tempo médio de vida do público-alvo do BPC (beneficiários x não beneficiários) com tempo médio de vida da população geral. SIGBPC ()Anual Resultados Garantia de renda a idosos e pessoas com deficiência Número de beneficiários do BPC Expressa a quantidade total de pessoas idosas e com deficiência beneficiadas pelo BPC. Número total de pessoas idosas e com deficiência com benefícios mantidos SIGBPC ()Mensal Participação do valor do benefício na renda familiar Mede o grau de contribuição do benefício na renda familiar - considerando a importância do benefício para o provimento das necessidades básicas da pessoa idosa e com deficiência e de suas famílias (espaço fundamental de convivência do beneficiário). Valor do benefício / renda da família após recebimento do benefício SIGBC ()Anual Produtos Benefícios concedidos ao idoso e à pessoa com deficiência Tempo médio para concessão do benefício Expressa o tempo que, em média, foi necessário para a concessão do beneficío, entre o requerimento pelo beneficiário e o início do pagamento pelo INSS. Proxy para aferir a capacidade operacional das APS no processamento dos requerimentos. Somatório da diferença entre a data do início do pagamento e a data do requerimento (em dias) / número total de benefícios concedidos num mês específico SIGBPC ()Mensal Benefícios reavaliados Percentual de benefícios não reavaliados há mais de dois anos Mede o desempenho do BPC na reavaliação periódica da situação socioeconômica e física de seus beneficiários ("dois anos" para a reavaliação é o tempo determinado nas normas do programa). Número total benefícios não reavalidados há mais de dois anos / número total de benefícios mantidos há mais de 2 anos x 100 SIGBPC ()Trimestral Beneficiários acompanhados Percentual de inclusão dos beneficiários do BPC no CadÚnico Mede o grau de cobertura pelo CadÚnico dos beneficiários do BPC. Considerando a importância atual do CadÚnico na articulação e integração de diferentes ações sociais, essa medida é também uma proxypara aferir o acompanhamento dos beneficiários do BPC por outras ações sociais, principalmente as da Assistência Social, e o potencial de ampliação da cobertura do CadÚnico. Número total de beneficiários do BPC inscritos no CadÚnico / número total de beneficiários do BPC x 100 CadÚnico e SIGBPC () Trimestral

31 SAGI Secretaria de Avaliação e Gestão da Informção Painel de monitoramento Encontra-se em processo de desenvolvimento concomitante ao relatório Aplicativo que possibilitará a visualização constante e atualizada de cada indicador do BPC de diferentes maneiras – em tabelas, gráficos e/ou mapas.

32 SAGI Secretaria de Avaliação e Gestão da Informção Painel de monitoramento

33 SAGI Secretaria de Avaliação e Gestão da Informção Bibliografia BRASIL. Ministério da Saúde. Programa Nacional de DST e AIDS. (2005), Manual da oficina de capacitação em avaliação com foco na melhoria do programa. Brasília. Disponível em: BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimento Estratégico - SPI. (2010), Indicadores de Programa: Guia Metodológico. Brasília. Disponível em: indicadores_programas-guia_metodologico.pdf indicadores_programas-guia_metodologico.pdf JANNUZZI, Paulo et al. (2009), Estruturação de sistemas de monitoramento e especificação de pesquisas de avaliação, os problemas dos programas públicos no Brasil são. In: ENAP. Avaliação de Programas Sociais. Brasília, Enap - EIAPP. POISTER, Theodore. (2003), Measuring Performance. In: Public and Non Profit Organizations. San Francisco: Jossey-Bass Publishers. VALARELLI, Leandro. (2005), A gestão de projetos e a construção e o uso de indicadores. Mimeo. Rio de Janeiro. W.K. Kellogg Foundation. (2004), Logic Model Development Guide. Michigan. Disponível em:

34 SAGI Secretaria de Avaliação e Gestão da Informção Contato Lauro Stocco:


Carregar ppt "SAGI Secretaria de Avaliação e Gestão da Informção A experiência recente da SAGI/MDS na estruturação do monitoramento de programas Salvador, 11 de outubro."

Apresentações semelhantes


Anúncios Google