1.

Apresentação em tema: "1."— Transcrição da apresentação:

1 1

2 Conceitos básicos sobre Monitoramento e Avaliação de Políticas e Programas Sociais

3 Sistemas de M&A Pode ser entendido, em um sentido lato, como o conjunto de atividades – articuladas, sistemáticas e formalizadas- de produção, registro, acompanhamento e análise crítica de informações geradas na Gestão de Políticas Públicas, de seus programas, produtos e serviços, por meio das organizações, agentes e públicos-alvo envolvidos, com a finalidade de subsidiar a tomada decisão quanto aos esforços necessários para aprimoramento da ação pública. Trata-se, pois, de um conjunto de atividades inerentes ao ciclo de gerenciamento da produção das Políticas Públicas, voltadas à sistematização de informação acerca dos aspectos considerados críticos para sucesso dos programas.

4 Sistemas de M&A Além de prover informação para análise das “entregas” de produtos e serviços e para correção de eventuais falhas da ação governamental, os sistemas de M&A também se destinam, a produzir conhecimento sobre os impactos das Políticas e programas, bem como os custos de produção dos mesmos. mecanismos importantes para garantir maior transparência da forma de utilização dos recursos públicos para subsidiar decisões sobre o mérito e relevância das Políticas e programas na repartição orçamentária, ainda que não os únicos, nem necessariamente os mais legítimos.

5 Sistema de M&A no Ciclo de Políticas e Programas

6 Sistema de M&A no Ciclo de Políticas e Programas
Avaliação de desenhos de implementação Avaliação ex-ante de demandas Indicadores para Monitoramento de Programas Avaliação de processos Avaliação custo-efetividade Avaliação de resultados e impactos

7 Sistemas de M&A Os sistemas de M&A podem ser diferenciados segundo vários critérios, como discutem MacDavid&Hawthorne (2006), Mackay (2007), Owen (2007) e Cunill e Ospina (2008). Podem ser orientados mais ao aprimoramento interno de programas, gestão e decisão orçamentária ou prestação de contas da ação governamental ao parlamento ou à sociedade.

8 Sistemas de M&A A abrangência conceitual e programática dos sistemas de M&A pode ser mais macro- quando se referem a Políticas ou Estratégias de Governo meso – quando voltados ao acompanhamento gerencial e analítico de programas e/ou organizações micro-ambiental- quando a ênfase avaliativa recai sobre indivíduos, processos ou produtos muito específicos.

9 Sistemas de M&A Podem abarcar a
integralidade das ações de governo, algumas áreas setoriais ou um conjunto seletivo de projetos prioritários. Assumem características diferentes, dependendo de onde estão sediados Ministério da Fazenda, Ministério do Planejamento, Ministérios setoriais, Assessoria da Presidência, Órgão de Controle Externo Parlamento ou Sociedade

10 Sistemas de M&A Dependendo do estágio da cultura existente em M&A no governo, estes sistemas podem dispor de um conjunto mais amplo ou restrito de ferramentas e produtos: Mapas Estratégicos, Balanços de Gestão, Sistemas Informatizados, Indicadores de Desempenho, Indicadores de Políticas e Programas, Painéis Situacionais ou Pesquisas de Avaliação, entre outros

11 Monitoramento e Avaliação da Ação Governamental está presente em várias instâncias
Sociedade Civil Governos Estaduais Congresso Nacional Poder Judiciário e Min Público Municípios Universidades

12 Complexidade do contexto de M&A de Políticas e Programas Sociais no Brasil
Desafios da Gestão de Programas Ênfase na coordenação de esforços Investimentos nos instrumentos de planejamento de projetos (ZOOP, Marco Logico etc) e programação orçamentária Programas mais “customizados” para as distintas realidades Necessidade de maior integração de programas Programas estão em estágios diferentes de maturidade Conhecimento em Gestão de Programas e Cultura por resultados incipiente na esfera municipal Não há um Sistema de M&A ou um Agência Avaliadora com poder decisivo sobre Políticas e Programas no Brasil Estrutura Federativa e as dificuldades de articulação vertical Múltiplos agentes envolvidos e dificuldades de articulação horizontal Institucionalidade adquirida há tempo das Políticas de Educação, Saúde, Trabalho e de seus corpos técnicos Realidade social bastante diferenciada pelo território Problemas sociais multi- determinados Forte ampliação do escopo e escala dos programas

13 Complexidade do contexto de M&A de Políticas e Programas Sociais no Brasil
Não seria recomendável um esquema padronizado ou Sistema de M&A ou um Agência Avaliadora com poder decisivo sobre Políticas e Programas no Brasil Ao contrário: Há esforço de fortalecimento da capacidade de planejamento e coordenação em diferentes instâncias Esforços de desenvolvimento de Sistemas de M&A em diferentes instâncias do governo Indicadores de desempenho Estudos avaliativos Multiplicação de instrumentos de controle interno e externo (univeridades, sociedade, imprensa etc) Complexidade da Realidade social, multiplicidade de atores, problemáticas de gestão de programas

14 Sistemas de M&A e relacionados
Planejamento de Longo Prazo Avaliação Pol.Públicas (IPEA) Orgão de Controle - Auditoria Ministério da Fazenda Controle financeiro Coord Estratégica de Governo Sistema de Acompanhamento de Projetos Estratégicos PAC Gestão do Plano Plurianual Coord M&A – SIGPLAN IBGE Ministérios da Pasta Social Maior prática de M&A ou sistematização de dados e pesquisas

15 Em que pese o esforço em constituir Sistemas de M&A
Até algum tempo atrás, constatação frequente nas avaliações de programas do TCU é que não existem sistemáticas de acompanhamento de resultados dos repasses orçamentários e produtos a outros entes federativos ou junto ao público-alvo. Exemplo: Relatório de Avaliação do Programa Nacional Biblioteca na Escola (PNBE): O trabalho constatou que o FNDE tem mostrado grande eficácia operacional na distribuição dos acervos do Programa para as escolas beneficiadas. Foram atendidas 20 mil escolas em e 36 mil em 1999, com previsão de atendimento de 139 mil escolas em 2002. Todavia, também se verificou que o PNBE não tem atividades de monitoramento e avaliação bem estruturadas. O MEC não dispõe de informações que permitam conhecer o nível de utilização dos acervos, bem como os problemas que podem estar afetando a efetividade do uso dos livros no desenvolvimento escolar dos alunos nas escolas beneficiadas. Tal fato é mais preocupante justamente no momento em que aumenta a escala de atendimento do Programa. (TCU, 2002, p.10).

16 Desafio: Adequar expectativas do que é possível obter de Sistemas de Monitoramento e Pesquisas de Avaliação de programas no contexto atual Garcia, 2001, .21)

17 Desafio: Envolver cada vez mais as equipes dos programas na especificação de Sistemas de Monitoramento e Pesquisas de Avaliação Garcia, 2001, 17-18)

18 Desafio: Integração de Sistemas de Monitoramento e Pesquisas de Avaliação
Monitoramento e avaliação são processos analíticos organicamente articulados, que se complementam no tempo, com o propósito de subsidiar o gestor público de informações mais sintéticas e tempestivas sobre a operação do programa –resumidas em painéis ou sistemas de indicadores de monitoramento – e informações mais analíticas sobre o funcionamento desse, levantadas nas pesquisas de avaliação. Problemas complexos -> Programas específicos, mas articulados Sistemas de Monitoramento e Pesquisas de Avaliação com maior especificidade, mas sinergia na troca de dados

19 Monitoramento de Programas
Coutinho (2001, p.11) define o monitoramento como um processo sistemático e contínuo que, produzindo informações sintéticas e em tempo eficaz, permite rápida avaliação situacional e a intervenção oportuna que confirma ou corrige as ações monitoradas”. Rua (2004,p.6) define o monitoramento como: Um conjunto de estratégias de “acompanhamento” de uma política programa ou projeto, de modo a identificar de maneira oportuna e tempestivamente as vantagens e pontos frágeis na sua execução, a fim de efetuar os ajustes e correções necessárias à maximização dos seus resultados e impactos.

20 Monitoramento e Avaliação de Programas
M&A de programas compõe-se de atividades de Monitoramento de programas Avaliação de Programas por meio de dados por meio de pesquisas por meio de indicadores ex-ante (diagnóstico) por meio de Painéis gerenciais desenho dos programas por meio de Painéis analíticos processo resultados e impactos custo-efetividade Recurso: base de dados e Recurso: técnicas de aplicativos pesquisa social Aprimoramento da Gestão do Programa

21 Monitoramento e Avaliação de Programas
Acompanhando a saúde de uma criança Monitoramento Avaliação 1º. Observação do comportamento sintoma:sinal de mal-estar º. Busca da avaliação de decisão:tomar a temperatura um médico 2º. Termômetro º. Exame clínico sintoma: febre decisão: remédio 1 decisão: antitérmico º. Exames diversos 3º . Termômetro decisão: remédio 2 e 3 sintoma: febre persistente º. Retorno- Nova Avaliação

22 A demanda por informação estruturada no Ciclo de Programas
Diagnóstico de Condições de Vida Indicadores sociais Censos Demográficos Cadastros Públicos CadUnico

23 A demanda por informação estruturada no Ciclo de Programas
Diagnóstico propositivo Indicadores de diagnóstico Públicos-alvo (Censos, Cadastros e registros de programas) Agentes implementadores (Registros, MUNIC) Participação social (Munic, registros de reuniões)

24 A demanda por informação estruturada no Ciclo de Programas
Indicadores de monitoramento (produzidos pelo próprio programa e outros programas no Ministério e fora dele) Insumos ($$, RH, Adesões etc) Processos (Ações, ativ. meio) Resultados (Entregas, uso e consumo de serviço) Impacto (Mudança social) Gestão e implementação dos programas

25 A demanda por informação estruturada no Ciclo de Programas
Informação para avaliação (pesquisas específicas) Indicadores de Resultados e Impactos Informação de natureza qualitativa Avaliação somativa dos programas

26 Desafio: Especificar Painel de Indicadores para Monitoramento Analítico de Programas
Avaliação de desenhos de implementação Avaliação ex-ante de demandas Painel de Indicadores para Monitoramento Analítico de Programas Avaliação de processos Avaliação custo-efetividade Avaliação de resultados e impactos

27 A demanda por informação estruturada no Ciclo de Programas
Avaliação de desenhos de implementação Avaliação ex-ante de demandas Tipologia de pesquisas de avaliação segundo maturidade do programa ( Peter Rossi) Avaliação de processos Avaliação custo-efetividade Avaliação de resultados e impactos

28 A demanda por informação estruturada no Ciclo de Programas
Avaliação de desenhos de implementação Avaliação ex-ante de demandas Pesquisas de avaliação Análise Institucional da Política Análise da Lógica de Intervenção do Programa Avaliação de processos Avaliação custo-efetividade Avaliação de resultados e impactos

29 A demanda por informação estruturada no Ciclo de Programas
Unidades de análise (diferentes naturezas) Produtos Serviços prestados Públicos-alvo Gestores Técnicos atendentes Instituições prestadoras de serviços Municípios Estados Outros Ministérios Avaliação de desenhos de implementação Pesquisas de avaliação Abordagens qualitativas (Observação, Entrevistas, Grupos de Discussão) Abordagens quantitativas (Amostras intencionais, probabilísticas, desenhos quase-experimentais) Avaliação ex-ante de demandas Avaliação de processos Avaliação custo-efetividade Pesquisas encomendadas Avaliações do TCU Auditorias da CGU Pesquisas do IBGE e oras instituições Avaliação de resultados e impactos

30 Indicadores de Diagnóstico como retratos da realidade
Taxa de mortalidade infantil Taxa de evasão escolar Moradias sem saneamento básico Ocupados com baixo rendimento Taxa de pobreza

31 Indicadores de Monitoramento como sequências de fotos - filme
Medidas que operacionalizam o acompanhamento da ação pública Alocação e execução do gasto Realização de processos e ações intermediárias Entrega de serviços, produtos e obras Medição de efeitos das ações resultados mais imediatos impactos mais de médio/longo prazo e mais abrangentes

32 Indicadores de Monitoramento como sequências de fotos - filme
Recurso metodológico para “filmar” as atividades, ações e programas promovidas pelo setor público, assim como a mudança social impactada pelos mesmos

33 Indicadores de Monitoramento como sequências de fotos - filme
Permitem antecipar, em tempo, ainda que com imperfeições, tendências e rupturas indesejáveis

34 Indicadores de Monitoramento da Ação Governamental
. 34

35 Decisões para desenvolvimento de Sistemas de Indicadores de Monitoramento
1a. questão) O que deve ser monitorado execução orçamentária processos e atividades resultados 2a. questão) Unidade de monitoramento unidades organizacionais - quem faz programas - o que se faz projetos - o que é mais prioritário

36 Decisões para desenvolvimento de Sistemas de Indicadores de Monitoramento
3a. questão) Escopo de monitoramento analítico prioridades 4a. questão) Periodicidade das informações integração de dados de diferentes programas fontes e pesquisas externas

37 Decisões para desenvolvimento de Sistemas de Indicadores de Monitoramento
5a. questão) Divisão de Responsabilidades unidades organizacionais temáticas área de informática 6a. questão) Nível de centralização e acesso restrito orientado aberto ao público 7a. questão) Nível de articulação do sistema ao conjunto de gestores para a tomada de decisão

38 Princípios relativos à construção do Painel de Indicadores
O conjunto de indicadores não pode se pretender exaustivo e deve ser equilibrado entre as dimensões de acompanhamento Os indicadores devem ser organizados por níveis de atuação estratégica-operacional, setorialmente, lógica sintese-análise ou por nível de criticidade para as demais atividades Os indicadores devem permitir evolução dos esforços, processos e efeitos Os indicadores devem privilegiar a sua sensibilidade e especificidade ao programa, ainda que com problemas de validade de constructo ou de cobertura Indicadores devem estar suportados em aplicativos de fácil implementação operacional, que buscam informação em outros sistemas transacionais

39 Principios relativos à construção do Painel de Indicadores
Os indicadores devem ter interpretação normativa clara Os indicadores devem ser mutuamente consistentes e com importância equivalente Os indicadores devem ser inteligíveis e acessíveis ao gestor Os indicadores devem ser atualizados a partir de fontes de dados já existentes, periodicamente. Indicadores de potenciais impactos podem ser buscados em outros cadastros públicos ou pesquisas do Sistema Estatístico Nacional (Censo 2010 e o Sist.Integrado de Pesquisas Domiciliares)

40 Monitoramento Gerencial e Monitoramento Analítico
Monitoramento gerencial: acompanhamento das ações, em suas diferentes fases, para orientar a tomada de decisão visando a prestação dos serviços e cumprimento de prazos e metas previstos no programa  Sistemas informatizados, planilhas de controle  Muito intensivo em dados, estruturados ou não  Subentende a lógica de encadeamento de ações  Prazos e metas são os parâmetros de avaliação

41

42 Monitoramento Analítico
Exercício sistemático de análise de séries históricas de indicadores de esforços e de processos-chave da lógica de intervenção implícita de um programa- como indicadores de fluxos de desembolsos financeiros, de realização de atividades-meio, de entrega de produtos e serviços- e de indicadores que permitam inferir os efeitos – resultados e, se possível, impactos- dos programas junto a seus públicos-alvo, tipificados segundo diferentes contextos socioeconômicos de vivência- como municípios ou regiões mais pobres ou mais desenvolvidas, com menor ou maior oferta de infraestrutura de serviços públicos, por exemplo- ou segundo arquétipos das estruturas organizacionais que lhes atendem nos programas- como municípios ou regiões com agentes com menor ou maior capacidade de gestão operacional do programa, ou menor ou maior controle social, maior ou menor integração/articulação entre programas sociais, por exemplo.

43

44 Escolha dos eixos analíticos: vulnerabilidade do público-alvo e capacidade de gestão do agente implementador Indicador de Capacidade Gestão Indicador de bem estar

45 Escolha dos eixos analíticos: vulnerabilidade do público-alvo e capacidade de gestão do agente implementador Por que minhas “entregas” estão se processando se forma diferente nesses dois contextos? Indicador de Capacidade Gestão Indicador de bem estar

46 Perguntas a serem respondidas por meio de um Painel de Indicadores de Monitoramento Analítico
Como se processam as adesões, convênios e entregas dos programas em municípios mas pobres ? E nos mais ricos ? E nos menos estruturados em termos de gestão ? E nos mais estruturados ? E nos municípios em que se sabe que há ações mais articuladas entre programas ? Enfim, como evoluem os indicadores de esforços nos municípios ? Há algum critério de priorização que justifique tal comportamento ? c) Como evoluem os indicadores de efeitos nos municípios ? d) E os indicadores de contexto ? Alguns deles parecem ser refletir efeitos dos programas ? e) Parece haver algum comportamento inesperado dos indicadores de efeitos em função dos esforços e da lógica de encadeamento ? f) Que informações você pode inferir destas análises para aprimoramento incremental do programa ? g) Que tipo de problema identificado por esses indicadores sugere a necessidade de realização de uma Pesquisa de Avaliação específica ?

47 Etapas para Construção de um Painel de Indicadores