Monitoramento dos Programas Sociais – parte 1 Dionara B Andreani Barbosa Rio de Janeiro - 2012

Sumário Conceitos Fundamentais Monitoramento dos Programas sociais Sistemas de Monitoramento

Pesquisas avaliativas Tradicionalmente, todas as atividades que realizam algum tipo de acompanhamento dentro da administração pública acabam sendo identificadas como monitoramento, exemplos: Visa apurar malversação de recursos públicos, ou seja se recursos financeiros, humanos ou de infraestururação foram geridos de forma contrária às normas que regulam o seu uso CGU e TCU Controle e Auditoria verificação da situação da execução daquilo que foi planejado e inserido na peça orçamentária que disciplina os gastos e investimentos de programas, ações e projetos implementados por determinado órgão Áreas responsáveis pelo Planejamento e Orçamento dos Ministérios – no MD: Subsecretaria de Planejamento e Orçamento Acompanha-mento físico-financeiro Realizadas para a compreensão dos motivos pelos quais determinada ação pública tomou tal ou qual configuração, se esse arranjo favorece a obtenção de resultados e se os resultados pretendidos foram alcançados Importantes ferramentas para a melhoria dos programas e o alcance dos resultados Pesquisas avaliativas Não há hierarquização entre essas atividades, são interligadas, porém de natureza diferentes!!

Monitoramento A princípio, a estruturação do monitoramento de programas pode ter por base conceitual e informacional cada uma das três atividades descritas anteriormente. A forma do monitoramento deve ser determinada: Pelo escopo que se pretende dar ao monitoramento – o que, por sua vez, dependerá do momento no qual se encontra a ação; E das necessidades de seus gestores. Apesar disso, duas preocupações são comuns a todas essas abordagens: A necessidade da utilização de indicadores para a realização do monitoramento de programas; Que esse processo tenha por objetivo subsidiar a gestão dos programas com informações tempestivas para a tomada de decisão.

Monitoramento Conceitos: Avaliação: subsidia os gestores com informações mais aprofundadas e detalhadas sobre o funcionamento e os efeitos do programa, levantadas nas pesquisas de avaliação; Monitoramento: tem o propósito de subsidiar os gestores com informações mais simples e tempestivas sobre a operação e os efeitos do programa, resumidas em painéis ou sistemas de indicadores de monitoramento (Jannuzzi, 2009, p. 124). Sendo processos organicamente articulados, o desafio é torná-los complementares ao longo do tempo.

AVALIAR consiste fundamentalmente em aplicar um julgamento de valor a uma intervenção, através de um dispositivo capaz de fornecer informações cientificamente válidas e socialmente legítimas sobre ela ou qualquer um dos seus componentes. Este julgamento pode ser o resultado da aplicação de critérios e normas – avaliação normativa – ou ser elaborado a partir de um procedimento científico – pesquisa avaliativa. (Contrandiopoulos) AVALIAR consiste fundamentalmente em aplicar um julgamento de valor a uma intervenção, através de um dispositivo capaz de fornecer informações cientificamente válidas e socialmente legítimas sobre ela ou qualquer um dos seus componentes. Este julgamento pode ser o resultado da aplicação de critérios e normas – avaliação normativa – ou ser elaborado a partir de um procedimento científico – pesquisa avaliativa. (Contrandiopoulos) AVALIAR consiste fundamentalmente em aplicar um julgamento de valor a uma intervenção, através de um dispositivo capaz de fornecer informações cientificamente válidas e socialmente legítimas sobre ela ou qualquer um dos seus componentes. Este julgamento pode ser o resultado da aplicação de critérios e normas – avaliação normativa – ou ser elaborado a partir de um procedimento científico – pesquisa avaliativa. (Contrandiopoulos) AVALIAR consiste fundamentalmente em aplicar um julgamento de valor a uma intervenção, através de um dispositivo capaz de fornecer informações cientificamente válidas e socialmente legítimas sobre ela ou qualquer um dos seus componentes. Este julgamento pode ser o resultado da aplicação de critérios e normas – avaliação normativa – ou ser elaborado a partir de um procedimento científico – pesquisa avaliativa. (Contrandiopoulos)

MONITORAR consiste no acompanhamento sistemático de uma ação, um projeto, um programa ou um plano. Na Administração Pública o monitoramento serve para avaliar como os problemas detectados estão sendo enfrentados e como os resultados estão sendo alcançados ou não. Ou seja, monitoramento é perceber as diferenças ou não. Isso permite que o gestor possa tomar decisões em momentos certos. A palavra monitor vem do latim: monitum e significa “aquele que dá conselho, que faz pensar, que adverte, que lembra””.

Monitoramento Desafios do monitoramento: Conjunto de indicadores equilibrado, que reflita todos os pontos estratégicos momento que está a ação; Regularidade; Indicadores sejam calculados com uma periodicidade que permita aos gestores reagir ainda dentro de um ciclo de execução do programa; As informações geradas pelos indicadores de monitoramento sejam apresentadas em formato de fácil consumo pelos gestores dos programas; Escopo: superados os momentos mais problemáticos da implantação de qualquer intervenção pública, começa a ser mais apropriado a introdução de uma abordagem de resultados na estruturação do monitoramento dos programas.

M&A no Brasil é um campo novo e em desenvolvimento. A institucionalização das atividades de M&A da ação governamental vem ganhando força devido a ampliação do escopo e escala dos programas sociais e da qualificação dos técnicos neste setor. Ao se institucionalizar o monitoramento e a avaliação é necessário trabalhar com um conceito, ter a mesma linguagem.

Ciclo de Políticas e Programas Públicos O ciclo de vida de políticas e programas públicos estuda todo o processo que vai da definição da agenda, elaboração da política pública, sua efetiva implementação e avaliação. O modelo idealizado de “ciclo de vida” de políticas e programas é uma referência conceitual interessante para ilustrar como os sistemas de indicadores de monitoramento podem ser estruturados e como as pesquisas de avaliação podem ser especificadas de forma a potencializar seu emprego na gestão dos programas.

Ciclo de vida da política pública É um esquema de visualização e interpretação que organiza a vida de uma política pública em fases sequenciais e interdependentes. As fases geralmente se apresentam misturadas, as dimensões se alteram. As fronteiras entre as fases não são nítidas. Não há um ponto de início e um ponto de finalização de uma política pública. As atividades de cada ciclo apoiam-se em um conjunto específico de indicadores.

Problemas e demandas sociais Um problema público é a diferença entre o que é e aquilo que se gostaria que fosse a realidade pública. Um problema público pode aparecer repentinamente Ex: Nova Friburgo em jan/2011 Um problema público pode chamar atenção aos poucos. Ex: Crack Um problema público pode fazer parte nas nossa vidas e não receber atenção adequada. Ex: Favelas

1ª Etapa: Definição de agenda Nessa etapa os indicadores são recursos valiosos para dimensionar os problemas sociais, servindo como instrumentos de pressão de demandas sociais não satisfeitas. Indicadores produzidos pelas instituições oficiais de estatísticas prestam-se bem esse papel, pela legitimidade que gozam. Amplo escopo temático Ampla desagregabilidade geográfica e populacional Validade Confiabilidade

2ª Etapa: Formulação A formulação de soluções passa pelo estabelecimento de objetivos e estratégias e o estudo das potenciais consequências de cada alternativa de solução A etapa de construção de alternativas é o momento que são elaborados métodos, programas, estratégias ou ações que poderão alcançar os objetivos estabelecidos. Um mesmo objetivo pode ser alcançado de várias formas, por diversos caminhos. Nesta etapa, os indicadores são utilizados para qualificar os públicos alvo, localizá-los e retratá-los de modo amplo e detalhado. É preciso adequar as intervenções as características e necessidades dos demandantes. Nessa hora empregamos indicadores de várias áreas temáticas analíticas ou de atuação governamental

2ª Etapa: Formulação Faixa Etária Cor ou raça Sexo Fontes de dados: Censo demográficos / pesquisas amostrais

2ª Etapa: Formulação Problemas e demandas sociais 1ª Definição de agenda Percepção e definição das questões públicas Diagnóstico e desenho de programas 2ª Formulação 3ª Tomada de decisão Sobre programas e públicos-alvo Produção e oferta de serviços 4ª Implementação Análise de resultados e impactos Decisão sobre continuidade 5ª Avaliação 2ª Etapa: Formulação

3ª Etapa: Tomada de decisão Nessa etapa é preciso escolher o rumo a seguir, de ação efetiva ou não, decidindo-se por uma ou algumas alternativas formuladas. Essa etapa representa o momento em que os interesses dos atores são equacionados e as intenções (objetivos e métodos) de enfrentamento de um problema público são explicitadas.

3ª Etapa: Tomada de decisão Público-alvo

3ª Etapa: Tomada de decisão

3ª Etapa: Tomada de decisão Na seleção de alternativas programáticas idealizadas para atender à questão pública colocada na agenda e eleger prioridades de intervenção, é preciso dispor de indicadores que operacionalize os critérios técnicos e políticos definidos. Indicadores sintéticos como o Índice de Desenvolvimento Humano ou o Índice de Desenvolvimento da Educação Básica ou as classificações geradas por técnicas de análise multicritério podem ser úteis para apoiar decisões nessa fase do ciclo. Exemplo do uso de análise multicritérios no MDS para auxiliar a tomada de decisão no final desta apresentação.

4ª Etapa: Implementação Corresponde aos esforços de implementação da ação governamental, na alocação de recursos e desenvolvimento de processos previstos nas alternativas e programas escolhidos anteriormente. Para acompanhar a implementação dos programas e, posteriormente, para gestão, quando elas entrarem em plena operação, são necessários indicadores que permitam acompanhar regularmente as ações programadas, e alocação do gasto à produção de serviços.

4ª Etapa: Implementação Nesse momento é preciso de indicadores de monitoramento que devem ser atualizados com regularidade e com tempestividade adequada à tomada de decisão. Idealmente esses indicadores devem ser específicos e sensíveis às ações programáticas, afim de se tornarem úteis para inferir se o programa está sendo implantado conforme planejado ou para permitir as correções de rumo. Os painéis ou sistema de indicadores de monitoramento devem se valer dos dados continuamente atualizados nos cadastros e registros administrativos pelos gestores e operadores envolvidos nos programas. Devem estar interligados aos sistemas informatizados de gestão do programa, o qual são registrados atendimentos prestados, informações dos agentes que o operam, características dos beneficiários e processos intermediários.

As causas da extinção de uma política pública são basicamente três: 5ª Etapa: Avaliação Enquanto, etapa do ciclo, realiza-se após a implementação. Trata-se de um momento de natureza reflexiva para a continuidade ou não do programa. Distingue-se das atividades de monitoramento e avaliação que se realizam mediante os sistemas de indicadores e as pesquisas de avaliação, instrumentos investigativos que podem ser empregados a qualquer momento no ciclo As causas da extinção de uma política pública são basicamente três: Problema resolvido Programas ou Leis foram avaliados como ineficazes O problema perdeu progressivamente a importância Fonte de dados: Pesquisas amostrais Registros administrativos Grupo focais Pesquisas de egressos e de participantes do programa

Demandas de Informações no Ciclo de Políticas e Programas

Conceito de indicadores “(...) medidas, de ordem quantitativa ou qualitativa, dotada de significado particular e utilizada para organizar e captar as informações relevantes dos elementos que compõem o objeto da observação. É um recurso metodológico que informa empiricamente sobre a evolução do aspecto observado” (Brasil, 2010, p. 21).

Definição de indicador social Um indicador social é uma medida em geral quantitativa dotada de significado social substantivo, usado para substituir, quantificar ou operacionalizar um conceito social abstrato de interesse teórico (para pesquisa acadêmica) ou programático (para formulação de políticas públicas). É um recurso metodológico, empiricamente referido, que informa algo sobre algum aspecto da realidade social ou sobre mudanças que estão se processando na mesma.

Definição de indicador social Para a pesquisa acadêmica, o indicador social é o elo entre os modelos explicativos da Teoria Social e a evidência empírica dos fenômenos sociais observados. Setor público Em uma perspectiva programática, o indicador social é um instrumento operacional para monitoramento da realidade social, para fins de formulação e reformulação de políticas públicas. (Carley 1985, Miles, 1985) Setor privado Em uma perspectiva gerencial, o indicador gerencial é um instrumento operacional para monitoramento das atividades produtivas, para fins de formulação e reformulação das práticas organizacionais e estratégias de atuação.

Eventos empíricos da realidade social Definição de indicador social Eventos empíricos da realidade social Dados brutos levantados: Estatísticas públicas Informação para análise e decisões de política pública: Indicador social Nível de conhecimento da sociedade

Sistema de Indicadores Sociais O Sistema de Indicadores Sociais é um conjunto de indicadores sociais referentes a um determinado aspecto da realidade social ou área de intervenção programática. Envolve quatro etapas de decisões metodológicas 1) Definição operacional do conceito abstrato ou temática a que refere o sistema em questão, com base em um interesse teórico ou programático específico. 2) Especificação das dimensões operacionais. Isso permite operacionalizar o conceito abstrato através da quantificação do objetivo. 3) Obtenção de estatísticas públicas pertinentes 4) Indicadores são construídos combinando estatísticas disponíveis

Construção de Indicadores Sociais Conceito abstrato ou temática social de interesse Dimensão operacional 1 Dimensão operacional 2 Dimensão operacional 3 Dimensão operacional 4 Estatística 1 Estatística 2 Estatística 3 Estatística 4 Estatística 1 Estatística 2 Estatística 1 Estatística 2 Estatística 3 Estatística 1 Estatística 2 Estatística 3 Indicador 1 Indicador 4 Indicador 2 Indicador 3

Exemplo de um Sistema de Indicadores Sociais Dimensões operacionais Conceito abstrato http://www.firjan.org.br/IFDM/

Construção de Indicadores Sociais

Indicadores Sociais Recurso metodológico para “retratar” a realidade social, de forma simplificada, mas objetiva e padronizada Os indicadores apontam, indicam, aproximam, traduzem em termos operacionais as dimensões sociais de interesse definidas a partir de escolhas teóricas ou políticas realizadas anteriormente. Eles se prestam a subsidiar as atividades de planejamento público e formulação de políticas nas diferentes esferas de governo, possibilitam o monitoramento das condições de vida, da conjuntura econômica e qualidade de vida da população

Representação da realidade: fotos

Indicadores Sociais Tal como as fotografias, os indicadores procuram retratar um aspecto da realidade. Fotos reduzem a tridimensionalidade da realidade para o plano bidimensional do papel fotográfico. Podem ser preto e branca ou coloridas, com maior nitidez, luminosidade ou contraste dependendo da resolução da máquina fotográfica e da destreza do fotógrafo em escolher o momento e contexto adequado para o que ele quer destacar. A imagem captada no indicador é também uma redução da realidade, isto é, uma representação simplificada de um aspecto da mesma, tão melhor quanto mais específico for o aspecto de interesse e quanto mais confiável e precisas as informações usadas para cômputo do indicador.