Sistema de Monitoramento e Avaliação

Monitoramento e Avaliação PNAGE-BA Concepção Dinâmica do Sistema de Monitoramento e Avaliação PNAGE-BA Programa (PNAGE) Proposta de Intervenção: PNAGE - BA Execução e Revisão do Projeto (PNAGE-BA) Término da Execução do Projeto (PNAGE-BA) Monitoramento de Pressupostos, Processos e Produtos Registro de Memória Linhas de Base Monitoramento Semestral de Pressupostos, Processos e Produtos Avaliação Bi-anual de Resultados Parciais –2008/2010 Avaliação Global dos Resultados do Projeto (PNAGE-BA) – 2011

Monitoramento e Avaliação PNAGE-BA Detalhamento do Sistema de Monitoramento e Avaliação PNAGE-BA Tipo de Atividade Origem/ Responsável Periodicidade Foco/Critério Produto Usuário Monitoramento dos Pressupostos, Processos e Resultados Interna/UCE-BA Semestral Foco: Pressupostos, Processos e Produtos das ações do PNAGE-BA. Deve apresentar um inventário dos obstáculos encontrados, do comportamento dos pressupostos, processos e produtos bem como conclusões e recomendações destinadas a retroalimentar o Programa. Critério: Eficácia, Efetividade, Pontualidade e Celeridade. Informes Semestrais - Secretário da SAEB e SEPLAN; - Chefe de Gabinete SAEB e SEPLAN e técnicos que os auxiliam; - Superintendentes das áreas envolvidas com o Programa; - Equipe do PNAGE-BA; - Interlocutores e Gestores envolvidos com o Programa; Avaliação de Resultados Parciais Bi-Anual –2008 e 2010 Foco: Resultados das do PNAGE-BA. Deve apresentar um inventário dos obstáculos encontrados e das lições aprendidas e relatório das mudanças obtidas pelo Programa. Inclui conclusões e recomendações destinadas a retroalimentar o Programa. Critérios: Eficácia, Efetividade e Suficiência Relatórios Bi-Anuais –2008 e 2010 Avaliação Global de Resultados Única – Último ano do Programa 2012 Foco: Objetivo Geral do PNAGE-BA. Destina-se a informar sobre a consistência entre os objetivos e os produtos obtidos; e entre estes e os resultados. Deve apresentar lições aprendidas e relatório das mudanças obtidas pelo Programa. Inclui conclusões e recomendações destinadas a orientar novos desenhos de programa na área. Critérios: Eficácia, Efetividade e Satisfação do Usuário. Relatório Único de Avaliação Global de Resultados - Secretário da SAEb e SEPLAN;

Monitoramento PNAGE-BA Plano de Monitoramento PNAGE-BA Para o desenvolvimento da Metodologia de Monitoramento do PNAGE-BA definimos as seguintes etapas: 5 Dimensões Focais 1 Usuários 6 Indicadores 2 Periodicidade 7 Linha de Base 3 Critérios 8 Instrumentos e Mecanismos 4 Modelo 9 Arranjo Institucional Estratégia de Retroalimentação 10

Usuários O primeiro fator a ser considerado no desenvolvimento da Metodologia de Monitoramento do PNAGE-BA está relacionado aos seus usuários. Baseada nessa definição é que se deram todos os passos subseqüentes, desde a construção de um conjunto de indicadores que satisfizessem as necessidades desses usuários até a definição do arranjo institucional e de uma estratégia de retroalimentação eficiente. Assim, foram identificados os principais usuários dos resultados do processo de monitoramento, são eles: Secretário de Administração e o Secretário de Planejamento do Estado da Bahia; Chefes de Gabinete da Secretaria de Administração e da Secretaria de Planejamento do Estado da Bahia; Assessoria técnicas do Gabinete da Secretaria de Administração e da Secretaria de Planejamento do Estado da Bahia; Superintendentes das áreas da Secretaria de Administração e da Secretaria de Planejamento do Estado da Bahia envolvidos com os produtos do PNAGE-BA; Equipe técnica do PNAGE-BA; Interlocutores e gestores dos produtos do PNAGE-BA.

Periodicidade Os dados serão coletados e mensurados semestralmente, em conformidade com a elaboração do Relatório de Progresso e o seu envio ao Ministério de Planejamento, Orçamento e Gestão - MPOG. Realizando o monitoramento com a mesma periodicidade com a qual o MPOG acompanha as ações do PNAGE nos Estados, conseguiremos facilmente os dados para formular e enviar relatórios precisos e reais da situação do programa no Estado da Bahia.

Critérios Foram definidos quatro critérios para nortear a Metodologia de Monitoramento: Eficácia – É a capacidade de gerar os produtos esperados. Eficiência - Está relacionado com a produtividade; execução física e financeira dos produtos. Celeridade – É a capacidade de medir o tempo de execução dos produtos preliminares e intermediários relacionados aos produtos finais. Pontualidade – É a capacidade de medir se a atividade foi realizada no prazo previamente definido.

Modelos O modelo proposto para o PNAGE-BA é o do Monitoramento de Pressupostos, Processos e Produtos. A metodologia vai se concentrar no acompanhamento: Dos pressupostos básicos para que as ações do projeto possam ser empreendidas; Das atividades que são utilizadas para auxiliar a execução do programa; Da execução dos produtos definidos no Projeto. Assim, buscou-se definir as dimensões focais a serem monitoradas, as perguntas específicas que serão respondidas no decorrer do processo, ou seja, o que será monitorado, e a definição dos indicadores.

Dimensões Focais No caso do PNAGE-BA, as dimensões focais estão vinculadas a três aspectos distintos. Pressupostos - A necessidade desse monitoramento reside na importância de se saber se os pressupostos básicos para a implementação do PNAGE-BA estão sendo cumpridos de modo a gerar os produtos esperados. 1 Processos - Está diretamente vinculada as formas de realização do Projeto em si e se divide em duas sub-dimensões. A necessidade desse monitoramento reside na importância de saber como estão sendo realizadas as atividades que dão suporte a execução do programa e se as ferramentas utilizadas estão cumprindo suas funções de aporte gerencial. 2 3 Produtos - Está diretamente vinculada aos componentes do Projeto em si e se divide em sete sub-dimensões. A necessidade desse monitoramento reside na importância de acompanhar a realização dos produtos do projeto.

Dimensões Focais Pressupostos Processos Produtos DIMENSÕES Administração do Projeto. Desenvolvimento de políticas e da capacidade de gestão de recursos humanos; Fortalecimento da capacidade de planejamento e de gestão de políticas públicas; Desenvolvimento de uma cultura de promoção e implantação de mudança institucional; Modernização da gestão da informação e integração dos sistemas de tecnologia de informação; Fortalecimento de mecanismos de transparência administrativa e de comunicação; Modernização de estruturas organizacionais e de processos administrativos; Contratação e acompanhamento de execução dos produtos PNAGE-BA Instrumentos do programa DIMENSÕES SUB-DIMENSÕES

Montagem dos Indicadores Com base nas dimensões focais e no marco lógico do programa, montados de acordo com os objetivos expressos pelo PNAGE-BA, foi definida uma lista de indicadores para mensurar e avaliar pressupostos, processos e produtos. Nessa seleção, foram levadas em conta certas características básicas intrínsecas a tais instrumentos para que sejam úteis e também as dimensões focais descritas acima. Os indicadores deverão ser: Claros e precisos para evitar a ambigüidade, e por essa razão foram evitados indicadores proxy; Relevantes e intrinsecamente ligados aos assuntos objeto da avaliação; Disponíveis a baixo custo ou com boa relação custo-benefício; Adequados e que fornecem base suficiente para análise; Monitoráveis e verificáveis por fontes independentes de validação.

Indicador para Política . Dimensão: Produto Sub-dimensão: Desenvolvimento de políticas e da capacidade de gestão de RH Produto: Política de RH redefinida e alinhada à macropolítica de gestão Exemplo:

Indicador para Modelo Dimensão: Produto Sub-dimensão: Modernização de estruturas organizacionais e de processos administrativos Produto: Modelo de gestão de custos concebido, implantado e implementado Exemplo:

Indicador para Sistema . Dimensão: Produto Sub-dimensão: Fortalecimento de mecanismos de transparência administrativa e de comunicação Produto: Modelo de atendimento ao cidadão com ênfase no atendimento eletrônico concebido, implantado e implementado Exemplo:

Dos Indicadores Linha de Base A linha de base de um indicador corresponde ao valor assumido por esse indicador no momento imediatamente anterior ao início das ações ou alternativamente, no momento do início das medições quando não houver dados anteriores ao começo do programa. No modelo proposto pelo PNAGE-BA a linha de base de alguns dos indicadores será obtida conforme definição constante no Quadro de Indicadores de Monitoramento a seguir ilustrado. Quanto às informações para as quais não existam dados nos registros institucionais, a linha de base será estabelecida no primeiro ponto de monitoramento.

Instrumentos e Mecanismos A Metodologia de Monitoramento do PNAGE-BA prevê a construção de um Banco de Dados que abrigue as informações colhidas. Coleta de Dados para o Relatório de Monitoramento relativo ao semestre (Interlocutores) Disponibilização dos Formulários de Informações (UCE-BA) Entrega dos formulários de informações a UCE-BA (Interlocutores) Publicação do 1º Relatório de Monitoramento Fluxo de Informações A alimentação do referido Banco de Dados será feita de maneira descentralizada, com o preenchimento de um formulário de informações em meio eletrônico pelas áreas envolvidas com o projeto através de seus interlocutores e pela equipe UCE-BA. O fornecimento dos dados necessários ao monitoramento deverá ser pactuado antecipadamente, pela Coordenação-Executiva da UCE-BA, com os responsáveis pelas informações.

Instrumentos e Mecanismos O período de coleta de dados foi definido de acordo com as características do próprio monitoramento. Cronograma Os dados a serem fornecidos serão todos em base semestral, ou seja, referentes aos seis meses anteriores ao mês de coleta.

Arranjo Institucional Responsável: Secretário da SAEB e SEPLAN Responsável: Chefe de Gabinete, Assessoria técnica do Gabinete e Superintendentes da SAEB e SEPLAN

Arranjo Institucional Responsável: UCE-BA

Arranjo Institucional Responsável :Interlocutores Responsável : Gestores dos produtos do PNAGE-BA

Retroalimentação Estratégia de Um dos pilares de sustentação do Sistema de Monitoramento e Avaliação do PNAGE-BA é a sua estratégia de retroalimentação. Ou seja, como os dados gerados serão utilizados pela direção do programa para a tomada de decisões, divulgação e aprendizado institucional. Dessa forma, propõe-se que sejam realizadas reuniões semestrais de validação dos dados do Monitoramento nos meses de agosto e fevereiro, nas datas de entrega do respectivo relatório. Haverá oficinas focadas aos grupo de usuários previstos na metodologia, que deverão contar com a participação dos mesmos ou de seus representantes, objetivando a discussão dos dados colhidos e a elaboração de um pequeno plano de trabalho para implementação das recomendações, quando for o caso. Deve-se, entretanto, levar em conta que a implementação das recomendações e também a institucionalização das lições aprendidas com as atividades de Monitoramento muitas vezes são difíceis de serem conseguidas de maneira automática. É aconselhado que, ao final das reuniões de divulgação dos resultados, seja estabelecido um pequeno e prático plano de implementação das recomendações, de maneira a também disseminar a utilidade do processo, assim como consolidar suas bases de sustentação.

Retroalimentação Estratégia de Numa concepção dinâmica, a estratégia de retroalimentação teria o seguinte formato: Execução das Ações do PNAGE-BA Reuniões de Retroalimentação do Plano de Monitoramento Monitoramento Semestral de Pressupostos, Processos e Produtos

Secretarias Executoras Secretaria de Administração Secretário Manoel Vitório da Silva Filho Secretaria de Planejamento Secretário Ronald de Arantes Lobato Equipe de Coordenação do Projeto Secretaria de Administração Interlocutores: Antonio César Milton Coelho Fernando Ricardo Suely Luciane Bastos Telma Moreira Flávia Barros Luciana Nascimento Rodrigo Pimentel Secretaria de Planejamento Patrícia Teixeira Iara Vieira Ana Cristina Castelo Branco