Avaliação de Resultados – A Experiência do Governo Federal Pedro Antonio Bertone Ataide Programa Avançado Em Gestão Pública Contemporânea GOVERNO DO ESTADO DE SÃO PAULO CASA CIVIL – EGAP/FUNDAP São Paulo – Novembro/04

Avaliação - Contextualização Debate sobre a Reforma do Estado intensificado nos anos 70 nos países desenvolvidos e a partir dos anos 90 no Brasil Princípios Gerais – Aumento da eficiência, melhoria da qualidade na prestação de serviços, aumento do controle social e da transparência, combate ao patrimonialismo, ao clientelismo e à corrupção. Avaliação na experiência internacional - tendência à incorporação, ainda que em ritmo lento, da integração dos resultados da avaliação às práticas de gestão e ao processo de tomada de decisão. (Morgan et al). Experiência brasileira nos anos 90 - incorporação de diversas modalidades e experiências de avaliação, sem a efetiva integração às práticas de gestão e ao processo decisório nas organizações.

Avaliação – Conceitos e Tipologias Avaliação - Definições e abrangência diferenciadas 4 grandes tipos, classificáveis, segundo Cohen e Franco: Quanto ao momento em que se realiza Quanto aos seus propósitos/finalidades; Quanto aos avaliadores Quanto ao objeto da avaliação

Avaliar Para quê? Apoiar decisões sobre alocações de recursos Promover a melhoria da gestão Contribuir para o processo de aprendizagem organizacional Melhorar a qualidade dos serviços públicos Aumentar a accountability Auxiliar no controle

Desafios a serem enfrentados na concepção de modelos de avaliação (OCDE/PUMA) 1) Obtenção do apoio dos dirigentes; 2) Geração de demanda efetiva por avaliação; 3) Estabelecimento de expectativas realistas; 4) Sistematização das atividades de avaliação; 5) Articulação entre a avaliação e o processo orçamentário; 6) Escolha do(s) avaliador(res) correto(s); 7) Planejamento das atividades de avaliação; 8) Realização com timing adequado;

Desafios a serem enfrentados na concepção de modelos de avaliação (OCDE/PUMA) 9) Orientação para a satisfação das necessidades dos usuários da avaliação; 10) Busca da garantia de sua relevância; 11) Envolvimento dos interessados; 12) Garantia da qualidade metodológica; 13) Emissão de juízos e recomendações; 14) Divulgação adequada de seus resultados; 15) Monitoramento adequado de seu processo; 16) Identificação das necessidades das equipes em capacitação e suporte.

Porque Monitorar e Avaliar ? Parte Integrante da nova Gestão Pública Descentralizada Por responsabilidades Contratualizada com metas de desempenho Orientada para resultados na sociedade

Avaliação subsidiando a alocação de recursos Passar do orçamento incremental para o orçamento por desempenho: Sair de uma cultura orientada pelo gasto para uma cultura orientada pelo resultado (gastar com qualidade e eficiência) O problema central nos orçamentos não é o conflito distributivo e sim a forma de arbitragem (importância do Plano Plurianual e da avaliação)

Registro de desempenho físico Monitoramento Gerente de programa SIGPLAN Registro do desempenho físico Gestão de restrições SAM e SPI Gerenciamento em rede 2000 2001 2002 2003 Registro de desempenho físico 37% 49% 68% 59%

Desafios da Avaliação Criar um sistema de monitoramento e avaliação que: Gere conseqüências Admita a diversidade de avaliações, considerando diretrizes gerais

Desafios do sistema de monitoramento e avaliação Elevar o valor da avaliação para a gestão Adaptar a avaliação às expectativas dos decisores Focalizar a comunicação dos resultados Compromissar o avaliador e o gestor com a mudança Reduzir resistências: informação riscos/oportunidades

Desafios do sistema de monitoramento e avaliação do PPA Aumentar o grau de participação – avaliação como instrumento de diálogo com a sociedade civil - escuta Elevar a capacidade de avaliar Formação de avaliadores Certificação de avaliadores Fortalecimento da capacidade institucional dos entes subnacionais

Sistema de Monitoramento Avaliação do Plano Plurianual: Várias modalidades de avaliação integradas ao ciclo de gestão do gasto Comissão de Monitoramento e Avaliação Representantes de órgãos do Poder Executivo Definição de regras gerais Unidade de Monitoramento e Avaliação Apoio à avaliação e ao monitoramento dos programas Definição de regras específicas Abordagem participativa da Avaliação

Eficiência, Eficácia e Efetividade da Gestão Pública Objetos do sistema de monitoramento e avaliação R Humanos Eficiência, Eficácia e Efetividade da Gestão Pública Programas Organizações

Sistema de Monitoramento Avaliação do Plano Plurianual: Comitê de Avaliação do Programa Comitê de Avaliação do Programa Comitê de Avaliação do Programa COMISSÃO Comitê de Avaliação do Programa Comitê de Avaliação do Programa Avaliação CONVIVER (Grupo Coordenador: S. Civil; MI; Academia)

Avaliação do PPA Processo de aferição periódica dos resultados e da aplicação dos recursos; Princípio de auto-avaliação conjugado à análise da Comissão de Avaliação; Avaliação Anual: nível mínimo de avaliação; Avaliação de programas selecionados - complementar ao processo de avaliação anual; Processo Participativo: Construção coletiva das soluções; Prestação de contas à sociedade;

Avaliação anual do PPA

Avaliação de Programas Selecionados Características Gerais: Avalia processo e impactos dos programas; Avaliação externa, com participação do grupo coordenador e das equipes dos programas.

Avaliação Participativa Finalidade Melhoria da qualidade das informações Aumentar o grau de controle social Aumentar a efetividade dos programas Como ? Implantação gradual Grupo seleto de programas Multidimensional: setorial e territorial

Planos de Avaliação O Plano de Avaliação reflete a estratégia de avaliação adotada para o programa, definindo no mínimo: Quais avaliações serão realizadas; Financiamento; Periodicidade; Informações necessárias; Canais de participação social; Aplicação dos resultados.

Ciclo de Planejamento Impacto na na Sociedade Avaliação Revisão dos Participação Revisão dos Programas Monitoramento Impacto na na Sociedade Execução dos Programa Problema ou Demanda da Sociedade Planejamento expresso em Programas Participação 21

Monitoramento e Articulação Gestão de Programas Estratégicos – Metas Presidenciais. Processo de definição das metas presidenciais A pedido do PR foram definidas em processo participativo, sob a coordenação conjunta da CC/PR e do MP Definição das metas prioritárias dos órgãos setoriais considerou as orientações das Câmaras de Governo, a preocupação com a geração de empregos e com impactos espacialmente distribuídos Metas de duas naturezas – com impacto orçamentário ou de natureza político/institucional De uma primeira relação de iniciativas prioritárias (273) foram selecionados um conjunto de prioridades máximas para 2004 (45) nas áreas de desenvolvimento sustentável e emprego, combate à pobreza, inclusão social, infra-estrutura, inserção soberana, gestão do Estado, combate à corrupção e democracia e diálogo.

Monitoramento e Articulação Gestão de Programas Estratégicos – Metas Presidenciais. Processo de monitoramento das metas presidenciais - Tem o objetivo de acompanhar os resultados e apoiar no equacionamento dos entraves Monitoramento em 2 fases – Na 1ª fase o monitoramento das metas prioritárias, incluindo numa 2ª fase as demais metas presidenciais Monitoramento integrado Casa Civil/MP evitando redundâncias, pactuado por meio de oficinas com a participação de todas as áreas envolvidas na implementação da meta Tem como instrumento o “SIGSAM” e como usuários a Presidência da República, a Coordenação de Governo, Ministros e gerentes das Metas Presidenciais Uso intensivo das Câmaras de Governo como espaço de identificação de entraves e oportunidades na implementação das Metas Integração à Junta de Execução Orçamentária-Financeira, garantindo tomada de decisão de natureza alocativa baseada na efetividade do gasto