Monitoramento e Avaliação na Gestão Pública Glauco Knopp glauco.knopp@institutopublix.com.br

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: CONTEXTO A prática de Avaliação na Gestão Pública tem início após a II Guerra Mundial Esforço de reconstrução dos países, avaliações de alguns programas sociais de grande vulto Incentivo de organismos multilaterais (BIRD)

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: CONTEXTO Países em desenvolvimento: M&A nos governos incipiente até início de 1990. Os avanços da nova administração pública têm muitas implicações sobre a função e a prática da avaliação

+ Reformas de primeira geração, o ajuste fiscal Crise & Oportunidade de Reinvenção do Estado (ESTADO EM REDE) Estado tradicional: Protagonismo isolado na cena do desenvolvimento Estado em rede: Concertador ativador e direcionador estratégico das capacidades do mercado e da sociedade Reformas de primeira geração, o ajuste fiscal Se basta: ajuste pelo ajuste como pré-condição: primeiro o ajuste, depois o desenvolvimento É uma agenda negativa: “custos de oportunidade ao desenvolvimento” Reformas de segunda geração: a estratégia “dual” Ênfase no desenvolvimento e no fortalecimento institucional + Qualidade (com responsabilidade) fiscal e consolidação do ajuste pelo ganho de eficiência: “fazer (o que deve ser feito) mais e melhor com menos” Reformas de primeira geração: a crise fiscal e a agenda de ajuste decorrente capturam integralmente a agenda de governo, fazendo com que as urgências se sobrepusessem às importâncias. Reformas de primeira geração: Desempenho é fazer mais com menos ... Gerando resultados que criam VALOR PÚBLICO sustentável

+ Reformas de primeira geração, o ajuste fiscal Crise & Oportunidade de Reinvenção do Estado (ESTADO EM REDE) Estado tradicional: Protagonismo isolado na cena do desenvolvimento Estado em rede: Concertador ativador e direcionador estratégico das capacidades do mercado e da sociedade Reformas de primeira geração, o ajuste fiscal Se basta: ajuste pelo ajuste como pré-condição: primeiro o ajuste, depois o desenvolvimento É uma agenda negativa: “custos de oportunidade ao desenvolvimento” Reformas de segunda geração : a estratégia “dual” Ênfase no desenvolvimento e no fortalecimento institucional + Qualidade (com responsabilidade) fiscal e consolidação do ajuste pelo ganho de eficiência: “fazer (o que deve ser feito) mais e melhor com menos” GESTÃO DA ESTRATÉGIA GESTÃO DA EFICIÊNCIA OPERACIONAL GESTÃO DA EFICIÊNCIA OPERACIONAL ... Gerando resultados que criam VALOR PÚBLICO sustentável

Orientada para a conformidade normativa Fragmentada Comando-controle Crise & Oportunidade de Reinvenção do Estado (ESTADO EM REDE) BUROCRACIA ORTODOXA Orientada para a conformidade normativa Fragmentada Comando-controle GOVERNANÇA SOCIAL Orientada para resultados que geram valor público Sistêmica Relacional (em rede)

UM NOVO PADRÃO DE GESTÃO PÚBLICA: O QUE MUDA? Orientação para o cidadão-usuário, ênfase na qualidade do serviço e do atendimento (integrado) Gestão orientada para resultados: planejamento estratégico, orçamento por resultados, acordos de resultados, gerenciamento intensivo de programas e projetos, monitoramento & avaliação Flexibilização, simplificação burocrática e autonomia (com responsabilização) Novas formas de prestação de serviços públicos por meio de parcerias com entes de cooperação e parcerias público-privada Fortalecimento do núcleo estratégico de governo por meio da profissionalização da alta burocracia e do desenvolvimento de formas inovadoras na gestão de políticas públicas Gestão em rede fortalecendo a capacidade relacional para lidar com a transversalidade e relações intergovernamentais Uma nova gestão de pessoas: estratégica e profissional (carreiras, desenvolvimento de competências, remuneração variável por desempenho, sistema de gerência pública) Mudanças na relações governo-sociedade, controle social, transparência, participação, governança social

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA MAPA ESTRATÉGICO ... Um Modelo de Governança Estratégica Para Resultados RESULTADOS MAPA ESTRATÉGICO Indicadores Metas projetos 1 ESFORÇOS CENTRAL DE RESULTADOS 5 2 DESDOBRAMENTO Processos Pessoas ALINHAMENTO Processos, estrutura, pessoas 4 3 CONTRATUALIZAÇÃO Abordagem desenvolvida por Marini & Martins

Do governo que governa a sociedade PARA MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA ... Um Modelo de Governança Estratégica Para Resultados CONTROLE SOCIAL CONSTRUÇÃO COLETIVA DA AGENDA RESULTADOS ESFORÇOS PROCESSO DE CO-PRODUÇÃO NA IMPLEMENTAÇÃO Do governo que governa a sociedade PARA o governo que governa COM a sociedade Processos Pessoas Abordagem desenvolvida por Marini & Martins

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA ... Gerando VALOR PÚBLICO sustentável Planejamento Execução Monitoramento Avaliação Concepção e Desenho Dimensões do Resultado Impactos (outcomes) Produtos (outputs) Insumos (inputs) Excelência Execução Economicidade Eficácia Efetividade Eficiência Dimensões de Esforço Outros Ética Poder Cultura Ações/Atividades Organizações Projetos Processos Estado Mercado 3º Setor Cadeia de geração de valor público: articulação de uma série de circuitos interorganizacionais no ciclo de política para gerar valor público sustentável Conceito de desempenho abrangente: esforços + resultados: desempenho que envolve e satisfaz as partes interessadas Modelo multidimensional e integrado: múltiplas dimensões de esforços e de resultados, múltiplos atores e ciclo de política. O desempenho das políticas públicas interessa a um vasto conjunto de atores.

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: CONTEXTO Estamos falando de um novo modelo de Estado, baseado em Governança (Governo Matricial e em Rede) e Desempenho (Esforços e Resultados), cujo alcance só é possível a partir de mecanismos de Monitoramento e Avaliação

Estamos falando de monitorar e avaliar o desempenho do que? MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: DIFERENTES OBJETOS DE ANÁLISE Estamos falando de monitorar e avaliar o desempenho do que? Organizações: Governos Setores: áreas ou domínios de políticas públicas e da economia Intervenções: planos, programas, projetos Pessoas: equipes, líderes, cada indivíduo Serviços: internos e externos às organizações Processos Sistemas Cada objeto com seus sistemas, métodos e estratégias de monitoramento e avaliação que devem “conversar” entre si

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Alguns princípios básicos A criação de um Sistema de M&A não pode ser entendida como um fim em si mesmo Mais importante que avaliar olhando para trás, ou seja, buscando responder se um determinado projeto apresentou resultados, é olhar pra frente, buscando melhorar a qualidade dos programas, e constituir instituições governamentais capazes de construir políticas públicas com base em evidências (LEGOVINI, 2009). Deve-se respeitar o timing político-eleitoral

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Fatores Críticos de Sucesso em M&A Utilidade (tempestividade, relevância, qualidade) e credibilidade (confiabilidade do método, da fonte) das informações geradas Capacidade de integração à agenda de planejamento, gestão e orçamento governamentais Forte estrutura de incentivos para a geração e uso da informação Demanda pela informação

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Usos das Informações de M&A Aprendizagem organizacional Melhorar a prática Accountability e transparência Alocação de recursos (integrar informações sobre resultados ao processo de tomada de decisões orçamentárias) Controle/Fiscalização/Auditoria (Órgãos de Controle)**

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Partes Interessadas (usuários) nas informações de M&A Gestores: Aprimorar desenho e funcionamento Legislativo/Planejamento/Fazenda: alocação de recursos entre programas Sociedade civil: Prestação de contas a quem paga os impostos Beneficiário: “Empoderamento”

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Vantagens da adoção de sistemas de M&A em governos Fortalecimento das relações de prestação de contas para dentro e para fora do governo Tomadas de decisão mais eficazes Fomento ao intercâmbio de idéias e experiências sobre os programas e projetos públicos Implementação de inovações Geração e Sistematização de conhecimentos na Administração Pública

Monitoramento & Avaliação Iluminação e Controle social MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: UTILIDADES DAS INFORMAÇÕES DE M&A Monitoramento & Avaliação Implementação Intervenções Política Estratégias políticas Sociedade Normas e Valores Abre oportunidades de aprendizagem Provê recomendações Cria transparência Ajuda na supervisão Melhora o nível de informações Abre oportunidades para participação democrática Torna as políticas públicas mais efetivas, eficientes e sustentáveis Dá mais credibilidade às políticas públicas Permite a avaliação usando critérios de sustentabilidade Gerenciamento Legitimação Iluminação e Controle social M&A tem um caráter aplicado!!!! Resultados tem que ter utilidade para alguém Fonte: R. Stockmann

Iniciativa em Operação MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: CICLO DE VIDA E FERRAMENTAS DE M&A IDENTIFICAÇÃO FORMULAÇÃO IMPLANTAÇÃO PÓS IMPLANTAÇÃO DECISÃO DE IMPLANTAR CORREÇÕES DE RUMO Concepção Avaliação de término Iniciativa em Operação Monitoramento (ex-post) Execução Diagnóstico Intermediária Avaliação “ex-ante” DECISÃO DE CONTINUAR DECISÃO DE REPETIR A avaliação perpassa todo o ciclo das políticas públicas Serve para orientar ajustes em programas em andamento

Avaliação de processos Avaliação de Impacto MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA: TIPOS DE AVALIAÇÃO NO GOVERNO DO MÉXICO ANO 0 ANO 1 ANO 2 ANO 3 DECISÃO DE IMPLANTAR CORREÇÕES DE RUMO Avaliação de Desenho Monitoramento Avaliação de processos DECISÃO DE CONTINUAR DECISÃO DE REPETIR Avaliação de Impacto Avaliação Executiva Avaliação Econômica Avaliação de Indicadores Avaliações Complementares Linha de Base Focalização Stakeholders Meta-avaliação A avaliação perpassa todo o ciclo das políticas públicas Serve para orientar ajustes em programas em andamento CORREÇÕES DE RUMO

Dimensões do Desempenho Ciclo de Vida T-1 T0 Ti Tf Tf+1 Efetividade Eficácia Eficiência Dimensões do Desempenho Monitoramento Execução Excelência Economicidade Avaliação

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA M&A em Governos no Brasil Crescente difusão e adoção nos últimos anos Requisito formal (condicionalidades contratuais impostas por BMDs) Foco em fiscalização e controle Pouco uso dos resultados

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Diagnóstico de M&A em Governos no Brasil A demanda espontânea por avaliações de políticas, programas e projetos ainda é incipiente no setor público brasileiro A geração de informações sobre os resultados de organizações, programas, políticas etc., ainda apresenta severas fragilidades A incorporação destas informações aos processos decisórios, buscando-se ajustes e aprendizado, é incipiente Fonte: Marcia Joppert (2010; 2011)

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Diagnóstico de M&A em Governos no Brasil Publicização externa sobre a prática de M&A ainda é ruim Impactos políticos das avaliações Cultura reativa e defensiva típica de certas administrações (exposição das vísceras; avaliação vista como controle/punição) Fonte: Marcia Joppert (2010; 2011)

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Diagnóstico de M&A em Governos no Brasil A avaliação não é uma profissão institucionalizada e regulamentada e bem definida Há poucos profissionais especializados disponíveis na área de M&A. Acaba-se limitando aos que se conhece. Há insuficiência da oferta acadêmica de cursos de especialização em M&A Fonte: Marcia Joppert (2010; 2011)

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Diagnóstico de M&A em Governos no Brasil As avaliações são reduzidas à dimensão output, quando o ideal seria considerar diferentes dimensões de diferentes realidades (desenho, implementação, custo-efetividade, impacto) para contextos diferentes Há pouca aderência dos resultados de avaliação à realidade prática dos programas, ou seja, baixo valor agregado da avaliação na geração de aprendizado e soluções efetivas Fonte: Marcia Joppert (2010; 2011)

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Diagnóstico de M&A em Governos no Brasil Quase inexistência de avaliações mistas (avaliações externas causam reações negativas dos gestores e as internas sofrem problemas de isenção) Falta de cultura de tratar a avaliação como parte do projeto (previsão de $$ para avaliar) Fonte: Marcia Joppert (2010; 2011)

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Diagnóstico de M&A em Governos no Brasil Ausência de cultura de planejamento com base em métodos e evidências (uso do “achômetro”, feeling, conhecimento tácito) Desintegração entre formulação e avaliação (condições de avaliabilidade; retroalimentação) Ausência de equipes no setor público com expertise para demandar avaliações (problemas nos TdR, editais) e analisar seus resultados Fonte: Marcia Joppert (2010; 2011)

MONITORAMENTO E AVALIAÇÃO NA GESTÃO PÚBLICA Diagnóstico de M&A em Governos no Brasil Sociedade pouco instrumentalizada para saber demandar O conhecimento no tema é acumulado em áreas específicas (educação, saúde), mas não sistematizado e compartilhado Legislativo pouco proativo (comissões mistas, projetos de lei exigindo avaliações de programas) Fonte: Marcia Joppert (2010; 2011)

Glauco Knopp Mestre em Administração Pública pela FGV e Bacharel em Administração pela Escola Superior de Propaganda e Marketing (ESPM). Possui experiência profissional em organizações privadas (com e sem fins lucrativos) e na administração pública, com destaque para: Lojas Americanas S.A. (Gerente de Loja); Governo do Estado do Rio de Janeiro (Coordenador de Monitoramento e Avaliação do PNAGE); OSCIP Centro Mineiro de Alianças Intersetoriais (Coordenador de Projetos); Governo do Estado de Minas Gerais (Empreendedor Público). Lecionou em instituições de ensino superior, em cursos de graduação e pós-graduação, entre elas EBAPE/FGV e UFRJ. Atua como docente-colaborador eventual da Escola de Governo da Fundação João Pinheiro/MG em cursos de pós-graduação e Professor Associado da Fundação Dom Cabral (FDC). É palestrante e autor de diversas publicações em temas relacionados à gestão pública. É Consultor Sênior do Instituto Publix. glauco.knopp@institutopublix.combr