Avaliação de Programas de Governo Governo do Estado de São Paulo Casa Civíl Subsecretaria de Gestão e Recursos Humano Egap/Fundap Programa Avançado em Gestão Pública Contemporânea Avaliação de Programas de Governo A experiência do Tribunal de Contas da União Selma Maria Hayakawa Cunha Serpa Secretária de Fiscalização e Avaliação de Programas de Governo São Paulo 03/06/05

Legislação Constituição Federal/88, Art. 71, Inciso IV Resolução/TCU Nº 256/91 Lei Nº 8.443/92, Art. 38, Inciso I Regimento Interno TCU (1993 e 2002) IN/TCU Nº 09/1995 Manual de Auditoria de Natureza Operacional (1998 e 2000)

Inovações na forma de atuação do TCU ÊNFASE NA ESPECIALIZAÇÃO ESTABELECIMENTO DE METAS E PRIORIDADES RACIONALIZAÇÃO DO PROCESSO DE INSTRUÇÃO DE CONTAS INFORMATIZAÇÃO DO ENVIO DAS CONTAS AO TCU ACORDOS DE COOPERAÇÃO TÉCNICA

O Controle Externo no contexto da Reforma do Estado Brasileiro de 1995 o novo paradigma de accountability projeta a prestação de contas do gestor para além dos limites formais da burocracia, responsabilizando-o perante a sociedade e pressupondo mecanismos de salvaguarda dos ativos públicos contra excessos de poder.

Desafio Como o TCU poderia contribuir de forma efetiva para aumentar a responsabilização dos agentes públicos, para aperfeiçoar a ação de governo e para garantir à sociedade que as informações disponíveis sobre desempenho são fidedignas ?

Secretaria de Fiscalização e Avaliação de Programas de Governo - Seprog Criada em 2001 Avalia programas de governo de abrangência nacional ou regional mediante a realização de Auditorias de Natureza Operacional - Anop Desenvolve e dissemina métodos, técnicas e padrões de Anop Presta apoio técnico para as Secex Acompanha e consolida os resultados do monitoramento das avaliações de programas.

Projeto CERDS Acordo de Cooperação Técnica firmado entre os Governos do Brasil e do Reino Unido da Grã-Bretanha e Irlanda e executado pelo Tribunal de Contas da União e o Department for International Development – DFID: Fase I : 1998 a 2001 Fase II : 2002 a 2006

Projeto de Aperfeiçoamento do Controle Externo com Foco na Redução da Desigualdade Social - CERDS/Fase II Objetivos: avaliação de programas voltados para a superação da pobreza e da desigualdade social no país fortalecimento do controle social aproximação com a sociedade civil

Aporte do DFID assessor residente e consultoria especializada apoio à publicação de manuais, documentos técnicos e de divulgação; apoio à realização de eventos de divulgação desenvolvimento de bancos de dados capacitação do corpo técnico viagens de estudo

Instrumentos de Controle TCU: exame e julgamento de contas; apreciação de denúncia, representação e consulta; fiscalização; apreciação dos atos de pessoal (admissões e concessões); apreciação de desestatização; e, apreciação de contas do governo.

Auditoria de Natureza Operacional Auditoria de natureza operacional é um processo de coleta e análise sistemáticas de informações sobre características, processos e impactos de um programa, atividade ou organização, com base em critérios fundamentados,  com o objetivo de avaliar a economicidade, eficiência, eficácia e efetividade, gerar recomendações para aperfeiçoar a gestão e contribuir para a responsabilização dos gestores pelo desempenho da ação estatal.

Auditoria de Natureza Operacional Modalidades Auditoria de desempenho operacional Avaliação de programa

Auditoria de Natureza Operacional Auditoria de desempenho Impacto Avaliação de programa efetividade Missão Objetivos gerais Auditoria de desempenho operacional economicidade eficiência eficácia Objetivos específicos Funções Atividades

Auditoria Desempenho X Avaliação de Programa Objeto: programas Foco: resultados/efeitos (relações de causa-e-efeito) Metodologias: modelos experimentais, modelos quase-experimentais, análise custo-benefício Examina questões avaliativas Objeto: órgãos e entidades jurisdicionadas Foco: economicidade, eficiência e eficácia Examina questões normativas Análise da gestão Metodologias/técnicas comuns: estudos de caso, pesquisa, entrevistas estruturadas, observação direta, indicadores de desempenho, benchmarking Uso de especialistas

Objetivos Avaliação de Programas aperfeiçoar a ação governamental; avaliar o desempenho e a efetividade do programa quanto a sua contribuição para melhorar a realidade sobre a qual atua; assegurar a responsabilização por desempenho.

Responsabilização por Desempenho Responsabilização por desempenho é uma das dimensões do paradigma de accountability, pois relaciona-se a noção de governança, à capacidade do governo de responder às demandas da sociedade, à transparência das ações do poder público e à responsabilidade dos agentes políticos e administradores públicos pelos seus atos, transcendendo-se assim ao conceito de prestação de contas tradicional.

CICLO DAS AUDITORIAS DE NATUREZA OPERACIONAL . Monitoramento Seleção – Matriz de Risco Divulgação Seleção – Estudo de Viabilidade Planejamento Apreciação Comentário do gestor Execução e Relatório 28

Programas de Governo LOA 2004 387 Programas (6.741 ações) 299 Programas Finalísticos: (4.681 ações): 64 Programas relacionados ao Megaobjetivo I/PLPPA - 56,3% do gasto previsto (1.597 ações) 136 Programas relacionados ao Megaobjetivo II/PLPPA - 33,3% do gasto previsto (1.646 ações) 90 Programas relacionados ao Megaobjetivo III/PLPPA - 10,4% do gasto previsto (878 ações)

Gráfico 1 – Forma de Implementação das Ações Governamentais Fonte: Plano de Gestão do PPA 2004-2007 Texto para discussão-MPOG/SPI

Seleção - Matriz de Risco Critérios utilizados: Relevância - é um critério de avaliação qualitativo que busca levantar a importância relativa das ações em estudo, independentemente da sua materialidade Risco – é a expressão da probabilidade de ocorrência de eventos futuros incertos que têm potencial para influenciar o atingimento dos objetivos de uma organização/programa Materialidade - é a importância relativa ou representatividade do valor ou do volume de recursos envolvidos, isoladamente ou em determinado contexto

Seleção – Estudo de Viabilidade Manifestação sobre a conveniência e a oportunidade de se realizar avaliação de programa ou auditoria de natureza operacional, considerando o impacto potencial da auditoria na melhoria do desempenho.

Planejamento Elaboração do Projeto de Auditoria – Matriz de Planejamento Definição do problema e das questões de auditoria, identificação de fontes de informações, definição de estratégia metodológica, dos métodos de obtenção e análise de dados.

Planejamento Estudo das possíveis limitações Identificação do que a análise permitirá dizer identificação dos benefícios potenciais da auditoria Elaboração de papéis de trabalho para coleta de dados Teste piloto

Técnicas de Diagnóstico de Problema Mapa de Processo Mapa de Produto Entrevistas RECI (Responsável, Executor, Consultado, Informado) SWOT (Strenghts – Forças, Weaknesses – Fraquezas, Opportunities – Oportunidades, Threats – ameaças) Matriz de Verificação de Risco Análise Stakeholder (atores envolvidos)

Estratégias Metodológicas Estudo de Caso Pesquisa Delineamento Quase-experimental

Métodos de obtenção dos dados Entrevistas Questionários Observação direta Grupo Focal Consulta documental Consulta base de dados

Matriz de Planejamento

Execução e Relatório Coleta de dados Análise de dados Elaboração do relatório preliminar Comentários do gestor Elaboração do relatório final

Controle Concomitante: Controle de Qualidade Controle Concomitante: Supervisão Cronograma Painel de Referência Controle posterior Revisão dos pares Metodológica - Adfis

Divulgação Briefing: mídia Série Sumário Executivo : Público-alvo: Parlamentares Tribunais de contas estaduais e municipais Bibliotecas e instituições de ensino Demais atores envolvidos Série Relatórios de Avaliação de Programas Gestores Federais, Estaduais, Municipais Sistema de Controle Sociedade Civil

Monitoramento das Recomendações Acompanhamento, pela Unidade Técnica competente, das providências adotadas pelo órgão auditado em resposta às recomendações proferidas pelo Tribunal Avaliação do impacto das recomendações implementadas para o aperfeiçoamento do desempenho de órgãos/programas

Por que Monitorar? Maximizar a probabilidade de adoção das recomendações Acompanhar as providências adotadas Garantir o alcance dos efeitos desejados Verificar a adequação das recomendações em face das condições vigentes Auxiliar o gestor no acompanhamento do desempenho do órgão/programa Colher informações que alimentem o processo orçamentário e o de formulação de políticas públicas Aferir o benefício decorrente das recomendações implementadas

PRINCIPAIS CONSTATAÇÕES Desenho dos programas Estrutura organizacional deficiente Ausência de dados e indicadores de desempenho adequados Metas físicas e financeiras definidas segundo série histórica Contingenciamento de recursos Sistemática precária de coordenação das ações dos programas quanto a implementação, ao monitoramento e a avaliação

RESULTADOS DAS AVALIAÇÕES “ ... Gostaria de levar ao conhecimento deste Tribunal a visão do gestor público sobre auditoria operacional realizada sobre o Bolsa Família. Dentro de um novo enfoque da administração pública, no qual aspectos gerenciais ampliam a visão meramente burocrática da atuação do Estado, a realização dessa auditoria operacional pelo TCU colocou em foco para os gestores e para a sociedade não apenas deficiências mas, sobretudo, a complexidade da ação governamental do Bolsa Família, presente hoje em mais de 90% dos municípios e com mais de 6,7 milhões de famílias. Na medida em que essa Secretaria buscará atender sistematicamente todas as recomendações deste Tribunal, queremos registrar a importância do feedback proporcionado por essa auditoria operacional do programa, ainda que realizada na fase inicial do programa, possibilitando nesse momento a realocação de esforços e a correção de rumos.” (Rosane Evangelista da Cunha, Secretária Nacional de Renda de Cidadania do MDS)

RESULTADOS DAS AVALIAÇÕES Energia das Pequenas Comunidades o MME suspendeu a aquisição de 6.000 novos equipamentos estimada em US$ 30 milhões, até que fossem estabelecidos controles patrimoniais que permitissem a redução do risco de perda desses equipamentos;

RESULTADOS DAS AVALIAÇÕES Saúde do Escolar - Olho no Olho constatou-se que o programa atingia apenas 37% dos escolares que integravam seu público-alvo, acrescendo em 48% o custo per capita do programa. a Intosai, no documento sobre Avaliação de Programas de 2004, ressalta a pertinência das recomendações propostas nesse trabalho, que visam benefícios qualitativos e quantitativos aos beneficiários do programa.

RESULTADOS DAS AVALIAÇÕES Morar Melhor foi identificado o valor de R$ 121 milhões, correspondente a 26,5% do total dos recursos repassados, parados em contas bancárias vinculados a obras paralisadas, atrasadas e não iniciadas, comprometendo a eficácia e o benefício social esperado.

RESULTADOS DAS AVALIAÇÕES Novo Mundo Rural capacidade ociosa de aproximadamente 3,7 milhões de ha, o que a princípio corresponderia ao assentamento de 90 mil famílias.

RESULTADOS DAS AVALIAÇÕES Assistência Farmacêutica verificada a variação de até 531% nos custos médios unitários praticados pelos estados na aquisição de 4 medicamentos pesquisados; identificada a oportunidade de economia de mais de 35% no custo de aquisição de medicamento essencial para transplantados renais e pacientes com artrite reumatóide.

RESULTADOS DAS AVALIAÇÕES Livro Didático o valor total economizado pelo PNLD, em três anos, em decorrência da implementação das recomendações do TCU, foi de cerca de R$ 1.440.000,00; relação custo/benefício de aproximadamente R$ 25,26 poupado pelo Programa para R$1,00 investido na auditoria.

RESULTADOS DAS AVALIAÇÕES Proágua a implementação de recomendação formulada pelo TCU permitiu a economia de 57% (R$ 200 milhões) sobre os recursos inicialmente programados para a implantação de um projeto de adução de água.

RESULTADOS Disseminação de boas práticas de gestão Melhoria do desempenho dos programas mediante a implementação e o monitoramento das recomendações Desenvolvimento e disseminação da metodologia utilizada nas Auditorias Operacionais para demais órgãos de controle e auditoria.

PERCEPÇÃO DE DIFERENTES ATORES 89% de respondentes da pesquisa realizada por ocasião do Diálogo Público da Seprog, considerou que as avaliações realizadas pelo TCU contribuem para o aperfeiçoamento dos programas governamentais; 100% considerou o relatório útil para a organização em que atua. Objetivo estratégico do TCU nº4 o sumário executivo do Cadastro foi apresentado, como referência do caso brasileiro, aos participantes do “Second International Workshop on Conditional Cash Transfer (CCT) Programs”, promovido pelo Banco Mundial em parceria com outros organismos internacionais, que tinha como objetivo discutir as experiências de diversos países com programas de transferências de renda com condicionalidades.

CONTATO SECRETARIA DE FISCALIZAÇÃO E AVALIAÇÃO DE PROGRAMAS DE GOVERNO - SEPROG Secretária: Selma M Hayakawa Cunha Serpa Fone: 55-61- 316.7902 Fax: 55-61- 316.7896 E-mail: SEPROG@TCU.GOV.BR