Avaliação de Programas de Governo

Apresentação em tema: "Avaliação de Programas de Governo"— Transcrição da apresentação:

1 Avaliação de Programas de Governo
Governo do Estado de São Paulo Casa Civíl Subsecretaria de Gestão e Recursos Humano Egap/Fundap Programa Avançado em Gestão Pública Contemporânea Avaliação de Programas de Governo A experiência do Tribunal de Contas da União Selma Maria Hayakawa Cunha Serpa Secretária de Fiscalização e Avaliação de Programas de Governo São Paulo 03/06/05

2 Legislação Constituição Federal/88, Art. 71, Inciso IV
Resolução/TCU Nº 256/91 Lei Nº 8.443/92, Art. 38, Inciso I Regimento Interno TCU (1993 e 2002) IN/TCU Nº 09/1995 Manual de Auditoria de Natureza Operacional (1998 e 2000)

3 Inovações na forma de atuação do TCU
ÊNFASE NA ESPECIALIZAÇÃO ESTABELECIMENTO DE METAS E PRIORIDADES RACIONALIZAÇÃO DO PROCESSO DE INSTRUÇÃO DE CONTAS INFORMATIZAÇÃO DO ENVIO DAS CONTAS AO TCU ACORDOS DE COOPERAÇÃO TÉCNICA

4 O Controle Externo no contexto da Reforma do Estado Brasileiro de 1995
o novo paradigma de accountability projeta a prestação de contas do gestor para além dos limites formais da burocracia, responsabilizando-o perante a sociedade e pressupondo mecanismos de salvaguarda dos ativos públicos contra excessos de poder.

5 Desafio Como o TCU poderia contribuir de forma efetiva para aumentar a responsabilização dos agentes públicos, para aperfeiçoar a ação de governo e para garantir à sociedade que as informações disponíveis sobre desempenho são fidedignas ?

6 Secretaria de Fiscalização e Avaliação de Programas de Governo - Seprog
Criada em 2001 Avalia programas de governo de abrangência nacional ou regional mediante a realização de Auditorias de Natureza Operacional - Anop Desenvolve e dissemina métodos, técnicas e padrões de Anop Presta apoio técnico para as Secex Acompanha e consolida os resultados do monitoramento das avaliações de programas.

7 Projeto CERDS Acordo de Cooperação Técnica firmado entre os Governos do Brasil e do Reino Unido da Grã-Bretanha e Irlanda e executado pelo Tribunal de Contas da União e o Department for International Development – DFID: Fase I : a 2001 Fase II : a 2006

8 Projeto de Aperfeiçoamento do Controle Externo com Foco na Redução da Desigualdade Social - CERDS/Fase II Objetivos: avaliação de programas voltados para a superação da pobreza e da desigualdade social no país fortalecimento do controle social aproximação com a sociedade civil

9 Aporte do DFID assessor residente e consultoria especializada
apoio à publicação de manuais, documentos técnicos e de divulgação; apoio à realização de eventos de divulgação desenvolvimento de bancos de dados capacitação do corpo técnico viagens de estudo

10 Instrumentos de Controle TCU:
exame e julgamento de contas; apreciação de denúncia, representação e consulta; fiscalização; apreciação dos atos de pessoal (admissões e concessões); apreciação de desestatização; e, apreciação de contas do governo.

11 Auditoria de Natureza Operacional
Auditoria de natureza operacional é um processo de coleta e análise sistemáticas de informações sobre características, processos e impactos de um programa, atividade ou organização, com base em critérios fundamentados,  com o objetivo de avaliar a economicidade, eficiência, eficácia e efetividade, gerar recomendações para aperfeiçoar a gestão e contribuir para a responsabilização dos gestores pelo desempenho da ação estatal.

12 Auditoria de Natureza Operacional
Modalidades Auditoria de desempenho operacional Avaliação de programa

13 Auditoria de Natureza Operacional Auditoria de desempenho
Impacto Avaliação de programa efetividade Missão Objetivos gerais Auditoria de desempenho operacional economicidade eficiência eficácia Objetivos específicos Funções Atividades

14 Auditoria Desempenho X Avaliação de Programa
Objeto: programas Foco: resultados/efeitos (relações de causa-e-efeito) Metodologias: modelos experimentais, modelos quase-experimentais, análise custo-benefício Examina questões avaliativas Objeto: órgãos e entidades jurisdicionadas Foco: economicidade, eficiência e eficácia Examina questões normativas Análise da gestão Metodologias/técnicas comuns: estudos de caso, pesquisa, entrevistas estruturadas, observação direta, indicadores de desempenho, benchmarking Uso de especialistas

15 Objetivos Avaliação de Programas
aperfeiçoar a ação governamental; avaliar o desempenho e a efetividade do programa quanto a sua contribuição para melhorar a realidade sobre a qual atua; assegurar a responsabilização por desempenho.

16 Responsabilização por Desempenho
Responsabilização por desempenho é uma das dimensões do paradigma de accountability, pois relaciona-se a noção de governança, à capacidade do governo de responder às demandas da sociedade, à transparência das ações do poder público e à responsabilidade dos agentes políticos e administradores públicos pelos seus atos, transcendendo-se assim ao conceito de prestação de contas tradicional.

17 CICLO DAS AUDITORIAS DE NATUREZA OPERACIONAL
. Monitoramento Seleção – Matriz de Risco Divulgação Seleção – Estudo de Viabilidade Planejamento Apreciação Comentário do gestor Execução e Relatório 28

18 Programas de Governo LOA 2004
387 Programas (6.741 ações) 299 Programas Finalísticos: (4.681 ações): 64 Programas relacionados ao Megaobjetivo I/PLPPA - 56,3% do gasto previsto (1.597 ações) 136 Programas relacionados ao Megaobjetivo II/PLPPA - 33,3% do gasto previsto (1.646 ações) 90 Programas relacionados ao Megaobjetivo III/PLPPA - 10,4% do gasto previsto (878 ações)

19 Gráfico 1 – Forma de Implementação das Ações Governamentais
Fonte: Plano de Gestão do PPA Texto para discussão-MPOG/SPI

20

21 Seleção - Matriz de Risco
Critérios utilizados: Relevância - é um critério de avaliação qualitativo que busca levantar a importância relativa das ações em estudo, independentemente da sua materialidade Risco – é a expressão da probabilidade de ocorrência de eventos futuros incertos que têm potencial para influenciar o atingimento dos objetivos de uma organização/programa Materialidade - é a importância relativa ou representatividade do valor ou do volume de recursos envolvidos, isoladamente ou em determinado contexto

22 Seleção – Estudo de Viabilidade
Manifestação sobre a conveniência e a oportunidade de se realizar avaliação de programa ou auditoria de natureza operacional, considerando o impacto potencial da auditoria na melhoria do desempenho.

23 Planejamento Elaboração do Projeto de Auditoria – Matriz de Planejamento Definição do problema e das questões de auditoria, identificação de fontes de informações, definição de estratégia metodológica, dos métodos de obtenção e análise de dados.

24 Planejamento Estudo das possíveis limitações
Identificação do que a análise permitirá dizer identificação dos benefícios potenciais da auditoria Elaboração de papéis de trabalho para coleta de dados Teste piloto

25 Técnicas de Diagnóstico de Problema
Mapa de Processo Mapa de Produto Entrevistas RECI (Responsável, Executor, Consultado, Informado) SWOT (Strenghts – Forças, Weaknesses – Fraquezas, Opportunities – Oportunidades, Threats – ameaças) Matriz de Verificação de Risco Análise Stakeholder (atores envolvidos)

26 Estratégias Metodológicas
Estudo de Caso Pesquisa Delineamento Quase-experimental

27 Métodos de obtenção dos dados
Entrevistas Questionários Observação direta Grupo Focal Consulta documental Consulta base de dados

28 Matriz de Planejamento

29 Execução e Relatório Coleta de dados Análise de dados
Elaboração do relatório preliminar Comentários do gestor Elaboração do relatório final

30

31 Controle Concomitante:
Controle de Qualidade Controle Concomitante: Supervisão Cronograma Painel de Referência Controle posterior Revisão dos pares Metodológica - Adfis

32 Divulgação Briefing: mídia Série Sumário Executivo : Público-alvo:
Parlamentares Tribunais de contas estaduais e municipais Bibliotecas e instituições de ensino Demais atores envolvidos Série Relatórios de Avaliação de Programas Gestores Federais, Estaduais, Municipais Sistema de Controle Sociedade Civil

33 Monitoramento das Recomendações
Acompanhamento, pela Unidade Técnica competente, das providências adotadas pelo órgão auditado em resposta às recomendações proferidas pelo Tribunal Avaliação do impacto das recomendações implementadas para o aperfeiçoamento do desempenho de órgãos/programas

34 Por que Monitorar? Maximizar a probabilidade de adoção das recomendações Acompanhar as providências adotadas Garantir o alcance dos efeitos desejados Verificar a adequação das recomendações em face das condições vigentes Auxiliar o gestor no acompanhamento do desempenho do órgão/programa Colher informações que alimentem o processo orçamentário e o de formulação de políticas públicas Aferir o benefício decorrente das recomendações implementadas

35 PRINCIPAIS CONSTATAÇÕES
Desenho dos programas Estrutura organizacional deficiente Ausência de dados e indicadores de desempenho adequados Metas físicas e financeiras definidas segundo série histórica Contingenciamento de recursos Sistemática precária de coordenação das ações dos programas quanto a implementação, ao monitoramento e a avaliação

36 RESULTADOS DAS AVALIAÇÕES
“ ... Gostaria de levar ao conhecimento deste Tribunal a visão do gestor público sobre auditoria operacional realizada sobre o Bolsa Família. Dentro de um novo enfoque da administração pública, no qual aspectos gerenciais ampliam a visão meramente burocrática da atuação do Estado, a realização dessa auditoria operacional pelo TCU colocou em foco para os gestores e para a sociedade não apenas deficiências mas, sobretudo, a complexidade da ação governamental do Bolsa Família, presente hoje em mais de 90% dos municípios e com mais de 6,7 milhões de famílias. Na medida em que essa Secretaria buscará atender sistematicamente todas as recomendações deste Tribunal, queremos registrar a importância do feedback proporcionado por essa auditoria operacional do programa, ainda que realizada na fase inicial do programa, possibilitando nesse momento a realocação de esforços e a correção de rumos.” (Rosane Evangelista da Cunha, Secretária Nacional de Renda de Cidadania do MDS)

37 RESULTADOS DAS AVALIAÇÕES
Energia das Pequenas Comunidades o MME suspendeu a aquisição de novos equipamentos estimada em US$ 30 milhões, até que fossem estabelecidos controles patrimoniais que permitissem a redução do risco de perda desses equipamentos;

38 RESULTADOS DAS AVALIAÇÕES
Saúde do Escolar - Olho no Olho constatou-se que o programa atingia apenas 37% dos escolares que integravam seu público-alvo, acrescendo em 48% o custo per capita do programa. a Intosai, no documento sobre Avaliação de Programas de 2004, ressalta a pertinência das recomendações propostas nesse trabalho, que visam benefícios qualitativos e quantitativos aos beneficiários do programa.

39 RESULTADOS DAS AVALIAÇÕES
Morar Melhor foi identificado o valor de R$ 121 milhões, correspondente a 26,5% do total dos recursos repassados, parados em contas bancárias vinculados a obras paralisadas, atrasadas e não iniciadas, comprometendo a eficácia e o benefício social esperado.

40 RESULTADOS DAS AVALIAÇÕES
Novo Mundo Rural capacidade ociosa de aproximadamente 3,7 milhões de ha, o que a princípio corresponderia ao assentamento de 90 mil famílias.

41 RESULTADOS DAS AVALIAÇÕES
Assistência Farmacêutica verificada a variação de até 531% nos custos médios unitários praticados pelos estados na aquisição de 4 medicamentos pesquisados; identificada a oportunidade de economia de mais de 35% no custo de aquisição de medicamento essencial para transplantados renais e pacientes com artrite reumatóide.

42 RESULTADOS DAS AVALIAÇÕES
Livro Didático o valor total economizado pelo PNLD, em três anos, em decorrência da implementação das recomendações do TCU, foi de cerca de R$ ,00; relação custo/benefício de aproximadamente R$ 25,26 poupado pelo Programa para R$1,00 investido na auditoria.

43 RESULTADOS DAS AVALIAÇÕES
Proágua a implementação de recomendação formulada pelo TCU permitiu a economia de 57% (R$ 200 milhões) sobre os recursos inicialmente programados para a implantação de um projeto de adução de água.

44 RESULTADOS Disseminação de boas práticas de gestão
Melhoria do desempenho dos programas mediante a implementação e o monitoramento das recomendações Desenvolvimento e disseminação da metodologia utilizada nas Auditorias Operacionais para demais órgãos de controle e auditoria.

45 PERCEPÇÃO DE DIFERENTES ATORES
89% de respondentes da pesquisa realizada por ocasião do Diálogo Público da Seprog, considerou que as avaliações realizadas pelo TCU contribuem para o aperfeiçoamento dos programas governamentais; 100% considerou o relatório útil para a organização em que atua. Objetivo estratégico do TCU nº4 o sumário executivo do Cadastro foi apresentado, como referência do caso brasileiro, aos participantes do “Second International Workshop on Conditional Cash Transfer (CCT) Programs”, promovido pelo Banco Mundial em parceria com outros organismos internacionais, que tinha como objetivo discutir as experiências de diversos países com programas de transferências de renda com condicionalidades.

46 CONTATO SECRETARIA DE FISCALIZAÇÃO E AVALIAÇÃO DE PROGRAMAS DE GOVERNO - SEPROG Secretária: Selma M Hayakawa Cunha Serpa Fone: Fax: