A Avaliação de Programas no âmbito do Governo Federal do Canadá Glenn Wheeler Diretor, Mensuração de Resultados Gabinete do Auditor Geral do Canadá 17 de outubro 2001

Resumo da Apresentação 1. Perfil do Sistema de Governo do Canadá 2. O Gabinete do Auditor Geral do Canadá 3. A Abordagem do Auditor Geral à Avaliação de Programas 4. As Auditorias do Auditor Geral em Avaliação de Programas 5. Introdução do Informe de Desempenho no Contexto da Avaliação de Programas 6. Lições apreendidas com a Experiência Canadense

1. Perfil do Sistema de Governo do Canadá Divisão de Poderes uma democracia soberana: - federação de 10 províncias e 3 territórios - um Parlamento federal e 13 Legislativos provinciais/territoriais - governo federal - autoridade em todas as matérias não reservadas especificamente aos governos provinciais/territoriais - governos provinciais/territoriais – autoridade em educação, hospitais, propriedade e governo local

Governo Federal - mais de 100 departamentos e agências responsáveis por áreas como emprego, defesa nacional, pesca, agricultura e finanças - cada departamento e agência possui um ministro que informa ao Parlamento - orçamentos aprovados anualmente

2. O Gabinete do Auditor Geral do Canadá Antecedentes 1878: criação do Gabinete do Auditor Geral 1931: definição do papel do Auditor Geral 1950: inicío da ampliação do mandato do Auditor Geral 1977: nova legislação - o Auditor General Act 1994: legislação emendada para permitir ao Auditor Geral a possibilidade de apresentar até 3 informes por ano além do relatório anual 1995: legislação emendada para criar a Diretoria de Meio Ambiente e Desenvolvimento Sustentável no âmbito do Gabinete.

Gabinete Atual - novo Auditor Geral, Sheila Fraser, por um mandato de 10 anos - sede em Ottawa com 5 escritórios regionais - 520 auditores e equipe de suporte Funções - O Auditor Geral contribui na prestação de contas públicas conduzindo auditorias independentes das operações do Governo Federal - essas auditorias municiam os membros do Parlamento com informações objetivas para ajudá-los no exame das ativididades de governo e para poder inquirí-lo sobre suas contas.

O Papel do Auditor Geral

Visão - Nosso compromisso é criar um diferencial para os cidadãos canadenses, promovendo em nosso trabalho para o Parlamento um Governo responsável, honesto e produtivo que reflita o compromisso com o desenvolvimento sustentável. Missão - O Gabinete conduz auditorias independentes e análises que fornecem informações, assessoramento, aconselhamento e evidências ao Parlamento. Nós promovemos transparência e boas práticas nas operações do Governo..

Auditor General Act O parágrafo 7 (2) do Auditor General Act (Lei do Auditor Geral) requer que o Auditor Geral chame a atenção de qualquer coisa que considere significativa e de espécie que deva ser levada à atenção do Parlamento, incluindo os casos nos quais observe que: a) as contas não foram devidamente mantidas ou o uso de recursos públicos não foi plenamente explicitado; b) os registros essenciais não foram mantidos para garantir a alocação devida de receitas e para garantir que despesas foram realizadas somente conforme a autorização; c) o dinheiro foi gasto de forma diferente dos fins definidos pelo parlamento;

d) o dinheiro foi gasto sem o devido respeito à economia e eficiência; e) procedimentos satisfatórios não foram estabelecidos para mensurar e informar sobre a efetividade de programas; ou f) o dinheiro foi gasto sem o devido respeito ao impacto sobre o meio ambiente.

3. A Abordagem do Auditor Geral à Avaliação de Programas Tipos de auditoria - auditorias atestatórias - auditorias de conformidade - auditorias da relação preço-qualidade A auditoria da relação preço-qualidade é o exame sistemático e objetivo das atividades governamentais. Seu escopo inclui o exame da economicidade, eficiência e eficácia de custo (cost-effectiveness) das atividades. Ela também examina procedimentos para medir a efetividade. O objeto de uma auditoria pode ser um programa, atividade setorial ou uma área que abrange todo o governo. A avaliação de programas é um julgamento de programas e atividades governamentais. Baseia-se na mensuração independente, sistemática e em análise apresentada publicamente, realizada para verificar as expectativas estabelecidas em políticas e normas.

Interpretação - embora auditorias da relação preço/qualidade e avaliações de programas sejam similares, possuem alguns aspectos diferentes: - o Auditor Geral não conduz avaliações de programas mas auditorias da relação preço/qualidade que examinam procedimentos utilizados pelos departamentos para medir efetividade (i.e., para empreender avaliação de programas)

O que o Auditor Geral espera quando realiza auditorias sobre avaliação de programas Auditorias da relação preço/qualidade examinam a maneira como os departamentos planejam e realizam a avaliação de seus programas, especificamente: 1) a política de avaliação de programas do departamento 2) a responsibilidade por avaliação de programas no âmbito do departamento 3) a organização do setor de avaliação no âmbito do departamento 4) os recursos (humanos e materiais) dedicados à avaliação de programas 5) o número e a qualidade de avaliações de programas realizadas 6) o mecanismo usado para garantir a qualidade de avaliações 7) a relevância e oportunidade das avaliações de programas 8) como são utilizadas as constatações das avaliações de programas

Por que o Auditor Geral considera a avaliação de programas como função crucial no governo federal: 1) fornece informações para permitir aos quadros superiores de gestão melhor administrar seus programas 2) fornece evidências a departamentos referentes à opção pela continuação do financiamento a programas existentes ou realocação dos recursos a outros programas 3) fornece informações a gestores na busca de fundos para renovação de programas 4) encoraja a responsabilização frente ao Parlamento pelos resultados dos programas 5) amplia o debate envolvendo políticas e opções de programas 6) permite ao governo determinar prioridades 7) encoraja a transparência nos departamentos

4. As Auditorias do Auditor Geral em Avaliação de Programas As auditorias realizadas na função de avaliação de programas de todo o governo federal – 1978 - primeira auditoria com função de avaliação 1983 – atualização na implementação das recomendações de 1978 1993 – ampla auditoria no governo sobre a situação da avaliação de programas no governo federal 1996 - exame da avaliação de programas no contexto das transformações no ambiente do setor público 2000 – informe do desempenho ao Parlamento

A Política do Governo Federal sobre Avaliação de Programas 1977 - política original 1991 - política revista 1994 - revisão da politica (revisão, auditoria interna e avaliação de programas) 1995 – revisão do sistema de gestão de despesas 2001 – nova política de avaliação

Auditoria 1993 - Observações Principais - os setores de avaliação de programas são dotados de recursos insuficientes e frequentemente lotados dentro de setores de auditoria interna - os departamentos não se prepararam para o trabalho de avaliação - muitas avaliações de programas menores, menos avaliações de programas maiores e mais importantes - avaliações de programas frequentemente focadas em assuntos operacionais e menos passíveis de questionamento do próprio programa - uso limitado dos resultados da avaliação de programas - os resultados da avaliação de programas não estão vinculados à distribuição de recursos nem a relatórios de prestação de contas.

Auditoria 1996 - Observações Principais - a avaliação de programas não forneceu de forma consistente informações de eficácia destinadas à tomada de decisões pelo governo e a uma responsabilização mais ampla - um número maior de grandes programas estava sendo avaliado em comparação a 1993, mas em resposta a solicitações externas - o alcance a qualidade da avaliação de programas permanecem como preocupação

5. Introdução do Informe de Desempenho no Contexto da Avaliação de Programas Dois acontecimentos essenciais 1) Um sistema revisado de gestão de despesa - em 1995 o governo federal anunciou que, a partir da revisão de seu sistema de gestão de despesa, os departamentos serão obrigados a submeter um “Relatório de Desempenho” anual ao Parlamento 2) criação de novas agências - desde 1997 três novas agências foram criadas para agilizar atividades básicas previamente realizadas por muitos departamentos (Canadian Food Inspection Agency, Parks Canada, Canada Customs and Revenue Agency) - novas agências obrigadas a submeter relatórios anuais - a legislação para as três agências define que o Auditor Geral deve anualmente “fornecer um julgamento da justeza e confiabilidade da informação sobre o desempenho da Agência”

Auditoria 2000 - Observações Principais - os departamentos focam demais a listagem das atividades dos programas e de seus produtos e menos o informe dos seus resultados - o informe faz demasiado pouco uso das constatações da avaliação sobre os resultados obtidos nas atividades e de como os programas contribuem para os resultados

6. Lições apreendidas com a Experiência Canadense As organizações precisam: 1) manter uma unidade com recursos (gente e dinheiro) e perícia para realizar avaliação de programas 2) manter uma estrutura de resposta para que o gerente da unidade de avaliação de programas se reporte diretamente ao chefe da organização ou a seu conselho gestor 3) levar em consideração a construção de uma política formalizando os papéis e as responsibilidades referentes à avaliação de programas 4) planejar a realização de avaliações de programas. Os planos devem cobrir pelo menos o período de um ano e preferencialmente um período de vários anos 5) observar um plano que priorize quais os programas que deverão ser avaliados, baseado em sua importância e nível de risco

6) ter mecanismos embutidos no processo para assegurar a qualidade da avaliação de programas e para garantir que eles sejam oportunos 7) garantir que os resultados da avaliação de programas sejam utilizados por gerentes senior na tomada de decisões referentes ao financiamento e se programas devam ser redesenhados ou encerrados 8) acompanhamento junto à gestão dos programas avaliados para determinar se as recomendações feitas na avaliação estão sendo implementadas 9) examinar periodicamente o desempenho das unidades de avaliação de programas para determinar o valor que a avaliação de programas adiciona à organização.