Avaliação no Governo do Canadá

Apresentação em tema: "Avaliação no Governo do Canadá"— Transcrição da apresentação:

1 Avaliação no Governo do Canadá
Robert Lahey Diretor Senior, Centro de Excelência para Avaliação Secretariado do Conselho do Tesouro do Canadá 16 de Outubro de 2001

2 Centre of Excellence for Evaluation
Esboço da Apresentação O Canadá em um relance Elementos essenciais na Avaliação Perspectivas do Passado Estudo do TBS Nova Agenda: Resultados para os Canadenses Nova Política de Avaliação O Centro de Excelência para Avaliação do TBS Renovação da Comunidade: Perfil de Competência Recursos Bob’s notes: Add – standards, HR strategy, and competency profile Centre of Excellence for Evaluation

3 Centre of Excellence for Evaluation
O Canadá em um relance A democracia parlamentarista do Sovereign População: 31 milhões Federação de 10 províncias e 3 territórios Áreas de responsabilidade federal incluem: defesa, lei criminal, serviço postal, censo, direitos autorais, regulamentação comercial, relações internacionais, dinheiro e bancos, transportes, cidadania e assuntos indígenas. Centre of Excellence for Evaluation

4 Centre of Excellence for Evaluation
Responsabilidades do Governo Parlamento do Canadá Câmara dos Comuns Comitês Parlamentares Primeiro Ministro e Gabinete Ministro do TB Todos os outros Ministros Secretariado doConselho do Tesouro: (secretaria nomeada) política do governo supervisiona gastos Departamentos Federais/Agências (Ministros Adjuntos nomeados) operações do governo orçamentos aprovados Funcionários públicos Funcionários Públicos Auditor Geral (nomeado) auditorias independentes das operações do governo Centre of Excellence for Evaluation

5 Centre of Excellence for Evaluation
Elementos Essenciais na Avaliação Secretariado do Conselho do Tesouro (TBS) Conselho de Gestão do Governo (finanças, administração e recursos humanos) Função de Controladoria Centro de Excelência para Avaliação Políticas e Normas Construção do “know-how” Liga a Avaliação à Medição de Desempenho TBS: The items listed are roles. Responsibilities: policy, standards, evaluation of policy and capacity building initiatives Departments: Responsibilities: Evaluation reports on programs and departmental policies; performance reports on departments Centre of Excellence for Evaluation

6 Centre of Excellence for Evaluation
Elementos Essenciais na Avaliação Auditor Geral (AG) Conduz auditorias independentes das operações do governo Produz relatórios de supervisão periódicos sobre a condução da avaliação Promove a “accountability*” e o desenvolvimento de boas práticas Reporta diretamente ao Parlamento * Accountability:responsabilização por atos ou ações, prestação de contas Note: Wording derived from the OAG deck. Conducts independent audits and examinations of government operations, including the conduct of evaluation, that provide information, advice and assurance to Parliament Centre of Excellence for Evaluation

7 Centre of Excellence for Evaluation
Elementos Essenciais na Avaliação Departamentos/Agências Ministros Adjuntos são responsáveis pela aplicação da Política de Avaliação em seus departamentos Os Chefes de Avaliação implementam a política de acordo com as normas e diretrizes do TBS Prestação de contas interna e relato aos Ministros Adjuntos Prestação de contas externa e relato ao TBS e ao Parlamento TBS: The items listed are roles. Responsibilities: policy, standards, evaluation of policy and capacity building initiatives Departments: Responsibilities: Evaluation reports on programs and departmental policies; performance reports on departments Centre of Excellence for Evaluation

8 Centre of Excellence for Evaluation
Perspectivas do Passado: Gráfico de Atividade – Intensidade da atividade 1960 1970 1980 1990 2000 Interpretação Gráfica da Extensão da Atividade Avaliadora Formal no Governo Federal Centre of Excellence for Evaluation

9 Centre of Excellence for Evaluation
A Década de 1960 Crescente demanda por informação para dar suporte a um número cada vez maior de programas complexos e dispendiosos Novos sistemas de gestão criados para o planejamento e a administração financeira, para a programação e a orçamentação A avaliação como prática ainda não formalizada Lições aprendidas A necessidade de avaliação formal cresce à proporção em que os recursos tornam-se mais escassos e a identificação de prioridades torna-se mais importante Increasingly complex and costly programs Growing demand for information to support program changes Established a new planning, programming and budgeting system Introduced new financial administration and auditing systems Politicians, senior managers and Canadians demanded information to support program improvement, modification and management Efforts made to report on accountability and to justify expenditures through a new planning, programming and budgeting system Centre of Excellence for Evaluation

10 Centre of Excellence for Evaluation
A Década de 1970 Construção de elementos básicos de infra-estrutura nos departamentos A Política de Avaliaçao do Conselho do Tesouro (1977) foi a primeira política de avaliação formalizada no Canadá O Centro de Política de Avaliação criado no novo Gabinete do Controlador Geral (1978) Lições Aprendidas Necessárias, mas não suficientes, as condições para um sistema de avaliação efetivo são: suporte e investimento do governo; padrões e políticas formalizadas; e construção da liderança Period of increased funding and decentralization Building of evaluation infrastructure (policies, standards and central agencies) and setting the stage for more formalized evaluation Treasury Board Evaluation Policy (1977) was the first formalized evaluation policy in Canada Program Evaluation Branch of the new Office of the Comptroller General created (1978) Branch issued Policy, guides and standards to assist departments in establishing and maintaining an evaluation function Centre of Excellence for Evaluation

11 Centre of Excellence for Evaluation
A Década de 1980 Grandes expectativas para avaliações nem sempre alcançadas Ampla revisão do Governo liderada pelo Parlamento Lições Aprendidas A qualidade da avaliação depende de uma abordagem que equilibra: oportunidade, utilidade, pureza metodológica, necessidades do cliente e custo High expectations for evaluations in spite of known theoretical and methodological challenges Government-wide review led by Parliament changed organizations and reduced spending Review process and recommendations changed government, reduced spending and highlighted the lack of adequate and timely evaluations and performance reports Highlighted the lack of adequate and timely evaluations and performance reports for departments, central agencies and parliamentary committees Centre of Excellence for Evaluation

12 Centre of Excellence for Evaluation
A Década de 1990 Capacidade de Avaliação afetada pelo “downsizing” geral do governo O relatório do Auditor Geral (1993) indicou a necessidade de uma renovação da capacidade de avaliação A Política da Nova Revisão (1994) ligou a avaliação à auditoria interna Lições Aprendidas A capacidade de massa crítica é necessária para garantir que a avaliação permaneça confiável, relevante e estratégica Evaluation capacity and critical mass needed for evaluation lacking due to downsizing Auditor General reported (1993) on need to improve the evaluation system and renew evaluation capacity New approach linked evaluation closer to internal audit with the new Review Policy (1994) Evaluation resources often diverted to other areas related to program design and management Centre of Excellence for Evaluation

13 Centre of Excellence for Evaluation
O Estudo do TBS (2000) O estudo do TBS apontou um fornecimento desigual de avaliações pelos departamentos Forte apoio para reinvestir em avaliação Compromisso de ligar a avaliação à ampliação da “accountability*” e às exigências dos relatórios A objetividade é necessária, não a independência * Vide pág.6 The Auditor General and other champions effectively argued that good performance reporting is an essential tool for modern democratic governments Results for Canadians agenda articulated the role of evaluation in management for results Centre of Excellence for Evaluation

14 Centre of Excellence for Evaluation
Nova Agenda: Resultados para os Canadenses (2000) Agenda para: Aperfeiçoar os serviços do governo e responder às demandas de mais valor e transparência Passar de uma abordagem de “relato sobre resultados” para “gestão de resultados” Aplicado através de uma série de iniciativas de largo alcance, incluindo a nova Política sobre Avaliação (2001) Perspectiva na gestão moderna compartilhada com o nível político e o Serviço Público Impetus for implementing a new Policy on Evaluation (separate from Internal Audit Policy) Transparency – definition/description Centre of Excellence for Evaluation

15 Centre of Excellence for Evaluation
Nova Política de Avaliação: Destaques Ênfase na necessidade de que a avaliação seja estratégica, abrangente e sistemática Escopo ampliado para incluir programas, políticas e iniciativas amplas Fornece orientação sobre as normas e padrões Os avaliadores são encorajados a trabalharem diretamente com os gerentes para construírem a avaliação dentro do “ciclo de vida” dos programas Destaca as ligações entre a avaliação e a medição do desempenho baseado nos resultados Establishment of a stand-alone evaluation function Scope broadened to include a full range of activities, including policies, as well as interdepartmental and intergovernmental programs, programs, policies, regulations, R&D, services, initiatives and broad areas of spending, such as human resources Provides guidance in the interpretation and application of standards for evaluation Resourcing available to build evaluation capacity and create the Centre of Excellence for Evaluation Centre of Excellence for Evaluation

16 Centre of Excellence for Evaluation
Destaques (cont.) Os gerentes são responsáveis pela monitoração ativa de seus programas O Governo é comprometido com o relato público das avaliações Criação do Centro de Excelência para Avaliação no TBS Novo “funding” disponível aos departamentos para a construção e o alcance da capacidade de avaliação futura Establishment of a stand-alone evaluation function Scope broadened to include a full range of activities, including policies, as well as interdepartmental and intergovernmental programs, programs, policies, regulations, R&D, services, initiatives and broad areas of spending, such as human resources Provides guidance in the interpretation and application of standards for evaluation Resourcing available to build evaluation capacity and create the Centre of Excellence for Evaluation Centre of Excellence for Evaluation

17 Centre of Excellence for Evaluation
Nova Política de Avaliação: Normas Seis normas para avaliação: Planejamento da avaliação Competência Objetividade e Integridade Consulta e Aconselhamento Medição e Análise Análise de Relatórios Guia baseado em “boas práticas” Evaluation Planning and Issues Standard The department must apply the discipline of evaluation to assess the performance of its policies, programs and initiatives, both departmental and inter-organisational, taking into account its priority concerns as well as those of its partners and the government as a whole. Guidance Evaluators should develop a strategically focussed plan that is based on assessments of risk, departmental priorities and reporting requirements, and priorities of the government as a whole. The full range of evaluation issues should be considered at the planning stage of an evaluation: −        does the policy, program or initiative continue to be consistent with departmental and government-wide priorities and does it realistically address an actual need? (relevance); −        is the policy, program or initiative effective in meeting its objectives, within budget and without unwanted outcomes? (success); and −        are the most appropriate and efficient means being used to achieve objectives, relative to alternative design and delivery approaches? (cost-effectiveness). Evaluators should address issues that are needed for accountability reporting, including those involving key performance expectations (a) identified and conveyed to the Treasury Board or (b) resulting from Cabinet decisions requesting evaluation information. Centre of Excellence for Evaluation

18 Centre of Excellence for Evaluation
O Centro de Excelência para Avaliação do TBS O papel da liderança pró-ativa na renovação da avaliação no Canadá se dá através: da construção da capacidade de avaliar das redes de comunicação do desenvolvimento, implementação e avaliação da Política Conserva e renova a função de avaliação no governo Enfatiza o gerenciamento de parcerias e do conhecimento Centre of Excellence for Evaluation

19 Centre of Excellence for Evaluation
A Renovação da Comunidade: o Perfil da Competência A minuta do relatório (2001) identifica duas qualidades esseciais dos avaliadores bem-sucedidos: capacidade cognitiva habilidade para comunicar-se bem As pessoas corretas: respeitam a diversidade Trabalham de forma colaborativa e aberta Reconhecem e difundem o conflito Demonstram sensibilidade, tato e empatia Preocupam-se com as práticas e os padrões profissionais The competency profile can be used by central agencies and departments to: establish criteria for the identification of entry-level evaluators; analyze organizational gaps; develop personal assessment tools; build strong teams; plan careers and successions Senior evaluators add an ability to: Manage group dynamics and interpersonal relationships across project teams Centre of Excellence for Evaluation

20 Centre of Excellence for Evaluation
Recursos: Lista de Infraestrutura da Avaliação Versão Concisa Cultural as instituições são preparadas para divulgar a informação os gerentes acreditam em que as avaliações serão objetivas as agências querem ser repensadas os gerentes tem coragem de fazer mudanças e de implementar as recomendações a função de avaliação é preparada para avaliar a si mesma responsabilidades relevantes foram esclarecidas Operacional recursos técnicos, profissionais e financeiros estão disponíveis o tempo é suficiente políticas e padrões de avaliação estão em seus lugares planos de negócios/estratégicos foram desenvolvidos a necessidade de objetividade pode ser alcançada a autoridade existe para supervisionar as avaliações e atuar sobre os laudos Government of Canada Evaluation System Strengths/Opportunities Leadership and support for evaluation in the Government of Canada comes from the policy centre Evaluation is linked to a broader management agenda Heightened awareness about the uses and usefulness of evaluation New Evaluation Policy is in place New investments have been made in the evaluation function Challenges Further investment is needed to build evaluation capacity and cultivate a positive management culture for evaluation Continuing need to demonstrate the uses and usefulness of evaluation Vigilance required to monitor evaluation the evaluation system and ensure that the evaluation infrastructure remains healthy Achieving the right balance between methodological purity and timeliness to enable managers to base decisions on evaluation results Centre of Excellence for Evaluation

21 Centre of Excellence for Evaluation
Recursos: GoC Web Sites Selecionados Treasury Board Secretariat of Canada (TBS) ( TBS Centre of Excellence for Evaluation TBS, Guide for the Development of Results-based Management and Accountability Frameworks TBS, Evaluation Policy Centre of Excellence for Evaluation

22 Centre of Excellence for Evaluation
Informação para Contato Robert Lahey Senior Director Centre of Excellence for Evaluation Treasury Board of Canada Secretariat 300 Laurier Street Ottawa, Ontario K1A 0R5 CANADA Telephone: (country code 1) – Fax: (country code 1) – Centre of Excellence for Evaluation