Eficácia do Programa na Avaliação Periódica

Apresentação em tema: "Eficácia do Programa na Avaliação Periódica"— Transcrição da apresentação:

1 Eficácia do Programa na Avaliação Periódica
Josh Galjour Responsável pelo Programa, Equipa de Eficácia Reunião Regional de MCPs em África do Sul Joanesburgo, África do Sul 17-19 de Outubro, 2011

2 Resumo Compreender de que forma a Avaliação Periódica se enquadra nas Principais Funções e Responsabilidades de Supervisão do MCP Apresentar a metodologia em 7 etapas para a Avaliação Periódica do Financiamento baseado na Performance (FBP) Rever os elementos de Eficácia do Programa: (i) Igualdade, (ii) Eficiência Económica (boa relação qualidade/preço) e (iii) Eficácia da Ajuda Apresentar um exercício de estudo de caso Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011

3 Ligar o desempenho das subvenções com o impacto do programa
As have already heard in earlier in this meeting, the GF is increasingly looking at the program it is contributing to and its effectiveness. situating and considering an individual grant within the context of the overall program and what it is able to achieve with the resources available. Includes looking at how a grant is contributing to the program’s effectiveness and, at the same time, how that overall program context is/should influence the grant. In this relationship between grants and programs, will discuss 3 points in this presentation: 1. Aid Effectiveness – how is it being implemented 2. Equity – are results improving equity 3. is grant providing VFM in the context This presentation will focus on VFM but the three concepts are interrelated and will come back at the end to the other two concepts. the effective and efficient delivery of aid, through strengthened systems , to achieve maximum sustainable and equitable health impact and return on investment. Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011

4 Avaliação Periódica A Avaliação Periódica analisa todo o financiamento do FG num programa de doenças/RSS (todos os RPs) Mantém os aspectos centrais da Avaliação actual da Fase 2 Analisar ao nível de cada RP Rever o desempenho programático e financeiro Rever provas disponíveis da realização do impacto Solicitação do MCN com uma avaliação pelo ALF O desempenho indica os futuros compromissos de financiamento para cada RP Com aspectos adicionais para uma nova Avaliação Periódica Avaliações efectuadas simultaneamente para todos os RP num programa de doenças/RSS Rever datas definidas para corresponder aos ciclos no país Avaliação mais holística e sistemática do desempenho global do programa, da eficácia e do impacto/resultado Oportunidade de redistribuir as responsabilidades do programa entre RP Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011

5 Etapa 5 - Eficácia do Programa na Avaliação Periódica
1- Realizações Programáticas 2- Qualidade dos Dados 3- Gestão de FUF CLASSIFICAÇÃO DO DESEMPENHO 4- Progresso com respeito aos Objectivos da Proposta 5- Condições e Acções de Gestão CATEGORIA DE RECOMENDAÇÃO COMPROMISSO FINANCEIRO ADICIONAL 6- Eficácia Financeira 7- Razoabilidade Orçamental A etapa 5 centra-se no RP e nos riscos ao nível do programa: Considera a eficácia da ajuda, a boa relação qualidade/preço e a igualdade Avaliado em termos de riscos, o que pode comprometer o futuro desempenho de subvenções/programas Pode levar às Acções de Gestão e Condições para um financiamento contínuo Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011

6 O que é "Eficácia do Programa"?
Falta de reportagem sobre o financiamento do Fundo Global para planeamento na área de saúde (ex.: ajuda não no orçamento) Desalinhamento com os ciclos/sistemas do país, resultando em elevados custos de transacção (ex.: sistema Seguimento e Avalição do projecto) Falta de coordenação com parceiros, levando à duplicação e distorção dos esforços do país (ex.: MCN desalinhado com outros organismos de coordenação nacional existentes) IGUALDADE (no acesso e resultados, por sexo, idade, grupo de risco, geografia, etc.): Lacunas na disponibilidade e utilização de dados para avaliar a igualdade (ex.: prevalência do VIH não disponível por sexo) Discriminação na abrangência/resultados do serviço (ex.: o acesso aos ARV não atinge um grupo específico) Lacunas na programação e implementação para os principais grupos de população (ex.: sem serviços para imigrantes) EFICIÊNCIA DO PROGRAMA (BOA RELAÇÃO QUALIDADE/PREÇO): Económia (ex.: analisar tendências/comparar com pontos de referência internacionais para preços de aquisição de produtos de saúde) Eficiência (ex.: tendências em custos de programa por pessoa alcançada, análise de taxas de despesas indireitas vs. orçamento) Eficácia (ex.: efeito dos investimentos nos resultados/impactos) Quando a informação não está disponível, as acções para o próximo Período de Implementação devem incluir a abordagem destas lacunas de informação Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011

7 Porquê a eficácia do programa?
Enfoque no programa, parte da nova arquitectura em cada etapa do ciclo de vida da subvenção Situar a subvenção no contexto do programa global (nacional) Relação subvenção-programa: Como foi implementado a subvenção (critérios da eficácia da ajuda)? As subvenções estão a desenvolver sistemas sustentáveis? A subvenção tem uma boa relação qualidade/preço no contexto? A subvenção está a apoiar uma abordagem equitativa? As have already heard in earlier in this meeting, the GF is increasingly looking at the program it is contributing to and its effectiveness. situating and considering an individual grant within the context of the overall program and what it is able to achieve with the resources available. Includes looking at how a grant is contributing to the program’s effectiveness and, at the same time, how that overall program context is/should influence the grant. In this relationship between grants and programs, will discuss 3 points in this presentation: 1. Aid Effectiveness – how is it being implemented 2. Equity – are results improving equity 3. is grant providing VFM in the context This presentation will focus on VFM but the three concepts are interrelated and will come back at the end to the other two concepts. the effective and efficient delivery of aid, through strengthened systems , to achieve maximum sustainable and equitable health impact and return on investment. Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011

8 Avaliação Periódica: Funções e Responsabilidades do MCN
Na Avaliação Periódica Relatórios de Rotina MCN Avalia o desempenho do RP e as realizações programáticas  Analisa as tendências nos indicadores de impacto/resultado e o progresso relativamente aos objectivos da Proposta Avalia os riscos ao nível do programa associados à Igualdade, à Boa Relação Qualidade/Preço e à Eficácia da Ajuda, se aplicável Solicita compromissos financeiros adicionais para o próximo Período de Implementação (global e por RP) Emphasise that whilst PE elements are only assessed at Periodic Review, in fact the planning and organising around data collection and analysis should happen long before the Periodic Review. Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011

9 Igualdade - Definição e abordagem
Igualdade na saúde é "a ausência de disparidades sistemáticas na saúde (ou nos principais factores determinantes da saúde) entre grupos sociais que têm diferentes níveis de vantagem ou desvantagem social subjacente." Promover a igualdade através do financiamento do FG envolve a distribuição de recursos para: Assegurar que os que necessitam de serviços ligados ao VIH, TB e paludismo têm accesso aos mesmos - incluindo os mais marginalizados, vulneráveis e em risco Investir em intervenções de saúde específicas, mas também em sistemas comunitários e de saúde, abordando os determinantes subjacentes e as barreiras estruturais. Expandir a disponibilidade dos serviços (alcance, viabilidade financeira, aceitabilidade, qualidade), a cobertura dos mesmos e os respectivos resultados/impacto. Investir em sistemas de Seguimento & Avaliação. Attention to equity is important to ensure that GF financing makes an effective contribution to national goals by achieving the highest attainable standard of health for everyone in need – particularly those who are the most marginalized, vulnerable or at highest risk. Focusing resources on the right interventions for the right people is essential to ensure value for money and maximum health impact of investments. Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011

10 Principais perguntas na avaliação da igualdade
O que é o fardo da doença? Quem é mais afectado e porquê? Quais são as lacunas no acesso aos principais serviços para sub- populações afectadas? Quais são as principais barreiras à abordagem das desigualdades? De que forma pode o financiamento do Fundo Global contribuir para colmatar as lacunas? De que forma pode o progresso ser fiscalizado no próximo período de implementação? Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011

11 Eficiência Económica (Boa relação qualidade/preço) – Definição e abordagem
Boa relação qualidade/preço é a óptima utilização de recursos para alcançar os resultados previstos A boa relação qualidade/preço visa amplamente julgar o valor de produtividade específica, efeitos ou resultados comparativamente ao seu custo de aquisição A boa relação qualidade/preço tem a ver com obter o máximo lucro com os recursos disponíveis "A decisão Eficiência Económica é uma realidade diária na vida de todos nós. Estamos constantemente a escolher que artigos ou serviços comprar e a avaliar o equilíbrio certo para nós entre a qualidade e o custo." Gabinete Nacional de Auditorias do Reino Unido Aliança Internacional VIH/SIDA Comissão de Auditorias do Reino Unido Key messages: Many definitions of VFM but all are quite similar – 2nd one here is quite good 3rd is maybe simplest and best -- about maximizing the benefit with the resources available. The final bullet is particularly helpful in demystifying VFM – it is something that we do in our daily lives, choosing which items or services to buy, and judging the right balance for us between quality and cost.”. Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011

12 Boa relação qualidade/ preço
Eficiência Económica (Boa relação qualidade/preço) – Definição e abordagem Quatro áreas principais devem ser abordadas para avaliar a Eficiência Económica : 1. Estratégia global O programa está a investir na abordagem e nas prioridades adequadas ao contexto? 2. Eficácia Está a implementar intervenções de uma forma eficaz para atingir os objectivos do programa? 3. Eficiência Está a ser implementado ao custo mínimo para atingir os resultados? 4. Adicionalidade O FG está a financiar adicionalmente as actividades e recursos existentes? Boa relação qualidade/ preço Improvements can be achieved by: reducing costs for the same outputs reducing the number of inputs for the same outputs getting greater outputs or improved quality for the same inputs getting significantly more outputs, more outcomes, or improved quality in return for marginally increased resources Budget cuts alone do not equal VFM improvements VFM is not an add-on component, nor something that can be achieved as a one-off Integrating into decision-making the careful allocation of resources to achieve maximum health outcomes is good VFM Value for money in grants -->For GF both the TRP & Sect, there are 4 component of VFM and its only when these are all are strong that VFM is good in a grant or program: 1. First, overall strategy: at a high level does the approach of the program make sense, is it technically sound and addressing appropriate priorities? 2. Second, effectiveness: is the “how” interventions and investments are designed – are they being implemented in a way that will be effective in reach the goals of the program? 3. Third, efficiency: are they being implemented in an efficient way, with costs minimized for the outputs needed? 4. Fourth, additionality: is the GF financing additional to existing activities and resources? - Often we tend to focus on #3 and unit costs. While that is important, need to be clear that it is all 4 of these combined that = VFM. E.g. program can have very low costs but using an intervention design or approach that it is ultimately ineffective. That is clearly not good VFM, regardless of how low the costs are. E.g. Or could have the opposite: have evidence-supported strategy, well designed interventions but costs are much higher than required to achieve outputs. E.g. can have well designed effective intervention and low costs which are good VFM for that program; but if GF financing is merely displacing other resources, then it is not good VFM for GF financing. These 4 key areas make up the core of both what the TRP and Secretariat consider. Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011

13 Definir a Eficácia da Ajuda
A eficácia da Ajuda melhora a forma como a ajuda é prestada (a qualidade do mesmo), aumentando também na quantidade da ajuda. Os países articulam as suas prioridades de desenvolvimento e exercem liderança sobre estas (propriedade). Os parceiros de desenvolvimento apoiam os planos e estratégias de desenvolvimento do país, usando cada vez mais os sistemas do país (alinhamento). Os parceiros de desenvolvimento coordenam os seus esforços entre si para reduzir o fardo sobre os países (harmonização). Os parceiros são responsáveis entre si pelo progresso (responsabilidade mútua). Os esforços de desenvolvimento baseiam-se na realização de resultados quantificáveis (orientados para a obtenção de resultados). When the Millenium Development Goals were articulated, there was a clear recognition of the fact the alongside the increases in the quantity of aid, also the quality of aid has to improve. This was articulated in the 8th MDG calling for a global partnership for more effective and sustainable aid. The principles and means of working towards more effective aid delivery were articulated in a number of conferences, reports, and declarations – and ultimately came to be synonymous with the Paris Declaration for Aid Effectiveness. PD advocates that if five principles simulataneously implemented, aid delivery will be more effective. five interlinked and reinforcing principles are, countries own their own development process and foreign aid supports country priorities: setting their own strategies for development,, and taking the lead in coordinating aid, incl aid overview. donors pursue alignment to country development strategies and rely on country systems and procedures for implementation, rather than creating parallel systems, incl support country ownership in programme design and implementation, disclose financing in aid platforms and for country planning documents (e.g. budgets), align to the country fiscal cycle, make their aid as predictable as possible. donors coordinate their work and harmonise/simplify their procedures with one another. countries and donors focus on delivering results (tied to the MDGs) and base their decisions on results. countries and donors accept mutual accountability for the development process, Measurement framework: To achieve this, the Paris Declaration has clearly formulated targets for the year It also has three defined global monitoring rounds to assess progress, one in 2006, 2008 and one more in A mid-term evaluation of the Paris Declaration showed that there is some progress but progress needs to be accelerated to reach targets. This led to Accra Agenda for Action which reinforced commitments and outlined ways in which work can be refocused. Aid effectiveness is also measured as part of our own corporate performance, with the aim that we will fully comply with the Paris Declaration targets. The Global Fund works towards effectiveness within this framework and the PD has been signed by the majority of countries here today. This means two things: That we are mutually committed to adhering to these principles and we measure our progress towards their implementation in a common way. Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011

14 Objectivos da Representação de Papéis
Para compreender melhor: Os papéis e responsabilidades do MCN no novo processo de renovação de subvenções. Os elementos principais/novos a considerar num Pedido para um Compromisso de Financiamento Adicional. Como se organizar e preparar, onde obter dados, o que fazer com eles. ASSESS performance of each SSF to date, including quality of data and services, and overall grant management: DETERMINE a Performance Rating. ASSESS progress of the grant portfolio towards reaching proposal/national goals and disease impact. DETERMINE an Impact/ Outcome Rating. IDENTIFY risks to program effectiveness at grant portfolio/national program level, if any: DETERMINE essential Board Conditions. DETERMINE a Continued-funding Recommendation Category. Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011

15 República de Effectivia: cenário de estudo de caso
Texto a receber Nota: Todos os documentos foram simplificados especificamente para o exercício (não disporá de toda a informação necessária para uma avaliação real) After carrying out a pre-assessment of each SSF during month 23, the Global Fund (GF) sent an invitation to the CCM to submit a ‘Request for Additional Financial Commitment’ for the next implementation period. The CCM spent nearly four months preparing a consolidated request, based on joint assessments of the grant portfolio and national program to date, and a strategic analysis of programmatic and financial needs for the next 3 years. To prepare its request the CCM drew on the results of a recent multi-partner program evaluation, the Malaria Program Performance Review, conducted in mid-2010, as well as information and data provided by the two PRs, SRs, the LFA, and the Global Fund Secretariat. A summary of the key national program and GF disease-portfolio data is provided here, and in the following sections. Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011

16 Dispõe de 45 minutos para concluir este exercício.
Estudo de caso Queira ler agora a descrição do caso de “Effectivia”. Cada tabela irá centrar-se num de três elementos do Programa Eficácia: Igualdade, Eficácia da Ajuda e Eficiência económica (Boa Relação Qualidade/Preço) Com base na informação fornecida, cada grupo irá preencher o Pedido de Compromisso de Financiamento Adicional do MCN Queira nomear um Porta-Voz para registar os pontos principais e relatar novamente ao plenário Dispõe de 45 minutos para concluir este exercício. Reunião Regional de MCPs em África do Sul Joanesburgo, 17 – 19 Outubro 2011