Strategic Impact Evaluation Fund

Apresentação em tema: "Strategic Impact Evaluation Fund"— Transcrição da apresentação:

1 www.worldbank.org/sief Strategic Impact Evaluation Fund
Explanation of slide: Logos, to show while the audience arrive.

2 ANÁLISE DE CUSTO Além dos impactos Bénédicte de la Brière
Banco Mundial

3 Os objetivos desta sessão
O problema 1 Quadro e definições 2 Medir os efeitos 3 Medir os custos 4 Comparar a relação CE de diferentes intervenções 5 6 Armadilhas comuns

4 Os objetivos desta sessão
O problema 1 Quadro e definições 2 Medir os efeitos 3 Medir os custos 4 Comparar a relação CE de diferentes intervenções 5 6 Armadilhas comuns

5 O problema: Os impactos por si só não bastam para os tomadores de decisões políticos
Avaliações de impacto rigorosas frequentes porém a análise de custo é mais rara Muita pouca análise de custo-benefício nos projectos do BM e ainda menos na educação e saúde IEG review 2010 “Quanto custará?” O impacto por si só não permite os decisores escolherem entre diferentes opções de intervenções

6 Os objetivos desta sessão
O problema 1 Quadro e definições 2 Medir os efeitos 3 Medir os custos 4 Comparar a relação CE de diferentes intervenções 5 6 Armadilhas comuns

7 O problema: Quais custos?
As intervenções de Desenvolmimento Humano envolvem uma série de atores: governo, ONG, clientes (beneficiários), não clientes afetados Custo dos voluntários “gratuitos” ou do tempo dos clientes? IEG review 2010 Pagamentos de transferências (transferências monetárias)? Medição das externalidades positivas/negativas?

8 Análise Custo-Beneficio (ACB)
“ Quantifica os benefícios e custos de uma actividade, na mesma unidade (dinheiro) Para responder: será que a intervenção produz suficientes benefícios para compensar os custos dela? A sociedade fica mais rica após este investimento?, e Para informar sobre o valor de uma intervenção dada e comparar intervenções dentro e entre setores quando os benefícios podem ser monetizados. Considere o exemplo do aleitamento materno (obtenha dados do GMR e do Horton, Rivera et al.)

9 Análise Custo-Beneficio (ACB)
“ Valor actual líquido: Bt e Ct : Benefícios/custos adicionais no ano t t: benefícios e custos podem acontecer entre agora (t=0) e n anos r: a taxa de desconto. Taxa Interna de Retorno: taxa de retorno em que a VAL=0 Razão B/C :

10 ACB (exemplo) Promoção da amamentação materna US$ 0.30 a 4/ nascimento
Intervenção Custo/pessoa/ano Razão Benefício/custo Promoção da amamentação materna US$ 0.30 a 4/ nascimento 5 a 67:1 2. Suplementos de Vitamina A US$ 0.20 4 a 43:1 3. Suplementos terapêuticos de zinco US$ 0.47 (10 dias) 4. Desparasitação (idade escolar) US$ 0.32 a 0.49 3 a 60:1 5.Suplementos de ferro e de ácido folico US$$ 10-50 US$ 0.01 (Fortificação fólica) 6 a 14:1 12 a 39:1 6. Fortifição dos alimentos básicos em ferro US$ 7.8:1 7. Iodização do sal US$ 0.05 30:1 8. Suplementos de iodo 15 a 120:1 Fonte: Horton, Alderman, Rivera 2008

11 Análise Custo/Eficácia (ACE)
“ Determina os efeitos não monetários por metical gasto, Para responder: qual o impacto obtido pelo Ministério por MT gasto ? quanto custou para obter uma unidade do impacto? e Para informar as comparações de intervenções com efeitos comparáveis num setor dado

12 “ ACE (exemplo) Intervenção Fonte (experi-mento) Custo por aluno (US$)
Efeito no resultado de prova ( d.e) Custo por cada 0. 2 d.e (US$) Redução do tamanho das turmas - Todos os alunos STAR 11,865 .15 15,820 - Estudantes Africanos .24 9,888 Teach for Ámerica Matemática 1,374 .15 (apenas matemática) 1,832 Sucess for all Borman 2,789 1,549 – 2,656 Fonte: Loeb e McEwan (2010)

13 Análise de Custo/Utilidade (ACU)
“ Determina os ganhos de utilidade não monetários por MT gasto (similar à ACE) Para responder: quanto mais utilidade (qualidade de vida) o Ministério da Saúde obteve por MT gasto? quanto custou para obter mais uma unidade de utilidade? e Para informar as comparações das intervenções sobretudo na saúde, com efeitos comparáveis

14 “ ACU (exemplo) 1 Com tratamento 8 10 Sem tratamento
8 10 Anos de vida Fonte: Loeb and McEwan (2010)

15 Resumo– Prós e contras Método Vantagens Desvantagens Análise Custo/
Benefício Amplamente compreendida Uma única intervenção Útil para a comparação de intervenções com vários resultados A monetização requer pressupostos Incerteza em relação ao longo prazo Análise Custo/ Eficácia Útil para a comparação de intervenções com a mesma medida de eficácia Se os dados de custos e e impacto estiverem disponiveis, é fácil a sua aplicação Precisa de pelo menos 2 intervenções com os mesmos objetivos Análise Custo/ Utilidade Útil para combinar diferentes medidas, com ponderação da “utilidade” Muita literatura na economia da saúde A estimativa da “ponderação da utilidade” requer pressupostos Fonte: Loeb e McEwan (2010)

16 Os objetivos desta sessão
O problema 1 Quadro e definições 2 Medir os efeitos 3 Medir os custos 4 Comparar a relação CE de diferentes intervenções 5 6 Armadilhas comuns

17 Medir os efeitos Desenho da avaliação de impacto
Comparar efeitos entre estudos Comparar efeitos na mesma escala levando em conta as diferênças contextuais, os pressupostos metodológicos Converter numa medida comum Dos níveis de cloração da água ou lavagem das mãos à incidência de diarreia nas crianças Dos resultados das provas aos ganhos na renda Curto prazo e longo prazo

18 Comparar efeitos entre estudos
Intervenção Fonte (experi-mento) Custo por aluno (US$) Efeitos nos resultados de prova (d.e) Redução da dimensão da turma - Todos os estudantes STAR 11,865 .15 1 Literatura: 1 d.e. nos resultados das provas aumenta a renda em 20 porcentos (Neal e Johnson, 1996) 2 Obter estimativas de renda da Pesquida Actual à População dos Estados Unidos 3 4 TIR= 5.2%

19 Os objetivos desta sessão
O problema 1 Quadro e definições 2 Medir os efeitos 3 Medir os custos 4 Comparar a CE de diferentes intervenções 5 6 Armadilhas comuns

20 Medição e análise dos custos
Custos de oportunidade O método baseado em “ingredientes” Identificar detalhadamente os ingredientes Valorizar os ingredientes Analisar os custos Os dados de custo são difíceis de obter. Porquê se preocupar? Porquê não usar os orçamentos? O custo da sua presenca aqui: tempo que não estiver no seu escritório

21 1. Identificar os ingredientes
Pessoal, instalações, equipamentos e materiais, contribuições dos clientes, administração e despesas gerais Fontes: Documentos acadêmicos Entrevistas (funcionários, equipe da pesquisa de campo) Documentos dos programas Fontes públicas (salários locais) Questões Plano vs. realidade: orçamento vs. custos Horizonte de tempo de avaliação

22 2. Valorizar os ingredientes
Custo total do pessoal: salário e vantagens Valor das infra-estruturas e ingredientes duráveis (manutenção/construção) Utilização de uma escola existente ou construção de salas de aulas adicionais Utilizar custos de mercado dos ingredientes gratuitos Utilizar custos económicos (p.ex. tempo do usuário caso ele seja obrigado a asssistir) Pagamentos de transferências

23 2. Valorizar os ingredientes
As categorias devem incluir: Insumos Funcões/atividades Fontes de recursos Nível de oferta dos serviços As categorias devem ser completas, sem se sobrepor. Custos capitais e recorrentes por insumos

24 3. Analisar custos Taxa de desconto Inflação dos preços Moeda
Taxas de câmbio nominais vs. paridade de poder de compra Custo para a compra da mesma quantidae de bens e serviços em duas regiões diferentes

25 Os objetivos desta sessão
O problema 1 Quadro e definições 2 Medir os efeitos 3 Medir os custos 4 Comparar a CE de intervenções diferentes 5 6 Armadilhas comuns

26 Análise de sensibilidade
Diferênças contextuais: densidade populacional e CE de intervenções contra a diarréia (cloração, comportamento, fonte) Utilização da Análise de Sensibilidade para ajustar às diferenças contextuais Os gráficos “whiskers” baseam-se em número variável de famílias por fonte: a média de estudo foi de 31, e as estimativas altas e baixas reflectem a relação custo-eficácia em 46 e 16 familias por fonte, respetivamente. Onde os custos forem fixos (p.ex. Dispensador ou limpeza da fonte gratuita), o impacto da variação na densidade populacional é muito mais alto do que quando a maioria dos custos são variáveis (p.ex. A distribuição gratuita nas casas ou a promoção da lavagem das mãos) Fonte: J-PAL

27 Análise de sensibilidade
Custos aos beneficiarios: intervenções na educação com informação, desparasitação, úniformes, bolsas. Utilização da Análise da Sensibilidade para ajustar a quem o usuário da CEA – custos financeiros vs. econômicos, Fonte: J-PAL

28 Análise de sensibilidade
Validade externa Custos de piloto vs. na escala (tem realmente economias de escala em aquisições?) A “margem” pode mudar quando passar à escala (ir de escolas com computadores para escola ssem computadores) Custos iniciais elevados e custos de funcionamento baixos podem tornar o programa mais custo-eficaz na escala Economias de escala em aquisições (podem ir em ambas direcções – p.ex. as lentilhas na aquisição nacional) Despesas gerais elevadas precisam de ser adicionadas em quase todas as escalas Modificação da margem (p.ex. Aprendizagem assistida por computador avaliada num distrito escolar com computadores, mas então outras escolas podem não ter computadores) Embora possamos (de forma imprecisa) calcular as mudanças de custos em larga escala, é mais dificil calcular as mudanças no impacto (p.ex. Devido aos desafios de acompanhamento ou ao equilíbrio parcial vs. Geral) Source: J-PAL

29 Ex: Uganda – Vacina HPV à escala
Atividades e insumos Atividades Insumos Visiitas para o micro-planejamento Treinamento Comunicação e mobilização Cadeía do frio e vacinas Manutenção Monitoriia da implementação Implementação HPV e apoio logístico Gasolina e manutencão Custos do pessoal (diarias) Reembolso transporte Administração Seringas Energia (electricidade) Tempo na radio Sistema de gestão da informação da saúde Materiais para o sistema Caixas seguras Outros insumos (kerosene e algodão) Co-pagamentos pela vacina Economias de escala em aquisições (podem ir em ambas direcções – p.ex. as lentilhas na aquisição nacional) Despesas gerais elevadas precisam de ser adicionadas em quase todas as escalas Modificação da margem (p.ex. Aprendizagem assistida por computador avaliada num distrito escolar com computadores, mas então outras escolas podem não ter computadores) Embora possamos (de forma imprecisa) calcular as mudanças de custos em larga escala, é mais dificil calcular as mudanças no impacto (p.ex. Devido aos desafios de acompanhamento ou ao equilíbrio parcial vs. Geral) Fonte: C. Levin, PATH *Esta análise só cubre os custos operacionais anticipados para a passagem à escala e a manutencão da implementação. Custos capitais e depreciacão excluidos.

30 Ex: Uganda – Vacina HPV à escala
Píloto e programa Custos Piloto PATH Programa nacional à escala Start-up por menina* $6.61 $2.82† Operacionais por dose $0.56 $1.27 Operacionais por menina $3.45 $3.81 Total por menina $10.06 $6.63 PATH pilot project are based on actual expenditures and resource use (ex-post/concurrent) and national scaled up is ex-ante. PATH PILOT INCLUDED SALARIES AND CAPITAL DEPRECIATION. Scale up occurs in single year period and requires: 1 year of intensive micro planning, followed up by less intensive micro planning for 4 years. 2 years of intensive training, followed by no training after that. 2 years of social mobilization, followed by 3 years of moderate activity for social mobilization. The average cost per dose: $2.82 per dose for start-up costs for micro planning, training and social mobilization. $1.27 per dose for recurrent operational costs. Total cost per girl receiving three doses $6.63 (compared to $ per girl in demonstration pilot) * Por menina refere-se a completamente vacinada pelo piloto e por menina elegível no programa. † Custos de lancamento depois de dois anos de piloto e um ano de ponte. Fonte: C. Levin, PATH

31 Outros assuntos Distribuição dos Efeitos
Pensamos que é melhor providenciar: Mais um ano de escolaridade a 100 estudantes? Mais cinco anos a 20 estudantes? Se há efeitos limiares claros como a conclusão do ensino primário então, meça este efeito e não os anos de escolaridade . Bolsas escolares em Cambodia aumentam as inscrição/assistência de estudantes com poucas abilidades (nenhum impacto nos resultados das provas) (Filmer, Schady 2009) Questões de equidade vs. eficiência

32 Outros assuntos Custos de curto prazo /beneficios de longo prazo
Intervenções contra a malnutrição: VAL de 7 classes de beneficios de passar uma criança com baixo peso de nascimento a um peso normal (taxa de desconto de 5%) VAL % da coluna Redução na/nos: mortalidade infantil cuidados neo-natal custos de doenças infantis custos de doenças crónicas Ganhos de produtividade 5. Malnutrição crónica 6. Aumento das competências Beneficios inter-generacionais Total $ 92.86 $ 41.80 $ 38.10 $ 23.29 $ 99.34 $ $ 45.12 $ 16% 7% 4% 17% 41% 8% 100% Fonte: Alderman e Behrman, 2003

33 Os objetivos desta sessão
O problema 1 Quadro e definições 2 Medir os efeitos 3 Medir os custos 4 Comparar a CE de intervenções diferentes 5 6 Armadilhas comuns

34 Preste atenção à (ACB e ACE)
Ignorar: Categorias de ingredientes: instalações, equipamentos, contribuições dos clientes Tempo e taxa desconto Sensibilidade Ajustes de moeda e taxa de câmbio Realidade (estimativa de custos do programa ideal em vez do real). Não há informações suficientes para verificar os pontos 1 a 5

35 Conclusões A análise CE é útil para analisar programas alternativos que visam os mesmos resultados A ACB permite monetizar um conjunto de diferentes impactos A recolha de custos é uma actividade de recolha de dados em si só Necessidade de dar a conhecer o usuario sobre os pressupostos A analise da sensibilidade permite os decisores a analisarem o impacto da modificação dos pressupostos e das condições locais

36 Referencias Levin, H.M. and P. McEwan Cost-Effectiveness Analysis: Methods and application. Sage. McEwan, P CEA of Education and Health in Developing Countries. Journal of Development Effectiveness (education) Horton, S., H. Alderman, and J. Rivera “Hunger and Malnutrition.” Copenhagen Consensus 2008 Challenge Paper. Copenhagen Consensus Center.

37 Obrigada Perguntas?