Workshop Coordenado por

Apresentação em tema: "Workshop Coordenado por"— Transcrição da apresentação:

1 Workshop Coordenado por
Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticas III Seminário da Rede Brasileira de Monitoramento e Avaliação Brasília, DF, Brasil 01 de junho de 2011 Workshop Coordenado por Jim Rugh A apresentação é um resumo do capítulo do livro que está disponível em : Traduzida para o portugues por Marcia Joppert RealWorld Evaluation - Steps 1, 2 & 3

2 Objetivos do Workshop 1. Os sete passos do enfoque da Avaliação em um Mundo Real para responder a assuntos comuns e restrições enfrentadas por avaliadores, tais como: quando o avaliador é convocado não momento de finalização do projeto e não existe linha de base nem grupo de comparação; ou quando a avaliação tem que ser realizada com um orçamento inadequado ou prazo insuficiente; e quando existem pressões políticas e expectativas a respeito de cómo a avaliação deveria ser conduzida ou quais deveriam ser as conclusões. RealWorld Evaluation - Steps 1, 2 & 3

3 Objetivos do Workshop Definir qual deveria ser o impacto da avaliação;
Identificar e analisar várias opções de desenho que poderiam ser usados em um contexto particular de avaliação; Maneiras de reconstruir a linha de base quando a avaliação inicia quando o projeto já está muito avançado ou finalizado; como minimizar as ameaças à validade ou adequação usando uma apropriada combinação de enfoques qualitativos e quantitativos (métodos mistos) em relação a um contexto específico de Avaliações em um Mundo Real. RealWorld Evaluation - Steps 1, 2 & 3

4 Objetivos do Workshop Nota: Este workshop tem como foco a avaliação de impactos em projetos. Naturalmente, há muitas outras propostas, escopos e tipos de avaliação. Alguns desses métodos podem ser aplicáveis a eles, mas nossos exemplos se basearão em avaliações de impacto de projetos, principalmente no contexto de países em desenvolvimento. RealWorld Evaluation - Steps 1, 2 & 3

5 --- almoço [60 minutos] ---
Agenda de Trabalho 1.Introdução [10 minutos] 2. Resumo da abordagem Avaliação em um Mundo Real (AMR) [30 minutos] 3. Apresentação de participantes em pequenos grupos e intercâmbio de experiências relacionadas com a AMR. [30 minutos] 4. AMR (passos 1, 2 e 3): Definindo o escopo da avaliação e as estratégias para resolver as restrições de tempo e orçamentos [75 minutos] --- intervalo curto [15 minutos]--- 5. AMR (passo 4): Enfrentando restrições de informação [30 minutos] 6. Pequenos grupos lêem seus estudos de caso e iniciam a discussão [30 minutos] --- almoço [60 minutos] --- 7. Métodos qualitativos, quantitativos e mistos [20 minutos] 8. Os grupos completam a preparação dos estudos de caso. Exercícios sobreTermos de Referência (TORs) [30 minutos] 9. Negociação de Termos de Referência entre gurpos [60 minutos] 10. Resultados do exercício [15 minutos] 11. Conclusão das discussões. Avaliação do workshop [30 minutos]

6 Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticas Resumo do enfoque AMR

7 Cenários de Avaliação em um Mundo Real
Cenário 1: avaliadores não participam até quase o final do projeto Por razões políticas, técnicas ou orçamentárias: Não houve plano de avaliação do ciclo de vida do projeto Não houve pesquisa de linha de base Os executores não coletaram informação adequada sobre os participantes nem no início nem durante a implementação do projeto É difícil conseguir informações de grupos de controle comparáveis

8 Cenários da Avaliação em um Mundo Real
Cenário 2: A equipe de avaliação é convocada no início do projeto Mas, por razões orçamentárias, políticas ou metodológicas: A linha de base foi uma avaliação de necessidades, não é comparável em uma avaliação eventual Não foi possível coletar dados de linha de base de um grupo de comparação

9 Checando a realidade – Desafios da Avaliação do Mundo Real
Em geral, os formuladores de projetos não pensam avaliativamente e a avaliação acaba sendo desenhada ao final do projeto Não houve linha de base; ao menos não uma com dados comparáveis na avaliação Não houve e nem pode haver grupos de comparação/controle. Tempo e recursos limitados para a avaliação Os clientes têm suas próprias expectativas sobre o que eles querem que os resultados digam Muitos atores não entendem avaliação; não confiam no proceso ou o vêm como uma ameaça (não gostam de ser julgados)

10 Avaliação em um Mundo Real Metas de Controle de Qualidade
Conseguir o máximo rigor possível na avaliação dentro das limitações de um dado contexto Identificar e controlar as debilidades metodológicas no desenho de uma avaliação Negociar com os clientes as vantagens e desvantagens entre o rigor desejado e os recursos disponíveis A apresentação de achados deve reconhecer as debilidades metodológicas e como estas podem causar generalizações a outras populações/comunidades

11 A necessidade da abordagem Avaliação em um Mundo Real
Como resultado destas restrições , muitos dos principios básicos para um rigoroso desenho de avaliação de impacto são frequentemente sacrificados, como por exemplo: pré-teste comparável, desenho pós-teste, grupo de controle, desenvolvimento e teste de instrumentos adequados, seleção de amostra aleatória, controle dos viéses dos investigadores, minuciosa documentação da metodologia de avaliação, etc.

12 A abordagem Avaliação em um Mundo Real
um enfoque integrado para assegurar padrões aceitáveis de rigor metodológico enquanto se trabalha sob restrições políticas, orçamentárias, de tempo e de informação . Ver o livro RealWorld Evaluation ou, ao menos, o capítulo resumo para mais detalhes

13 A abordagem Avaliação em um Mundo Real
Desenvolvido para ajudar avaliadores e clientes Gerentes de Projetos, agências de financiamento e consultores externos Um trabalho ainda em construção (continu-se aprendendo a partir de workshops como este) Inicialmente desenhado para países em desenvolvimento, mas igualmente aplicável em países desenvolvidos

14 Desafios particulares da avaliação em países em desenvolvimento
Falta de acesso ou inexistência de dados secundários Escassos recursos locais para avaliação Orçamentos limitados para avaliação Restrições institucionais e políticas Falta de uma cultura em avaliação (ainda quando as associações de avaliação tentam dar resposta a esta questão) Muitas avaliações desenhadas por e em função dos interesses das agências financeiras e raras vezes em função das prioridades dos atores locais ou nacionais

15 Expectativas para avaliações “rigorosas”
Apesar desses desafios, existe uma crescente demanda por avaliações metodologicamente “sérias”, capazes de captar os impactos, a sustentabilidade e a replicabilidade dos projetos e programas de desenvolvimento. (Falaremos disto mais tarde…!)

16 A maioria das ferramentas da Avaliação em um Mundo Real não são novas, mas promovem um enfoque holístico e integrado A maioria das ferramentas para coleta e análise de dados da abordagem Avaliação em um Mundo Real serão familiares para avaliadores experientes. O que se enfatiza é um enfoque integrado, o qual combina uma ampla gama de ferramentas adaptadas para obter a melhor qualidade da avaliação sob as restrições e condicionantes do mundo real.

17 O que há de especial na abordagem Avaliação em um Mundo Real?
Existe uma serie de passos definidos, cada um com uma lista de verificação das restrições e a maneira de enfrentá-las. Esses passos estão resumidos no próximo slide e depois em um fluxograma mais detalhado.…

18 Os passos do Enfoque Avaliação em um Mundo Real
passo 1: Planejar e definir o escopo da avaliação passo 2: Abordar as restrições orçamentárias passo 3: Abordar as restrições de tempo passo 4: Abordar as restrições de Informação passo 5: Abordar as restrições políticas passo 6: Avaliar e abordar as fortalezas e debilidades do desenho da avaliação passo 7: Ajudar os clientes a usar a avaliação

19 19 A abordagem Avaliação em um Mundo Real
passo 1: Planejando e definindo o escopo da avaliação . Definir as necessidades de informação do cliente e comprender o contexto político . Definir o modelo teórico do programa . Identificar as restrições de tempo , orçamento, informação e políticas a seren endereçadas pela AMR . Selecionar o desenho que melhor atenda as necessidades do cliente dentro das restrições da AMR passo 2 Abordar restrições orçamentárias A. Modificar o desenho da avaliação B. Racionalizar necessidades de informação C. Pesquisar informações secundárias confiáveis D. Revisar o desenho amostral E. Definir métodos econômicos de coleta de dados passo 3 Abordar restrições de tempo Todo o passo : F. Realizar Estudos preparatórios G. Contratar mais recursos humanos H. Revisar formatos de registro do projeto para incluir dados críticos para a avaliação de impacto. I. Tecnologia moderna para coleta e análise de dados passo 4 Abordar restrições de informação . Reconstruir linha de base . Recriar os grupos de controle/comparação . Trabalhar con grupos de controle não equivalentes . Coletar informação em temas sensibles ou de grupos difíceis de acessar . Uso de métodos múltiplos passo 5 Abordar influências políticas A. Acomodar as pressões das agências de financiamento ou dos clientes sobre o desenho da avaliação B. Endereçar as preferências metodológicas dos atores sociais C. Reconhecer a influência dos paradigmas de investigação profissional . This chart, that summarizes the seven steps of the RealWorld Evaluation approach, can be found on page 4 of the Condensed Overview (summary chapter), or on page 21 of the RealWorld Evaluation book. passo 6 Avaliar e abordar as fortalezas e debilidades do desenho de avaliação Uma lista de verificação integrada para desenhos multi-métodos A. Objetividade/confirmabilidade B. Replicabilidade/dependência C. Validade interna/credibilidade/autenticidade D. Validade externa/transferência/adaptabilidade passo 7 Ajudar os clientes a usar a avaliação A. Utilização B. Aplicação C. Orientação D. Ação 19

20 tempo para discussão em grupos
20

21 Apresentação de cada participante
Que restrições destes tipos vocês enfrentaram em suas prática de avaliação ? Como lidaram com elas? 21

22 Planejando e definindo o escopo da avaliação
Avaliação em um Mundo Real Desenhando avaliações sob restrições orçamentárias, de tempo, de informação e políticas passo 1 Planejando e definindo o escopo da avaliação RealWorld Evaluation - Steps 1, 2 & 3

23 Passo1: Planejando e definindo o escopo da avaliação
Comprender as necessidades de informação dos clientes Definir o modelo teórico do programa Identificação preliminar de restrições a serem endereçadas pela Avaliação em um Mundo Real RealWorld Evaluation - Steps 1, 2 & 3

24 A. Comprendendo as necessidades de informação do cliente
Perguntas típicas que os clientes desejam responder: O projeto está alcançando seus objetivos? Está tendo o impacto desejado? Todos os setores da população-alvo estão sendo beneficiados? Os resultados serão sustentáveis? Que fatores contextuais determinam o grau de êxito ou fracasso? RealWorld Evaluation - Steps 1, 2 & 3

25 A. Comprendendo as necessidades de informação do cliente
Uma completa compreensão das necessidades de informação do cliente frequentemente reduzem os tipos de informação coletada, o nível de detalhe e o rigor necessário. No entanto, esta completa compreensão também pode incrementar a quantidade de informação requerida! RealWorld Evaluation - Steps 1, 2 & 3

26 B. Definindo o modelo teórico do Programa
Todos os programas baseiam-se em um conjunto de pressupostos (hipóteses) acerca de como as intervenções deveriam contribuir para o alcance dos resultados desejados. Às vezes isso está claramente explicitado nos documentos de projeto. Às vezes está apenas implícito e o avaliador tem que ajudar os diferentes atores a articularem as hipóteses através de um modelo lógico. RealWorld Evaluation - Steps 1, 2 & 3

27 B. Definindo o modelo teórico do Programa
Definir e testar os pressupostos críticos são elementos essenciais (mas frequentemente ignorados) do modelo da teoria de programas. O slide a seguir mostra um exemplo de um modelo para avaliar os impactos do micro-crédito no empoderamento social e econômico de mulheres RealWorld Evaluation - Steps 1, 2 & 3

28 Hipóteses críticas da cadeia lógica em um programa de micro-crédito com inclusão de gênero
Sustentabilidade Mudanças estruturais contribuirão com impactos de longo prazo. Impactos de médio e longo prazo Incremento do empoderamento econômico e social das mulheres. Melhora do bem-estar econômico e social das mulheres e suas famílias. Resultados a curto prazo Se as mulheres obtêm empréstimos, elas iniciarão atividades geradoras de renda. As mulheres serão capazes de controlar o uso dos empréstimos e pagá-los. Produtos Se há oferta de crédito, as mulheres estarão dispostas e aptas a obter empréstimos e assistência técnica. Typically project designers begin with their planned activities and outputs, then predict what outcomes and impact will come about due to those project interventions. RealWorld Evaluation - Steps 1, 2 & 3

29 PROBLEMA Consequências Consequências Consequências CAUSA PRIMARIA 1
Causa Secundaria 2.1 Causa Secundaria 2.3 Causa Secundaria 2.2 Ideally project design should begin by key stakeholders (including intended beneficiaries) going through a process of identifying the main problem they want to address – the change they want to bring about. Then identifying primary causes of that problem, secondary causes, tertiary causes (here illustrated with three at each level, though there could be fewer or more). There can, of course, be higher-level consequences; but the project should identify a major problem it will address that can reasonably be expected to be achieved during the project’s lifetime. Causa Terciaria 2.1.1 Causa Terciaria Causa Terciaria

30 IMPACTO DESEJADO Consequências Consequências Consequências RESULTADO 1
PRODUTO 2.1 PRODUTO 2.3 PRODUTO 2.2 The problem tree is then converted to a “Solution Tree” with the high-level change (in human conditions) identified as the desired Impact Goal, Outcome Objectives needed to achieve that Impact, project Outputs needed to achieve each Outcome Objective, etc. At the lower level are the actual interventions the project intends to undertake (e.g. training). Note that good design practice begins at the top, then works down. Intervenção 2.2.1 Intervenção 2.2.2 Intervenção 2.2.3

31 MULHERES EMPODERADAS Redução da Pobreza
Mulheres jovens educadas Mulheres em funções de liderança Oportunidades Econômicas para mulheres Melhores políticas educacionais Aumento da participação das mulheres Melhora nos currículos The problem tree is then converted to a “Solution Tree” with the high-level change (in human conditions) identified as the desired Impact Goal, Outcome Objectives needed to achieve that Impact, project Outputs needed to achieve each Outcome Objective, etc. At the lower level are the actual interventions the project intends to undertake (e.g. training). Note that good design practice begins at the top, then works down. Pais estimulados a mandar suas filhas para a escola Contratação e remuneração justa de professores Construção de escolas

32 O mesmo público alvo. Objetivo do Programa: mulheres jovens instruídas
Para ter sinergia e gerar impactos tudo isso precisa envolver O mesmo público alvo. Objetivo do Programa: mulheres jovens instruídas Promoção do Objetivo do projeto : Políticas educacionais melhoradas Objetivos constructivos do projeto Mais salas de aula construídas Objetivos de formação de educadores: Melhorar a qualidadr do currículo Here is an illustration of what a Program looks like: Two or more projects working in the same area, addressing the needs and rights of the same target population, collaborate together to provide the synergy needed to achieve higher level (program) impact. As in this example, each project has a Outcome Objective at a level that can be achieved and measured during the life of the project. Though our own agency may choose to directly implement one or more of the projects, it may be more appropriate to assist one or more partners to implement complementary projects. If one assumes that someone else will take care of some aspect (e.g. Government Ministry of Education improving educational policies), it is important that we monitor that assumption. For the hypothesis developed from the problem analysis (in this example) is that all three of these causes must be addressed in order for the Program Impact to be achieved (young women completing quality education.) NOSSO projeto PRESSUPOSTO (que outros farão isto) PARCEIROS farão isto Objetivos de Programa em nivel de impacto

33 O Que é preciso para medir indicadores em cada nível?
Impacto: Pesquisa junto à população (avaliação da linha de base e da linha final) Resultados: Mudanças de comportamento dos participantes (Pode ser checado anualmente) Produto: Medido e reportado pela equipe do projeto (anualmente) The quality of each level in the cause-effect hierarchy is measured at the next higher level. Here we consider what it takes to measure indicators at each level. Inputs are commonly measured by the financial accounting system. (We’re pretty good at this form of accountability.) Activities are frequently reported by field staff. (Too frequently -- typically there is far more recorded than is really needed for management decision-making.) At least in their annual reports, project staff should document what Outputs the project achieved. There are basically two types of Effect (Outcome) measurement: A) One involves following up project participants to see how many are practicing what they were taught. B) To measure the proportion of the community practicing these techniques (behaviors) requires a population-based survey. Project impact goals commonly refer to the percentage of the target population that will be benefited. This calls for a population-based survey. That requires extra effort and resources; is not likely to be done every year, but should be done at least at baseline and final project evaluation. Program impact evaluations that assess the higher (and multi-sectoral) impact of a series of projects require even greater resources and sophistication. These should probably not be attempted at time intervals of less than 10 years. Actividades: Durante (monitoramento da intervenção ) Insumos: Durante (acompanhamento financeiro)

34 MONITORAMENTO do DESEMPENHO
Nós precisamos reconhecer qual processo avlaiativo é mais apropriado para a medição em diferentes níveis Impacto Resultados Produtos Atividades Insumos AVALIAÇÃO de IMPACTO AVALIAÇÃO do Projeto MONITORAMENTO do DESEMPENHO There has been a trend by USAID and some other donors and agencies to rely more and more on Performance Monitoring and away from regular Project Evaluation, much less occasional Impact Evaluation. This has its limitations, as illustrated on this slide. It is reasonable to expect a Performance Monitoring system to collect, aggregate and report quantitative data at the input, activities and output levels on a fairly routine basis. But to determine whether or not effects and impacts have been achieved requires more than an analysis of monitoring data -- they require a special study, a greater “stepping back” and broader, more holistic perspectives -- that’s the unique role of evaluations.

35 Uma forma de Modelo Teórico (lógico) de um Programa
Contexto Econômico no qual opera o projeto Contexto Político no qual opera o projeto Contexto institucional e operacional Características sócio-econômicas e culturais das populações afetadas Desenho Insumos Proceso de Implementação Produtos Resultados Impactos Sustenta- bilidade Typically project logic models are linear. This is one illustration of a more holistic model, where key external conditions are considered, since the success of the project is obviously dependent on those conditions. And if those external conditions change (negatively or positively) during the life of the project, the project’s own plans may need to be flexible and change accordingly. Nota: os quadros laranja estão incluidos nos modelos teóricos convencionais de programas. Os quadros azuis agregados permitem uma análise mais completa

36 There are many creative ways to depict logic models
There are many creative ways to depict logic models. Here is one developed by the Asia Foundation for a Trafficking In People (TIP) program in Nepal. It includes three Components (sub-projects), with a variety of types of interventions. The challenge is to make it compressible enough to show the “big picture logic” of the program without becoming so complex that it becomes confusing. Another challenge is to know what aspects of a logic model like this should be tested by an evaluation.

37 Expandindo a cadeia de resultados para um programa com multi-financiadores e multi-componentes
Renda familiar rural aumentada Participação política aumentada Desempenho educacional melhorado Saúde melhorada Impactos Produção aumentada Acesso a emprego não agrícola Aumento do nº de matrículas na escola Aumento do uso de serviços de saúde Resultados Intermediários Produtos Crédito para pequenos produtores Serviços de Saúde Estradas em zonas rurais Escolas Many programs are much more complex than the simple cause-effect hierarchy depicted in typical project logframes. Although a more comprehensive picture (such as the one on this slide) is more realistic, especially at broader geographical levels where multiple agencies are involved, assessing attribution of each gets rather challenging. Ideally we can identify plausible contributions each actor makes to the achievement of higher level outcomes and ultimate impact. Insumos Financiador 1 Governo outros financiadores Atribuir efeitos é muito difícil! Considere a possibilidade de identificar as contribuições plausíveis de cada intervenção.

38 Lógica de uma Intervenção Educacional
Grupo de produtos Resultados Impactos específicos Impactos Intermediários Impactos Globais Melhor alocação de recursos educacionais Planejamento familiar e seguros de saúde melhorados Gestão institucional Qualidade da Educação Aumento asequibilidad Educativa CrescimentoEconómico Incremento de habilidades e aprendizado Materiais educativos e Currículo Redução da Pobreza Maior participação da Sociedade ODM 2 ODM 1 Emprego e capacitação educadores Acesso equitativo a educação Desenvolvimento Social Here is another example of a more comprehensive logic model, this one by OECE/DAC, with a multi-sectoral national set of programs aimed at having impact on the MDGs (Millennium Development Goals). Question: if you were designing an impact evaluation, what aspects of such a program would you focus on? ODM 2 Saúde ODM 3 Melhores oportunidades de Renda Servicios Educacionais Emprego ótimo Fonte: OECE/DAC Network on Development Evaluation

39 Então, o que deveríamos incluir em uma “avaliação de impacto rigorosa”?
Relação causa-efeito direta entre um produto (ou um limitado número de produtos) e um resultado que pode ser medido ao final do projeto ?  Atribuição muito clara. … Ou … Mudanças em indicadores de alto nível de melhorias sustentadas na qualidade de vida da população, ex: os ODMs (Objetivos de Desenvolvimento do Milenio)?  Mais significativos, mas muito mais difícil analisar la atribução . RealWorld Evaluation - Steps 1, 2 & 3

40 Então, o que deveríamos incluir em uma “avaliação de impacto rigorosa”?
OECD-DAC (2002: 24) define impacto como “os efeitos de longo prazo, positivos e negativos, primários e secundários, produzidos por uma intervenção de desenvolvimento, direta ou indiretamente, esperados ou não. Tais efeitos podem ser econômicos, socio-culturais, institucionais, ambientais ou de outros tipos”. Isto menciona ou implica em atribuição direta?, ou ressalta a necessidade de estabelecer grupos de controle (contrafactuais) ou Ensaios Aleatórios de Controle (RCTs)? RealWorld Evaluation - Steps 1, 2 & 3

41 Chegando a um acordo sobre que níveis do modelo lógico incluir na avaliação
Este pode ser um tema delicado: em geral, não agrada a equipe de projeto ter responsabilidade além de produtos, enquanto que os financiadores (e o púbico-alvo) podem insistir em avaliar resultados de mais alto nível. Se a correlação entre efeitos intermediários e impactos foi adequadamente estabelecida em estudos e avaliações prévios, então aferir indicadores intermediários pode ser suficiente, uma vez que os contextos podem mostrar-se suficientemente similares para que tais correlações causa-efeito sejam consideradas testadas RealWorld Evaluation - Steps 1, 2 & 3

42 Definição de avaliação de Programas
Avaliação de Programa é a coleta sistemática de informação acerca das atividades, características e resultados de um programa para realizar julgamentos, melhorar ou desenvolver a sua efetividade, subsidiar futuras tomadas de decisões e aumentar a compreensão sobre a intervenção . -- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, 2008, page 39 RealWorld Evaluation - Steps 1, 2 & 3

43 Alguns Propósitos da Avaliação de Programas
Formativa: aprendizagem e melhoria, incluindo a identificação antecipada de possíveis problemas Geradora de Conocimiento: identificaras relações de causa-efeito e princípios gerais acerca da efetividade. Prestadora de Contas: demonstra que os recursos foram usados eficientemente para obter os resultados esperados Juízos Somativos: determina o valor e o futuro do programa Avaliação do Desempenho: adaptação em condições complexas, emergentes e dinámicas -- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, pages RealWorld Evaluation - Steps 1, 2 & 3

44 Determinando um desenho de avaliação apropriado e viável
Com base no principal propósito de conduzir uma avaliação, na compreensão das necessidades de informação do cliente, no nivel de rigor requerido e o que é viável dadas as restrições, o avaliador e o cliente têm que determinar que desenho de avaliação é requerido e possível sob as circunstâncias. RealWorld Evaluation - Steps 1, 2 & 3

45 Algumas considerações para o desenho de uma avaliação
1: Quando se realizam os eventos de avaliação? (linha de base, avaliação intermediária, avaliação final) 2. Análise de diferentes desenhos de avaliação (experimentais, quasi-experimentais, outros) 3: Nível de rigor desejado 4: Métodos qualitativos e quantitativos 5: um desenho de avaliação basado no “ciclo de vida” do projeto. RealWorld Evaluation - Steps 1, 2 & 3

46 Uma Introdução a vários desenhos de avaliação
iIustrando a necessidade de desenhos de avaliação quasi-experimentais e de séries de tempo ou longitudinais Participantes do projeto Escala do principal indicador de impacto Here’s a very short course on Evaluation (research) Design. Let’s assume a project’s Final Goal has a quantifiable indicator. (Think of an example. The enrollment rate of girls in schools might be one.) Higher is better. Evaluation Design #1: Only end-of-project evaluation. Indicator appears to be high, but even if measured very precisely, it begs the question: compared to what? Evaluation Design #2: Pre-test + post-test (baseline + evaluation). Now we see that the indicator went from low to high. Impressive. Did the project have impact? A good evaluator would ask if the change is attributable to the project’s interventions or could it be due to general trends? Evaluation Design #3: Post-test with control (comparison). In this scenario a “comparable” community was found and the indicator measured there during the evaluation. But the evaluator wonders if we purposely chose a poor comparison group. Evaluation Design #4: Quasi-Experimental Design. Pretty convincing that the project’s participants did better than the comparison group. But it only involves two snapshots before and two after. Evaluation Design #5: Longitudinal monitoring (at least small sample of proxy outcome indicator). Gives a more detailed view of trends during the life of the project. Looks good, but evaluator should still ask about sustainability. Evaluation Design #6: Quasi-Experimental Longitudinal Design with Ex-Post Evaluation some time after project completion. Now we see that the project’s participants were spoiled (by some form of subsidy) and in the long-run the “comparison” community did better. Grupo de comparação linha de base Avaliação Final do projeto avaliação pós projeto 46 RealWorld Evaluation - Steps 1, 2 & 3

47 … um de cada vez, começando pelo desenho mais rigoroso.
OK, vamos dar uma paradinha para identificar cada um dos principais tipos de desenho de avaliação (investigação ) … … um de cada vez, começando pelo desenho mais rigoroso. 47 RealWorld Evaluation - Steps 1, 2 & 3

48 Antes de tudo; a chave dos símbolos tradicionais:
X = Intervenção (tratamento), ou seja: que faz o projeto numa comunidade? O = Evento de Observação (ex: linha de base, avaliação intermediária, avaliação final do projeto) P (fila superior): Participantes do Projeto C (fila inferior): Grupo de Comparação (ou de controle) Nota: os 7 desenhos de AMR se encontram na página 41 do documento resumo do livro Avaliação em um Mundo Real 48 RealWorld Evaluation - Steps 1, 2 & 3

49 desenho # 1: Quasi-experimental Longitudinal
P1 X P2 X P3 P4 C C2 C3 C4 Participantes do Projeto Grupo de comparação Linha de base Interme- diário Avaliação Final Do Projeto avaliação posterior de Projeto 49 RealWorld Evaluation - Steps 1, 2 & 3

50 Desenho # 2: Quasi-experimental (pre+pós, com comparação )
P1 X P2 C C2 Participantes do Projeto Notice how much less information is available as various components of evaluation design are removed. Grupo de Comparação Linha de base Avaliação Final Do Projeto 50 RealWorld Evaluation - Steps 1, 2 & 3

51 Desenho #2+: Teste de Controle Aleatório
P1 X P2 C C2 Participantes de Projeto Temas de investigação selecionados aleatoriamente seja para o grupo de projeto ou o grupo de controle Even if there is an initial random selection of who should participate in the project and who should be held as “control” (the essential yet controversial element of Randomized Control Trials), notice how much information is missing without longitudinal data and ex-post evaluation. Grupo de Controle linha de base Avaliação Final do Projeto 51 RealWorld Evaluation - Steps 1, 2 & 3

52 desenho #3: Longitudinal Truncado
X P1 X P2 C1 C2 Participantes de Projeto In this scenario there was não baseline conducted at the beginning of the project, but there was a midterm (e.g. year 2.5 of a 5-year project) survey when relevant data was measured. This helps, but the remaining time is so short it will be hard to create much change. Grupo de Comparação Interme- diária Avaliação Final do Projeto 52 RealWorld Evaluation - Steps 1, 2 & 3

53 desenho #4: Pre+pós do Projeto; comparação só posterior
P X P2 C Participantes do Projeto In this design não baseline data was collected on the comparison group, though data was collected on a comparison group at the endline. Requires seeking adequate information to indicate what the conditions of the comparison group were at the time the project started. Look for relevant secondary data, key informants, use of recall methods, etc. Grupo de Comparação Linha de base Avaliação Final do Projeto 53 RealWorld Evaluation - Steps 1, 2 & 3

54 Desenho #5: apenas pós-teste do Projeto e comparação
X P C Participantes do Projeto No baseline. Begs the question on what the conditions were for both the project’s participants and the comparison group at the time the project started. Look for relevant secondary data, key informants, recall, etc. to fill in the missing information. Grupo de Comparação Avaliação Final do Projeto 54 RealWorld Evaluation - Steps 1, 2 & 3

55 Desenho # 6: Pre+posterior do Projeto; sem comparação
P X P2 Participantes do projeto Pre-test and post-test of the project participants measures change in the indicator, but this design provides não information on the counterfactual -- what would have happened without the project. Needs to be supplemented by information from other sources on what changes occurred in the general population or in comparable communities during the life of the project. linha de base Avaliação Final do Projeto 55 RealWorld Evaluation - Steps 1, 2 & 3

56 desenho #7: Pós-teste apenas de Participantes do Projeto
X P Participantes do projeto Obviously the weakest evaluation design – yet by far the most common scenario in the real world (at least in international development projects). Even if the indicator in question is measured very precisely (e.g. with a very rigorous survey, or exhaustive qualitative methods) there was não direct measurement of what change occurred during the life of the project, nor any form of counterfactual. Very important to use complementary methods to obtain other information. Avaliação Final do Projeto 56 RealWorld Evaluation - Steps 1, 2 & 3

57 (momento intermediário)
Desenho T1 (linha de base) X (intervenção ) T2 (momento intermediário) (intervenção cont.) T3 (Linha Final) T4 (posterior) 1 P1 C1 P2 C2 P3 C3 P4 C4 2 3 4 5 6 7 Esta tabela sumariza os 7 desenhos de avaliação.

58 Atribução e contrafactuais
Como saber se as mudanças observadas nos participantes do Projeto ou comunidade renda, saúde, atitudes, assistência escolar, etc. se devem à implementação do projeto crédito, abastecimento de água, vale-transporte, construção de escolas, etc. ou a outros fctores não relacionados? Mudanças na economia, mudanças demográficas, outros programas de desenvolvimento, etc.

59 O contrafactual Que mudanças teriam ocorrido na condição da população alvo se não houvesse existido a intervenção através deste Projeto ?

60 Onde está o contrafactual?
Depois de viver por 3 anos em novas casas (obtidas a partir do Projeto), um estudo descobriu que sua renda cresceu 50 % Isto mostra que as casas são uma maneira efetiva para elevar a renda?

61 Comparando o Projeto com dois possíveis grupos de comparação
Grupo de projeto . Melhora em 50% Ingreso Cenário 2. 50% de melhorana renda do grupo de comparação. Não há evidência de impacto do Projeto 750 500 50% higher incomes of those involved in the project looks impressive, if others’ incomes stayed stagnant. But if the comparison group (people living in comparable communities) also enjoy higher incomes, the net impact of the project on incomes was actually zero. Cenário1. Renda do grupo de comparação não melhora. Potencial evidência de impacto do Proejto 250 2004 2009

62 Grupo de Controle e Grupo de Comparação
Grupo de controle = atribuição aleatoria de temas a grupos do Projeto e grupos sem ‘tratamento’ Grupo de Comparação = procedimento separado de amostragem para grupos beneficiados (do Projeto) e sem tratamento (não beneficiários), grupos que são praticamente idênticos salvo pelo tratamento (intervenção)