1 Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticas III Seminário da Rede Brasileira de Monitoramento e Avaliação Brasília, DF, Brasil 01 de junho de 2011 Workshop Coordenado por Jim Rugh A apresentação é um resumo do capítulo do livro que está disponível em : Apresentação traduzida para o Português por Marcia Joppert

Objetivos do Workshop 1. Apresentar os sete passos do enfoque da Avaliação em um Mundo Real para responder a assuntos comuns e restrições enfrentadas por avaliadores, tais como: quando o avaliador é convocado no momento de finalização do projeto e não existe linha de base nem grupo de comparação; ou quando a avaliação tem que ser realizada com um orçamento ou prazo insuficiente; e quando existem pressões políticas e expectativas a respeito de como a avaliação deveria ser conduzida ou quais deveriam ser as conclusões. 2

Objetivos do Workshop 2. Definir avaliação de impacto; 3. Identificar e analisar várias opções de desenho que poderiam ser usadas em um contexto particular de avaliação; 4. Maneiras de reconstruir a linha de base quando a avaliação tem início quando o projeto já está muito avançado ou finalizado; 5. como minimizar as ameaças à validade ou adequação usando uma apropriada combinação de enfoques qualitativos e quantitativos (métodos mistos) em relação a um contexto específico de Avaliações em um Mundo Real. 3

Objetivos do Workshop Nota: Este workshop tem como foco a avaliação de impactos em projetos. Naturalmente, há muitas outras propostas, escopos e tipos de avaliação. Alguns desses métodos podem ser aplicáveis a eles, mas nossos exemplos se basearão em avaliações de impacto de projetos, principalmente no contexto de países em desenvolvimento. 4

Agenda de Trabalho 1.Introdução [10 minutos] 2. Resumo da abordagem Avaliação em um Mundo Real (AMR) [30 minutos] 3. Apresentação de participantes em pequenos grupos e intercâmbio de experiências relacionadas com a AMR. [30 minutos] 4. AMR (passos 1, 2 e 3): Definindo o escopo da avaliação e as estratégias para resolver as restrições orçamentárias e de tempo [75 minutos] --- intervalo curto [15 minutos] AMR (passo 4): Enfrentando restrições de informação [30 minutos] 6. Pequenos grupos lêem seus estudos de caso e iniciam a discussão [30 minutos] --- almoço [60 minutos] Métodos qualitativos, quantitativos e mistos [20 minutos] 8. Os grupos completam a preparação dos estudos de caso. Exercícios sobreTermos de Referência (TORs) [30 minutos] 9. Negociação de Termos de Referência entre grupos [60 minutos] 10. Resultados do exercício [15 minutos] 11. Conclusão das discussões. Avaliação do workshop [30 minutos]

6 Resumo do enfoque AMR Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticas

7 Cenários de Avaliação em um Mundo Real Cenário 1: avaliadores não participam até quase o final do projeto Por razões políticas, técnicas ou orçamentárias: Não houve plano de avaliação que abrangesse o ciclo de vida do projeto no início Não houve pesquisa de linha de base Os executores não coletaram informação adequada sobre os participantes nem no início nem durante a implementação do projeto É difícil conseguir informações de grupos de controle comparáveis

8 Cenário 2: A equipe de avaliação é convocada no início do projeto Mas, por razões orçamentárias, políticas ou metodológicas: A linha de base foi uma avaliação de necessidades, não é comparável em uma eventual avaliação Não foi possível coletar dados de linha de base de um grupo de comparação Cenários da Avaliação em um Mundo Real

9 Checando a realidade – Desafios da Avaliação do Mundo Real Em geral, os formuladores de projetos não pensam de forma avaliativa e a avaliação acaba sendo desenhada ao final do projeto Não houve linha de base; ao menos não com dados comparáveis em uma eventual avaliação Não houve e nem pode haver grupos de comparação/controle. Tempo e recursos limitados para avaliação Os clientes têm suas próprias expectativas sobre o que eles querem que os resultados digam Muitos atores não entendem avaliação; não confiam no processo ou o vêm como uma ameaça (não gostam de ser julgados)

10 Avaliação em um Mundo Real Metas de Controle de Qualidade Conseguir o máximo rigor possível na avaliação dentro das limitações do contexto Identificar e controlar as debilidades metodológicas no desenho de uma avaliação Negociar com os clientes as vantagens e desvantagens entre o rigor desejado e os recursos disponíveis A apresentação de resultados deve reconhecer as debilidades metodológicas e como podem causar generalizações a outras populações/comunidades

11 A necessidade da abordagem Avaliação em um Mundo Real Como resultado destas restrições, muitos dos principios básicos para um rigoroso desenho de avaliação de impacto são frequentemente sacrificados, como por exemplo: pré-teste comparável, desenho pós-teste, grupo de controle, desenvolvimento e teste de instrumentos adequados, seleção de amostra aleatória, controle dos viéses dos investigadores, minuciosa documentação da metodologia de avaliação, etc.

12 A abordagem Avaliação em um Mundo Real um enfoque integrado para assegurar padrões aceitáveis de rigor metodológico enquanto se trabalha sob restrições políticas, orçamentárias, de tempo e de informação. Ver o livro RealWorld Evaluation ou, ao menos, o capítulo resumo para mais detalhes

13 A abordagem “Avaliação em um Mundo Real”(AMR) Desenvolvida para ajudar avaliadores e clientes Gerentes de Projetos, agências de financiamento e consultores externos Um trabalho ainda em construção (aprendizado contínuo a partir de workshops como este) Inicialmente desenhada para países em desenvolvimento, mas igualmente aplicável a países desenvolvidos

14 Desafios particulares da avaliação em países em desenvolvimento Falta de acesso ou inexistência de dados secundários Escassos recursos locais para avaliação Orçamentos limitados para avaliação Restrições institucionais e políticas Falta de uma cultura em avaliação (ainda quando as associações de avaliação tentam dar resposta a esta questão) Muitas avaliações desenhadas por e em função dos interesses das agências financeiras e raras vezes em função das prioridades dos atores locais ou nacionais

15 Apesar desses desafios, existe uma crescente demanda por avaliações metodologicamente “sérias”, capazes de captar os impactos, a sustentabilidade e a replicabilidade dos projetos e programas de desenvolvimento. (Falaremos disto mais tarde…!) Expectativas para avaliações “rigorosas”

16 A maioria das ferramentas da AMR não são novas, mas promovem um enfoque integrado A maioria das ferramentas para coleta e análise de dados da abordagem AMR são familiares para avaliadores experientes. O que se enfatiza é um enfoque integrado, o qual combina uma ampla gama de ferramentas para obter a melhor qualidade na avaliação sob as restrições e condicionantes do mundo real.

17 O que há de especial na abordagem AMR? Existe uma série de passos definidos, cada um com uma lista de verificação das restrições e a maneira de enfrentá-las. Esses passos estão resumidos no próximo slide e depois em um fluxograma mais detalhado.…

18 Os passos do Enfoque AMR passo 1: Planejar e definir o escopo da avaliação passo 2: Abordar as restrições orçamentárias passo 3: Abordar as restrições de tempo passo 4: Abordar as restrições de Informação passo 5: Abordar as restrições políticas passo 6: Avaliar e abordar as fortalezas e debilidades do desenho da avaliação passo 7: Ajudar os clientes a usar a avaliação

A abordagem Avaliação em um Mundo Real passo 1: Planejando e definindo o escopo da avaliação A. Definir as necessidades de informação do cliente e comprender o contexto político B. Definir o modelo teórico do programa C. Identificar as restrições de tempo, orçamento, informação e políticas a seren endereçadas pela AMR D. Selecionar o desenho que melhor atenda as necessidades do cliente dentro das restrições da AMR passo 2 Abordar restrições orçamentárias A. Modificar o desenho da avaliação B. Racionalizar necessidades de informação C. Pesquisar informações secundárias confiáveis D. Revisar o desenho amostral E. Definir métodos econômicos de coleta de dados passo 3 Abordar restrições de tempo Todo o passo 2 + : F. Realizar Estudos preparatórios G. Contratar mais recursos humanos H. Revisar formatos de registro do projeto para incluir dados críticos para a avaliação de impacto. I. Tecnologia moderna para coleta e análise de dados passo 4 Abordar restrições de informação A. Reconstruir linha de base B. Recriar os grupos de controle/comparação C. Trabalhar con grupos de controle não equivalentes D. Coletar informação em temas sensibles ou de grupos difíceis de acessar E. Uso de métodos múltiplos passo 6 Avaliar e abordar as fortalezas e debilidades do desenho de avaliação Uma lista de verificação integrada para desenhos multi-métodos A. Objetividade/confirmabilidade B. Replicabilidade/dependência C. Validade interna/credibilidade/autenticidade D. Validade externa/transferência/adaptabilidade passo 7 Ajudar os clientes a usar a avaliação A. Utilização B. Aplicação C. Orientação D. Ação passo 5 Abordar influências políticas A. Acomodar as pressões das agências de financiamento ou dos clientes sobre o desenho da avaliação B. Endereçar as preferências metodológicas dos atores sociais C. Reconhecer a influência dos paradigmas de investigação profissional. 19

Discussão em grupos 20

21 1.Apresentação de cada participante 2.Que restrições destes tipos vocês enfrentaram em suas práticas avaliativas? 3.Como lidaram com elas?

22 passo 1 Planejando e definindo o escopo da avaliação Avaliação em um Mundo Real Desenhando avaliações sob restrições orçamentárias, de tempo, de informação e políticas

23 Passo1: Planejando e definindo o escopo da avaliação Comprender as necessidades de informação dos clientes Definir o modelo teórico do programa Identificação preliminar de restrições a serem endereçadas pela Avaliação em um Mundo Real

24 A. Comprendendo as necessidades de informação do cliente Perguntas típicas que os clientes desejam responder: O projeto está alcançando seus objetivos? Está tendo o impacto desejado? Todos os setores da população-alvo estão sendo beneficiados? Os resultados serão sustentáveis? Que fatores contextuais determinam o grau de êxito ou fracasso ?

25 Uma completa compreensão das necessidades de informação do cliente frequentemente reduz os tipos de informação coletada, o nível de detalhe e o rigor necessário. No entanto, esta completa compreensão também pode incrementar a quantidade de informações requeridas! A. Comprendendo as necessidades de informação do cliente

26 B. Definindo o modelo teórico do Programa Todos os programas baseiam-se em um conjunto de pressupostos (hipóteses) acerca de como as intervenções deveriam contribuir para o alcance dos resultados desejados. Às vezes isso está claramente explicitado nos documentos de projeto. Às vezes está apenas implícito e o avaliador tem que ajudar os diferentes atores a articularem as hipóteses através de um modelo lógico.

27 Definir e testar os pressupostos críticos são elementos essenciais (mas frequentemente ignorados) do modelo da teoria de programas. O slide a seguir mostra um exemplo de um modelo para avaliar os impactos do micro- crédito no empoderamento social e econômico de mulheres B. Definindo o modelo teórico do Programa

28 Sustentabilidade Mudanças estruturais contribuirão com impactos de longo prazo. Impactos de médio e longo prazo Incremento do empoderamento econômico e social das mulheres. Melhora do bem-estar econômico e social das mulheres e suas famílias. Resultados a curto prazo Se as mulheres obtêm empréstimos, elas iniciarão atividades geradoras de renda. As mulheres serão capazes de controlar o uso dos empréstimos e pagá-los. Produtos Se há oferta de crédito, as mulheres estarão dispostas e aptas a obter empréstimos e assistência técnica. Hipóteses críticas da cadeia lógica em um programa de micro-crédito com inclusão de gênero

PROBLEMA CAUSA PRIMARIA 2 CAUSA PRIMARIA 1 CAUSA PRIMARIA 3 Causa Secundaria 2.2 Causa Secundaria 2.3 Causa Secundaria 2.1 Causa Terciaria Causa Terciaria Causa Terciaria Consequências

IMPACTO DESEJADO RESULTADO 2 RESULTADO 1 RESULTADO 3 PRODUTO 2.2 PRODUTO 2.3 PRODUTO 2.1 Intervenção Intervenção Intervenção Consequências

MULHERES EMPODERADAS Mulheres jovens educadas Mulheres em funções de liderança Oportunidades Econômicas para mulheres Aumento da participação das mulheres Melhora nos currículos Melhores políticas educacionais Pais estimulados a mandar suas filhas para a escola Construção de escolas Contratação e remuneração justa de professores Redução da Pobreza

Promoção do Objetivo do projeto : Políticas educacionais melhoradas Objetivo do Programa : mulheres jovens instruídas Objetivos constructivos do projeto Mais salas de aula construídas Objetivos de formação de educadores: Melhorar a qualidadr do currículo Objetivos de Programa em nivel de impacto PRESSUPOSTO (que outros farão isto) PARCEIROS farão isto NOSSO projeto Para ter sinergia e gerar impactos tudo isso precisa envolver O mesmo público alvo.

O Que é preciso para medir indicadores em cada nível? Resultados: Resultados: Mudanças de comportamento dos participantes (Pode ser checado anualmente) Produto: Produto: Medido e reportado pela equipe do projeto (anualmente) Actividades: Actividades: Durante (monitoramento da intervenção ) Insumos: Insumos: Durante (acompanhamento dos recursos empregados) Impacto: Pesquisa junto à população Impacto: Pesquisa junto à população (avaliação da linha de base e da linha final)

Nós precisamos reconhecer qual processo avaliativo é mais apropriado em diferentes níveis Impacto Resultados Produtos Atividades Insumos MONITORAMENTO do DESEMPENHO AVALIAÇÃO do Projeto AVALIAÇÃO de IMPACTO

35 DesenhoInsumos Proceso de Implementação ProdutosResultados ImpactosSustenta- bilidade Contexto Econômico no qual opera o projeto Contexto Político no qual opera o projeto Contexto institucional e operacional Características sócio-econômicas e culturais das populações afetadas Nota: os quadros laranja estão incluidos nos modelos teóricos convencionais de programas. Os quadros azuis agregados permitem uma análise mais completa Uma forma de Modelo Teórico (lógico) de um Programa

36

Insumos Produtos Resultados Intermediários Impactos Financiador 1Governooutros financiadores Crédito para pequenos produtores Estradas em zonas rurais Escolas Serviços de Saúde Renda familiar rural aumentada Produção aumentada Aumento do nº de matrículas na escola Aumento do uso de serviços de saúde Acesso a emprego não agrícola Desempenho educacional melhorado Saúde melhorada Participação política aumentada Expandindo a cadeia de resultados para um programa com multi- financiadores e multi-componentes Atribuir efeitos é muito difícil! Considere a possibilidade de identificar as contribuições plausíveis de cada intervenção.

Lógica de uma Intervenção Educacional Gestão institucional Materiais educativos e Currículo Emprego e capacitação educadores Servicios Educacionais Saúde Melhor alocação de recursos educacionais Aumento asequibilidad Educativa Emprego ótimo Incremento de habilidades e aprendizado Acesso equitativo a educação Qualidade da Educação Melhores oportunidades de Renda Crescimento Económico Desenvolvimento Social Redução da Pobreza Grupo de produtos Resultados Impactos específicos Impactos Intermediários Impactos Globais Maior participação da Sociedade Planejamento familiar e seguros de saúde melhorados ODM 3 ODM 2 ODM 1 ODM 2 Fonte: OECE/DAC Network on Development Evaluation

39 1. Relação causa-efeito direta entre um produto (ou um limitado número de produtos) e um resultado que pode ser medido ao final do projeto ?  Atribuição muito clara. … Ou … 2. Mudanças em indicadores representativos da qualidade de vida da população, ex: os ODMs (Objetivos de Desenvolvimento do Milenio)?  Mais significativos, mas muito mais difícil de analisar a atribução. Então, o que deveríamos incluir em uma “avaliação de impacto rigorosa”?

40 OECD-DAC (2002: 24) define impactos como “os efeitos de longo prazo, positivos e negativos, primários e secundários, produzidos por uma intervenção de desenvolvimento, direta ou indiretamente, esperados ou não. Tais efeitos podem ser econômicos, socio-culturais, institucionais, ambientais ou de outros tipos”. Isto menciona ou implica em atribuição direta?, ou ressalta a necessidade de estabelecer grupos de controle (contrafactuais) ou Ensaios Aleatórios de Controle (RCTs)? Então, o que deveríamos incluir em uma “avaliação de impacto rigorosa”?

41 Este pode ser um tema delicado: em geral, não agrada a equipe de projeto ter responsabilidade além de produtos, enquanto que os financiadores (e o púbico-alvo) podem insistir em avaliar resultados de mais alto nível. Se a correlação entre efeitos intermediários e impactos foi adequadamente estabelecida em estudos e avaliações prévios, então aferir indicadores intermediários pode ser suficiente, uma vez que os contextos podem mostrar-se suficientemente similares para que tais correlações causa- efeito sejam consideradas testadas Chegando a um acordo sobre que níveis do modelo lógico incluir na avaliação

42 Avaliação de Programa é a coleta sistemática de informação acerca das atividades, características e resultados de um programa para realizar julgamentos, melhorar ou desenvolver a sua efetividade, subsidiar futuras tomadas de decisões e aumentar a compreensão sobre a intervenção. -- Michael Quinn Patton, Utilization-Focused Evaluation, 4 th edition, 2008, page 39 Definição de Avaliação de Programas

43 Formativa: aprendizagem e melhoria, inclui a identificação antecipada de possíveis problemas Geradora de Conhecimento: identifica as relações de causa- efeito e princípios gerais acerca da efetividade. Prestadora de Contas: demonstra que os recursos foram usados eficientemente para obter os resultados esperados Juízos Somativos: determina o valor e o futuro do programa Avaliação do Desempenho: adaptação em condições complexas, emergentes e dinâmicas -- Michael Quinn Patton, Utilization-Focused Evaluation, 4 th edition, pages Alguns Propósitos da Avaliação de Programas

44 Determinando um desenho de avaliação apropriado e viável Com base no principal propósito de conduzir uma avaliação, na compreensão das necessidades de informação do cliente, no nível de rigor requerido e no que é viável dadas as restrições, o avaliador e o cliente têm que determinar que desenho de avaliação é adequado e possível sob as circunstâncias.

45 Algumas considerações para o desenho de uma avaliação 1: Quando se realizam os eventos de avaliação? (linha de base, avaliação intermediária, avaliação final) 2. Análise de diferentes desenhos de avaliação (experimentais, quasi-experimentais, outros) 3: Nível de rigor desejado 4: Métodos qualitativos e quantitativos 5: um desenho de avaliação basado no “ciclo de vida” do projeto.

linha de base Avaliação Final do projeto iIustrando a necessidade de desenhos de avaliação quasi- experimentais e de séries de tempo ou longitudinais Participantes do projeto Grupo de comparação avaliação pós projeto Uma Introdução a vários desenhos de avaliação Escala do principal indicador de impacto 46

OK, vamos dar uma paradinha para identificar cada um dos principais tipos de desenho de avaliação (investigação ) … … um de cada vez, começando pelo desenho mais rigoroso. 47

Antes de tudo: a legenda dos símbolos tradicionais: X = Intervenção (tratamento), ou seja: o que faz o projeto numa comunidade? O = Evento de Observação (ex: linha de base, avaliação intermediária, avaliação final do projeto) P (linha superior): Participantes do Projeto C (linha inferior): Grupo de Comparação (ou de controle) 48 Nota: os 7 desenhos de AMR se encontram na página 41 do documento resumo do livro Avaliação em um Mundo Real

Linha de base Avaliação Final Do Projeto Grupo de comparação avaliação posterior de Projeto Desenho # 1: Quasi-experimental Longitudinal P 1 X P 2 X P 3 P 4 C 1 C 2 C 3 C 4 Participantes do Projeto Interme-diário 49

Linha de base Grupo de Comparação Desenho # 2: Quasi-experimental (pre+pós, com comparação ) P 1 X P 2 C 1 C 2 Participantes do Projeto 50 Avaliação Final Do Projeto

linha de base Grupo de Controle Desenho #2+: Teste de Controle Aleatório P 1 X P 2 C 1 C 2 Participantes de Projeto 51 Seleção aleatória, seja para o grupo de participantes do projeto ou para o grupo de controle Avaliação Final do Projeto

Grupo de Comparação Desenho #3: Longitudinal Truncado X P 1 X P 2 C 1 C 2 Participantes de Projeto Interme-diária 52 Avaliação Final do Projeto

Linha de base Grupo de Comparação Desenho #4: Pre+pós do Projeto; comparação só posterior P 1 X P 2 C Participantes do Projeto 53 Avaliação Final do Projeto

Grupo de Comparação Desenho #5: apenas pós-teste do Projeto e comparação X P C Participantes do Projeto 54 Avaliação Final do Projeto

linha de base Avaliação Final do Projeto Desenho # 6: Pre+posterior do Projeto; sem comparação P 1 X P 2 Participantes do projeto 55

Desenho #7: Pós-teste apenas de Participantes do Projeto X P Participantes do projeto 56 Avaliação Final do Projeto

57 DesenhoDesenho T 1 (linha de base) X (intervenção ) T 2 (momento intermediário) X ( intervenção cont.) T 3 (Linha Final) T 4 (posterior) 1 P1C1P1C1 X P2C2P2C2 X P3C3P3C3 P4C4P4C4 2 P1C1P1C1 XX P2C2P2C2 3 X P1C1P1C1 X P2C2P2C2 4 P1P1 XX P2C2P2C2 5 XX P1C1P1C1 6 P1P1 XXP2P2 7 XXP1P1

58 Atribução e contrafactuais Como saber se as mudanças observadas no público-alvo do Projeto renda, saúde, atitudes, assistência escolar, etc. devem-se à implementação do projeto crédito, abastecimento de água, vale-transporte, construção de escolas, etc. ou a outros fatores não relacionados? Mudanças na economia, mudanças demográficas, outros programas de desenvolvimento, etc.

59 O contrafactual Que mudanças teriam ocorrido na condição da população alvo se não houvesse a intervenção através deste Projeto ?

60 Onde está o contrafactual? Depois de viver por 3 anos em novas casas (obtidas a partir do Projeto), um estudo descobriu que a renda dos beneficiários cresceu 50 % Isto mostra que as casas são uma maneira efetiva para elevar a renda?

Comparando o Projeto com dois possíveis grupos de comparação Grupo de projeto. Melhora em 50% Cenário 2. 50% de melhorana renda do grupo de comparação. Não há evidência de impacto do Projeto Cenário1. Renda do grupo de comparação não melhora. Potencial evidência de impacto do Projeto Renda

62 Grupo de Controle e Grupo de Comparação Grupo de controle = seleção aleatória de beneficiados pelo Projeto e grupos sem ‘tratamento’ (não beneficiários) Grupo de Comparação = procedimento separado de amostragem para grupos e sem tratamento, grupos que são praticamente idênticos salvo pelo tratamento (intervenção)

63 Alguns avanços recentes em avaliação de impacto em projetos de desenvolvimento 2009 J-PAL conhecida como uma rede de investigadores associados unidos pelo uso de metodologías de testes aleatórios

64 Então, Jim está dizendo que os testes de controle aleatórios (RCTs) são o “Estado da Arte” e deveriam ser usados na maioria das avaliações de impacto de programas? Sim ou não? Se sim, em que circunstâncias deveriam ser usados? Por que sim e por que não? Se não, em que circunstâncias não seriam apropriados?

Adaptado de Patricia Rogers, RMIT University 65 Políticas baseadas em evidência para intervenções simples (ou aspectos simples) : quando RCTs podem ser apropriadas Perguntas necessárias para política baseada em evidência  O que funciona? Como é a intervenção?  Discreta, intervenção padronizada Como funciona a intervenção ?  Bastante parecida em todos os lugares Procedimientos necessários para obter evidência Absorção  Transferência de conhecimento

66 Programas complicados e complexos onde haja intervenções múltiplas por múltiplos atores Projetos implementados em contextos dinâmicos (ex. conflitos, desastres naturais) Projetos sob múltiplos modelos lógicos, ou quando não haja relação clara de causa-efecto entre produtos ou não estejam claros os enunciados de visão (geralmente o caso de projetos de desenvolvimento internacionais no Mundo Real) Quando uma avaliação rigorosa dos indicadores de impacto não seria necessária?

67 Uma avaliação com esta abordagem deve ser realizada se foi definida adequadamente uma relação de causa-efeito entre os resultados intermediários e os efeitos finais ou de impacto através de estudos prévios. Então, analisar os resultados intermediários pode ser suficiente sempre e quando o contexto (condições externas e internas) evidencia ser suficientemente similar ao momento que se definiu a relação causa-efeito. Quando uma avaliação rigorosa dos indicadores de impacto não seria necessária?

68 Exemplos de relações diretas de causa-efeito geralmente aceitas Vacinação de crianças: um conjunto padrão de vacinas prescritas para certa idade são capazes de reduzir enfermidades infantis (os meios de verificação implicam observar as características de saúde das crianças, não só a quantidade total de vacinas distribuídas no hospital) outros exemplos…?

Lentes diferentes necessárias para diferentes situações no Mundo Real SimplesComplicadoComplexo Seguir uma recietaEnviar um foguete à lua Criar uma criança As receitas são testadas para assegurar fácil replicação Enviar um foguete à lua melhora a certeza de que o próximo também será exitoso Criar uma criança dá experiência mas não garante o éxito com o próximo As melhores receitas oferecem bons resultados todas as vezes Existe um alto grau de certeza nos resultados A incerteza dos resultados se mantém Fonte: Westley et ao (2006) e Stacey (2007), citado por Patton 2008; también presentado por Patricia Rodgers em la conferencia de Impacto do Cairo (2009). 69

Citado por Patricia Rogers, RMIT University 70 “ É muito melhor ter uma resposta aproximada à pergunta correta, que é geralmente vaga, que a resposta correta à pergunta errada, que sempre pode ser formulada com precisão”. J. W. Tukey (1962, page 13), "The future of data analysis". Annals of Mathematical Statistics 33(1), pp

Patricia Rogers, RMIT University 71 Podem haver problemas de validação com RTCs Validação interna Temas de Qualidade – Medição débil, aderência débil à amostra aleatória, base estatística inadequada, efeitos diferenciais ignorados, comparação inadequada, busca de significado estatístico, perda de informação, implementação de baixa qualidade não identificada outros – erro na amostragem aleatória, contaminação de outras fontes, necessidade de um pacote causal completo. Validação externa Efetividade na prática do mundo real, capacidade de transferência para novas situações

72 O uso limitado de sólidos desenhos de avaliação No Mundo Real (ao menos em programas internacionais de desenvolvimento) estimamos que: Menos de 5% - 10% das avaliações de impacto de projetos usam sólidos desenhos experimentais ou até desenhos quasi- experimentais Muito menos do que 5% usam Teste de Controle Randomizado (desenho experimental “puro”)

Considere o Mundo Real dos programas a serem avaliados como um quebra- cabeças gigante 73 Desenhos de pesquisa experimental (avaliações) e, muito menos os RCTs, só são apropriados para poucas peças deste quebra- cabeças gigante. É por isso que bons avaliadores (e aqueles que comissionam avaliações) precisam de uma caixa de ferramentas mais diversificada, que possam ser customizadas ao desenhar avaliações que respondem a diferentes propósitos e circunstâncias

74 Há outros métodos para analisar os contrafactuais Dados secundários confiáveis que mostrem tendências relevantes na população Dados longitudinais de monitoramento (se incluem população não atendida) Métodos qualitativos para obter perspectivas de informantes chave, participantes, vizinhos, etc.  Falaremos mais sobre isso depois…

Ainda parte do passo 1: Outras perguntas para responder quando vocês tiverem que adaptar Termos de Referência (TdR) de uma avaliação : 1. Quem solicitou a avaliação? (Quem são as partes interessadas)? 2. Quais são as perguntas chave que devem ser respondidas? 3. Trata-se de uma avaliação formativa ou somativa (qual o propósito)? 4. Haverá uma fase seguinte ou outros projetos desenhados com base nos achados desta avaliação? 75

5. Que decisões serão tomadas em resposta aos achados desta avaliação? 6. Qual é o nível apropriado de rigor? 7. Qual é o alcance/escala da avaliação (o que será avaliado)? 8. Quanto tempo será necessário e de quanto tempo se dispõe? 9. Que recursos financeiros serão necessários e qual a disponibilidade? Outras perguntas para responder quando se adaptam os Termos de Referência de uma avaliação: 76

10. A avaliação deveria apoiar-se principalmente em métodos qualitativos ou quantitativos? 11. Deveriam ser usados métodos participativos? 12. Poderia ou teria que ser feita uma pesquisa nos domicílios? 13. Quem deveria ser entrevistado? 14. Quem deveria ser envolvido no planejamento/implementação da avaliação? 15. Quais são os meios mais adequados para comunicar os achados a diferentes partes interessadas? Outras perguntas para responder enquanto se adaptam os Termos de Referência de uma avaliação: 77

Isto ajuda ou confunde mais? Quem disse que as avaliações (como a vida) seriam fáceis?!! desenho da avaliação (investigação)? Perguntas chaves? O que avaliar? Qualitativo? Quantitativo? Alcance? Nível de rigor apropriado? Recursos disponíveis? Tempo disponível? Habilidades disponíveis? Avaliação para quem? Participativa? Extractiva? 78

Antes de voltar aos passos da Avaliação em um Mundo Real, pensemos em níveis de rigor, e como seria um Plano de Avaliação de um projeto em todo seu ciclo de vida 79

Níveis diferentes de rigor Depende da fonte de evidência; do nivel de confiança; do uso da informação Nivel 0: as impressões dos tomadores de decisão se apóiam em opiniões superficiais coletadas em encontros breves (fofocas de corredores), intuição ; Nivel de confiança +/- 50%; as decisões são tomadas em poucos segundos Nivel 1: Pergunta-se a algumas pessoas suas perspectivas sobre o projeto ; P= +/- 40% as decisões são tomadas em poucos minutos Nivel 3: Se faz uma pesquisa rápida com base em uma amostra conveniente de participantes; P= +/- 10% os tomadores de decisão lêm o sumário de 10 páginas Nivel 2: Pergunta-se a uma boa combinação de pessoas suas perspectivas sobre o projeto ; P= +/- 25% os tomadores de decisão lêm ao menos o sumário executivo de um relatório Nivel 4: uma boa amostra representativa da população alvo e métodos de coleta de dados criteriosos são usados para coleta de informação; P= +/- 5% os tomadores de decisão lêm o informe completo Nivel 5: um projeto de investigação muito detalhado realiza-se para analisar em profundidade a situação P= +/- 1% Livro publicado! Objetivo, alta precisão – requerendo mais prazo e recursos ($) Rápida e barata – mas subjetiva, inconsistente

Seleção Aleatória de Amostra Qualidade dos Questionários Confiablidade e validade de indicadores Qualidade na coleta de dados Profundidade da análise Elaboração de relatório e uso RIGOR A QUALIDADE da INFORMAÇÃO GERADA POR uma AVALIAÇÃO DEPENDE do NIVEL DE RIGOR DE TODOS os COMPONENTES CONDUZIR uma AVALIAÇÃO É COMO INSTALAR uma TUBULAÇÃO

Seleção Aleatória da Amostra Qualidade do Questionário Relevância e validade de indicadores Quaidade na coleta de dados Profundidade da análiseInforme e uso QUANTIDADE DE “FLUXO” (QUALIDAD) DE INFORMAÇÃO ESTÁ LIMITADA ao MENOR COMPONENTE da PESQUISA “TUBULAÇÃO”

Determinando os níveis apropriados de precisão para os eventos num Plano de Avaliação do ciclo de vida de um projeto Autoavaliaçãoanual Avaliação Intermediária Intermediária Estudo de Linha de Base Análisede necessidades Avaliaçãofinal tempo de vida do projeto EstuioEspecial Mesmo nível de rigor Rigor alto Rigor baixo 2 3 4

84 Agora, onde estamos? Sim! Estamos prontos para os passos 2 e 3 da abordagem Avaliação em um Mundo Real. Vamos continuar …

85 Passos RESPONDENDO A LIMITES DE orçamento e prazo Avaliação em um Mundo Real Desenhando avaliações sob restrições Políticas, orçamentárias, de prazo e de Informação

86 Passo 2: Respondendo a problemas orçamentários A. Esclarecer as necessidades de informação do cliente B. Simplificar o desenho de avaliação C. Buscar informação secundária confiável D. Revisar o tamanho da amostra E. Reduzir custos de coleta e análise de informações

87 Racionalizar necessidades de informação Usar informações do passo 1 para identificar as necessidades de informação do cliente Simplificar o desenho da avaliação (mas preparar-se para compensar ‘pedaços perdidos’) Revisar todos os instrumentos de coleta de informação e cortar qualquer pergunta não relacionada diretamente com os objetivos da avaliação.

88 Buscar fontes de informação secundária confiáveis Estudos de planejamento, registros administrativos do Projeto, Ministérios, outras ONGs, universidades e institutos de pesquisa, meios de comunicação de massa.

89 Analisar a relevância e a confiabilidade das fontes para a avaliação com respeito a: Cobertura da população alvo Periodo de tempo Relevância da informação coletada Confiabilidade e complementariedade da informação Potenciais viéses … Buscar fontes de informação secundária confiáveis

90 Algumas formas de economizar tempo e dinheiro Dependendo do propósito e do nivel de rigor requerido, algumas das opções poderiam incluir: Reduzir o número de unidades estudadas (comunidades, famílias, escolas) Reduzir o número de estudos de caso ou a duração e complexidad dos casos Reduzir a duração e frequência das observações

91 Buscando formas de reduzir o tamanho da amostra Aceitar um nivel mas baixo de precisão reduz significativamente o número de entrevistas: Testar uma mudança de 5% nas proporções requer uma amostra mínima de 1086 Testar uma mudança de 10% nas proporções requer uma amostra mínima 270

92 Reduzindo custos na coleta e análise de dados Usar questionários auto-aplicáveis Reduzir o tamanho e a complexidade do instrumento Usar observação direta Obter estimativas de grupos focais e reuniões comunitárias Informantes chave Métodos de avaliação participativos Multi-métodos e triangulação

93 Passo 3: Respondendo a restrições de prazo Adicionalmente ao Passo 2 (problemas orçamentários) Pode-se usar os seguintes métodos: Reduzir pressões de tempo com consultorias externas Estudos preparatórios realizados por comissões Vídeo conferências Contratar mais consultores/investigadores Incorporar indicadores de impacto nos sistemas de monitoramento do projeto e documentos (impactos parciais) Tecnologia para processamento de dados

94 Endereçando problemas de prazo Negociar com os clientes e discutir questões como: 1. Quais são as informações essenciais e o que pode ser retiradas ou reduzidas? 2. Qual a precisão ou nível de detalhe para ter a informação essencial? Ex: É necessário ter estimativas separadas para cada região geográfica ou sub-grupo ou uma média populacional é aceitável? 3. É necessário analisar todos os componentes e serviços do Projeto o só os mais importantes? 4. É possível conseguir recursos adicionais (dinheiro, equipe, acesso a computadores, veículos, etc.) para agilizar os processos de coleta e análise de dados?

95 HORA DE DAR UMA PARADINHA! 95

Passo 4 Respondendo a restrições de informação Avaliação em um Mundo Real Desenhando avaliações sob restrições políticas, orçamentárias, de prazo e Informações

97 Maneiras de reconstruir as condições da linha de base A. Dados secundários B. Informes do Projeto C. Memórias/atas/notas D. Informantes-chave

98 Maneiras de reconstruir as condições da linha de base E. DPR (Diagnóstico Participativo Rápido) e AAP (Ação e Aprendizagens Participativos) e outras técnicas participativas como cronogramas e eventos críticos para ajudar a estabelecer a cronologia de mudanças importantes na comunidade

99 Analisando a utilidade de potenciais dados secundários Período de referência Cobertura da população Inclusão de indicadores requeridos Complementariedade Precisão Libre de viéses

100 Exemplos de dados secundários usados para reconstruir linhas de base Censos Outras pesquisas realizadas por organizaciones governamentais Estudos específicos realizados por ONGs e doadores Pesquisas Acadêmicas Meios de comunicação (jornais, rádio, TV) Informações de monitoramento produzidas pela agência implementadora

101 Usando registros internos do projeto Tipo de informação Estudos de viabilidade e planejamento Formulários de aplicação e registro Relatórios de Supervisão Dados do Sistema de Informações Gerenciais (SIG) Registros de reuniões Atas das reuniões realizadas entre a agência implementadora e a comunidade Informes de avanços Informes de construção, capacitação, implementação e outros incluindo custos.

102 Avaliando a confiabilidade dos registros existentes do projeto Quem coletou as informações e com que propósito? As informações foram coletadas apenas como registro ou para influenciar os tomadores de decisões ou outros grupos? As informações de monitoramento referem-se apenas às atividades do Projeto ou também a mudanças nos resultados? As informações foram geradas exclusivamente para uso interno? Ou para uso de um grupo restrito? Ou para uso público?

103 Usando registros para reconstruir a linha de base Registros de assistência escolar e tempo /custo de viagens Enfermidade/uso dos serviços de saúde Renda e gastos Conhecimento e habilidades comunitárias/individuais Coesão/conflito social Uso/qualidade/custo da água Períodos de stress Padrões de viagens

104 Onde acessar a memória do Projeto é o melhor Áreas onde a maior parte das investigações tenha sido feita com base nas memórias Pesquisas de rendimentos e gastos Dados demográficos e sobre fertilidade Tipos de perguntas: Sim/Não; fatos Escalas Facilmente relacionados a eventos maiores

105 Limites da memória Geralmente não são confiáveis para dados quantitativos precisos Viés de seleção de amostras Distorção deliberada ou não intencional Poucos estudos empíricos (exceto em relação ao gasto) que ajudem a ajustar estimativas

106 Fontes de viéses na memória Quem provê as informacões? Sub-estimativa de gastos pequenos e de rotina “Telescópio” da memória em relação aos maiores gastos Distorção para alinhar-se com condutas adequadas: Intencional ou inconsciente Romantização do passado Exageros (exemplo “Não tinhamos nada antes desse Projeto!”) Fatores contextuais: Os intervalos de tempo usados nas perguntas As expectativas dos respondentes acerca do que o entrevistador quer saber Implicações para o protocolo de entrevista

107 Melhorando a validade da memória Conduzir estudos curtos para comparar a memória com pesquisas ou outros achados Assegurar-se que todos os grupos relevantes sejam entrevistados Triangulação Vincular memória a importantes eventos de referência Eleições Secas/inundacões/tsunami/guerra/realocaçao Construção de estradas, escolas, etc.

108 Informantes-chave Não apenas funcionários e pessoas de alto cargo Todos podem ser informantes-chave em situações próprias: Mães solteiras Trabalhadores de fábricas Usuários de transporte público Prostitutas Meninos de rua

109 Guias para análise de informantes-chave A triangulação ajuda muito a validar e entender Incluir informantes com diferentes experiências e perspectivas Entender como cada informante se enquadra no contexto Empregar múltiplas rodadas se necessário Manejar os assuntos éticos cuidadosamente

110 DPR e técnicas de participação relacionadas As técnicas DPR (Diagnóstico Participativo Rápido) e AAP (Ação e Aprendizagens Participativos) ajudam a coletar dados em grupos e comunidades (mais do que em nível) Ambas ajudam a identificar consenso ou perspectivas diferentes Risco de viés: Se só participam certos setores da comunidade Se certas pessoas dominam a discussão

111 Sumário dos temas na reconstrução da linha de base Variações na confiabilidade da memória Distorção da memória Os dados secundários não são fáceis de usar Dados secundários incompletos ou não confiáveis Informantes-chave podem distorcer o passado

Maneiras de reconstruir grupos de comparação Associação de comunidades para julgamento Quando se introduzem os serviços de um projeto em fases, os beneficiários que entram nas últimas fases podem ser usados como grupos de comparação “tubulações Controles internos quando diferentes sujeitos recebem diferentes combinações combinaciones e níveis de serviço

113 Uso de notas para fortalecer grupos de comparação Associando notas ou scores Estudos rápidos de avaliação podem comparar características de projetos e grupos de comparação usando: Observação Informantes chave Grupos focais Dados secundários Fotos aéreas e dados georreferenciados

114 Aspectos a considerar na reconstrução de grupos de comparação Áreas do projeto frequentemente selecionadas intencionalmente e difíceis de associar Diferenças entre grupos de projeto e grupos de comparação – dificuldade de avaliar se os resultados se deveram às intervenções do projeto ou às diferenças iniciais Ausência de boas informações para selecionar grupos de comparação Contaminação (as boas ideias tendem a espalhar-se!) Os métodos econométricos não podem ajustar integralmente as diferenças iniciais entre os grupos [não- observáveis]

Já chega das minhas apresentações: é hora de vocês (Gente do Mundo Real) envolverem-se.

Tempo para trabalhos em grupos. Leiam os seus estudos de caso e comecem suas discussões.

117

1. Alguns de vocês estão prestando consultoria em avaliação. Outros são os clientes que comissionam (recebem e aprovam) a avaliação. 2. Decidam o que seu grupo proporá para responder aos desafíos e restrições. 3. Preparem-se para negociar os TdR com o outro grupo (mais tarde). Trabalho em grupo: estudos de caso

avaliações con métodos mistos Avaliação em um Mundo Real Desenhando avaliações sob restrições Políticas, orçamentárias, de tempo e de informação

NÃO deveria haver uma disputa entre Qualoide! Quantoide! QUANTITATIVO (só números) OU QUALITATIVO (só textos) (só textos) 120

121 “Sua história humana parece bonita, mas deixa eu te mostrar algumas estatísticas” “Seus números são impressionantes, mas deixa eu te contar uma história humana interessante”

O que é preciso é combinar adequadamente AMBOS métodos QUALITATIVOS E QUANTITATIVOS 122

123 Métodos de coleta de dados quantitativos Pesquisas estruturadas (domicílios, fazendas, uso de transporte, etc.) Observação estruturada Métodos antropométricos Testes de aptidão e comportamento Indicadores que possam ser quantificados

124 Métodos de coleta de dados qualitativos Características A perspectiva do investigador é uma parte integral do que é registrado sobre o mundo social Não é possível um distanciamento científico Significados dados a situações fenômenos sociais devem ser entendidos Programas não podem ser estudados independentemente do seu contexto É difícil definir uma clara relação entre causa e efeito A transformação debe ser estudada de forma holística

125 Usando métodos qualitativos para melhorar o desenho e os resultados da avaliação Usar a memória para reconstruir a situação pré-teste Entrevistar informantes-chave para identificar outras mudanças na comunidade ou em relações de gênero Conduzir entrevistas ou grupos focais com mulheres e homens para Evaliar o efeito dos empréstimos nas relações de gênero dentro das casas, tais como mudanças no controle dos recursos e na tomada de decisões Identificar outros resultados importantes ou consequências não esperadas: Aumento na carga de trabalho das mulheres, Aumento da incidência da violência doméstica de gênero

126 Disenhos de avaliação com métodos mistos Combinam as fortalezas de ambas abordagens quantitatIVO e qualitatIVO Uma abordagem ( QUANTI ou QUALI) é frequentemente dominante e a outra a complementa Ambas as abordagens podem coexistir de igual maneira mas torna a avaliação difícil de desenhar e manejar Podem ser usadas de maneira sequenciada ou simultânea

Determinando a precisão e combinação apropriada de múltiplos métodos E xtrativo --- quantitat ivo Participativo --- qualitat ivo Alto nivel de rigor, de qualidad, mais tempo & gasto Baixo nível de rigor, qualidad questionável, barato e rápido Entrevistas a Informanteschave GruposFocais PesquisasUnidades familiares familiares Medidasnutricionais Grupogrande GruposFocais PesquisasUnidadesfamiliares Medidasnutricionais

Abordagens participativas deveriam ser usadas tanto quanto possível Mas, ainda assim, com rigor apropriado: quantas (e quais) perspectivas das pessoas contribuíram para a história? 128

Perguntas? 129

Tempo para as equipes de consultores reunirem-se com clientes para negociar os TdRs para a avaliação do projeto de habitação. 130

131 Conclusão: Os avaliadores devem estar preparados para: 1. Entrar num periodo tardio do ciclo do projeto ; 2. Trabalhar sob restrições de tempo e orçamentárias; 3. Não ter acesso a dados comparativos de linha de base; 4. Trabalhar sem grupos de comparação viáveis; 5. Trabalhar com investigadores de avaliação pouco qualificados; 6. Reconciliar diferentes paradigmas de avaliação e necessidades de informação de diferentes tipos de atores

132 Principais mensagens do Workshop 1. Os avaliadores devem estar preparados para os desafios da avaliação em um Mundo Real. 2. Há uma experiência considerável com a qual aprender. 3. Um conjunto de técnicas práticas de avaliação está disponível em 4. Nunca usem os limites de tempo e orçamento como desculpa para metodologías de avaliação superficiais. 5. Uma lista de verificação de “ameaças de validação” ajuda a ser honesto na identificação de debilidades potenciais em seu desenho de avaliação e análise.

133 O B R I G A D O !