A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

1 Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticas III Seminário da Rede Brasileira.

Apresentações semelhantes


Apresentação em tema: "1 Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticas III Seminário da Rede Brasileira."— Transcrição da apresentação:

1

2 1 Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticas III Seminário da Rede Brasileira de Monitoramento e Avaliação Brasília, DF, Brasil 01 de junho de 2011 Workshop Coordenado por Jim Rugh A apresentação é um resumo do capítulo do livro que está disponível em : Traduzida para o portugues por Marcia Joppert

3 Objetivos do Workshop 1. Os sete passos do enfoque da Avaliação em um Mundo Real para responder a assuntos comuns e restrições enfrentadas por avaliadores, tais como: quando o avaliador é convocado não momento de finalização do projeto e não existe linha de base nem grupo de comparação; ou quando a avaliação tem que ser realizada com um orçamento inadequado ou prazo insuficiente; e quando existem pressões políticas e expectativas a respeito de cómo a avaliação deveria ser conduzida ou quais deveriam ser as conclusões. 2

4 Objetivos do Workshop 2. Definir qual deveria ser o impacto da avaliação; 3. Identificar e analisar várias opções de desenho que poderiam ser usados em um contexto particular de avaliação; 4. Maneiras de reconstruir a linha de base quando a avaliação inicia quando o projeto já está muito avançado ou finalizado; 5. como minimizar as ameaças à validade ou adequação usando uma apropriada combinação de enfoques qualitativos e quantitativos (métodos mistos) em relação a um contexto específico de Avaliações em um Mundo Real. 3

5 Objetivos do Workshop Nota: Este workshop tem como foco a avaliação de impactos em projetos. Naturalmente, há muitas outras propostas, escopos e tipos de avaliação. Alguns desses métodos podem ser aplicáveis a eles, mas nossos exemplos se basearão em avaliações de impacto de projetos, principalmente no contexto de países em desenvolvimento. 4

6 Agenda de Trabalho 1.Introdução [10 minutos] 2. Resumo da abordagem Avaliação em um Mundo Real (AMR) [30 minutos] 3. Apresentação de participantes em pequenos grupos e intercâmbio de experiências relacionadas com a AMR. [30 minutos] 4. AMR (passos 1, 2 e 3): Definindo o escopo da avaliação e as estratégias para resolver as restrições de tempo e orçamentos [75 minutos] --- intervalo curto [15 minutos] AMR (passo 4): Enfrentando restrições de informação [30 minutos] 6. Pequenos grupos lêem seus estudos de caso e iniciam a discussão [30 minutos] --- almoço [60 minutos] Métodos qualitativos, quantitativos e mistos [20 minutos] 8. Os grupos completam a preparação dos estudos de caso. Exercícios sobreTermos de Referência (TORs) [30 minutos] 9. Negociação de Termos de Referência entre gurpos [60 minutos] 10. Resultados do exercício [15 minutos] 11. Conclusão das discussões. Avaliação do workshop [30 minutos]

7 6 Resumo do enfoque AMR Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticas

8 7 Cenários de Avaliação em um Mundo Real Cenário 1: avaliadores não participam até quase o final do projeto Por razões políticas, técnicas ou orçamentárias: Não houve plano de avaliação do ciclo de vida do projeto Não houve pesquisa de linha de base Os executores não coletaram informação adequada sobre os participantes nem no início nem durante a implementação do projeto É difícil conseguir informações de grupos de controle comparáveis

9 8 Cenário 2: A equipe de avaliação é convocada no início do projeto Mas, por razões orçamentárias, políticas ou metodológicas: A linha de base foi uma avaliação de necessidades, não é comparável em uma avaliação eventual Não foi possível coletar dados de linha de base de um grupo de comparação Cenários da Avaliação em um Mundo Real

10 9 Checando a realidade – Desafios da Avaliação do Mundo Real Em geral, os formuladores de projetos não pensam avaliativamente e a avaliação acaba sendo desenhada ao final do projeto Não houve linha de base; ao menos não uma com dados comparáveis na avaliação Não houve e nem pode haver grupos de comparação/controle. Tempo e recursos limitados para a avaliação Os clientes têm suas próprias expectativas sobre o que eles querem que os resultados digam Muitos atores não entendem avaliação; não confiam no proceso ou o vêm como uma ameaça (não gostam de ser julgados)

11 10 Avaliação em um Mundo Real Metas de Controle de Qualidade Conseguir o máximo rigor possível na avaliação dentro das limitações de um dado contexto Identificar e controlar as debilidades metodológicas no desenho de uma avaliação Negociar com os clientes as vantagens e desvantagens entre o rigor desejado e os recursos disponíveis A apresentação de achados deve reconhecer as debilidades metodológicas e como estas podem causar generalizações a outras populações/comunidades

12 11 A necessidade da abordagem Avaliação em um Mundo Real Como resultado destas restrições, muitos dos principios básicos para um rigoroso desenho de avaliação de impacto são frequentemente sacrificados, como por exemplo: pré-teste comparável, desenho pós-teste, grupo de controle, desenvolvimento e teste de instrumentos adequados, seleção de amostra aleatória, controle dos viéses dos investigadores, minuciosa documentação da metodologia de avaliação, etc.

13 12 A abordagem Avaliação em um Mundo Real um enfoque integrado para assegurar padrões aceitáveis de rigor metodológico enquanto se trabalha sob restrições políticas, orçamentárias, de tempo e de informação. Ver o livro RealWorld Evaluation ou, ao menos, o capítulo resumo para mais detalhes

14 13 A abordagem Avaliação em um Mundo Real Desenvolvido para ajudar avaliadores e clientes Gerentes de Projetos, agências de financiamento e consultores externos Um trabalho ainda em construção (continu- se aprendendo a partir de workshops como este) Inicialmente desenhado para países em desenvolvimento, mas igualmente aplicável em países desenvolvidos

15 14 Desafios particulares da avaliação em países em desenvolvimento Falta de acesso ou inexistência de dados secundários Escassos recursos locais para avaliação Orçamentos limitados para avaliação Restrições institucionais e políticas Falta de uma cultura em avaliação (ainda quando as associações de avaliação tentam dar resposta a esta questão) Muitas avaliações desenhadas por e em função dos interesses das agências financeiras e raras vezes em função das prioridades dos atores locais ou nacionais

16 15 Apesar desses desafios, existe uma crescente demanda por avaliações metodologicamente sérias, capazes de captar os impactos, a sustentabilidade e a replicabilidade dos projetos e programas de desenvolvimento. (Falaremos disto mais tarde…!) Expectativas para avaliações rigorosas

17 16 A maioria das ferramentas da Avaliação em um Mundo Real não são novas, mas promovem um enfoque holístico e integrado A maioria das ferramentas para coleta e análise de dados da abordagem Avaliação em um Mundo Real serão familiares para avaliadores experientes. O que se enfatiza é um enfoque integrado, o qual combina uma ampla gama de ferramentas adaptadas para obter a melhor qualidade da avaliação sob as restrições e condicionantes do mundo real.

18 17 O que há de especial na abordagem Avaliação em um Mundo Real? Existe uma serie de passos definidos, cada um com uma lista de verificação das restrições e a maneira de enfrentá-las. Esses passos estão resumidos no próximo slide e depois em um fluxograma mais detalhado.…

19 18 Os passos do Enfoque Avaliação em um Mundo Real passo 1: Planejar e definir o escopo da avaliação passo 2: Abordar as restrições orçamentárias passo 3: Abordar as restrições de tempo passo 4: Abordar as restrições de Informação passo 5: Abordar as restrições políticas passo 6: Avaliar e abordar as fortalezas e debilidades do desenho da avaliação passo 7: Ajudar os clientes a usar a avaliação

20 A abordagem Avaliação em um Mundo Real passo 1: Planejando e definindo o escopo da avaliação A. Definir as necessidades de informação do cliente e comprender o contexto político B. Definir o modelo teórico do programa C. Identificar as restrições de tempo, orçamento, informação e políticas a seren endereçadas pela AMR D. Selecionar o desenho que melhor atenda as necessidades do cliente dentro das restrições da AMR passo 2 Abordar restrições orçamentárias A. Modificar o desenho da avaliação B. Racionalizar necessidades de informação C. Pesquisar informações secundárias confiáveis D. Revisar o desenho amostral E. Definir métodos econômicos de coleta de dados passo 3 Abordar restrições de tempo Todo o passo 2 + : F. Realizar Estudos preparatórios G. Contratar mais recursos humanos H. Revisar formatos de registro do projeto para incluir dados críticos para a avaliação de impacto. I. Tecnologia moderna para coleta e análise de dados passo 4 Abordar restrições de informação A. Reconstruir linha de base B. Recriar os grupos de controle/comparação C. Trabalhar con grupos de controle não equivalentes D. Coletar informação em temas sensibles ou de grupos difíceis de acessar E. Uso de métodos múltiplos passo 6 Avaliar e abordar as fortalezas e debilidades do desenho de avaliação Uma lista de verificação integrada para desenhos multi-métodos A. Objetividade/confirmabilidade B. Replicabilidade/dependência C. Validade interna/credibilidade/autenticidade D. Validade externa/transferência/adaptabilidade passo 7 Ajudar os clientes a usar a avaliação A. Utilização B. Aplicação C. Orientação D. Ação passo 5 Abordar influências políticas A. Acomodar as pressões das agências de financiamento ou dos clientes sobre o desenho da avaliação B. Endereçar as preferências metodológicas dos atores sociais C. Reconhecer a influência dos paradigmas de investigação profissional. 19

21 tempo para discussão em grupos 20

22 21 1.Apresentação de cada participante 2.Que restrições destes tipos vocês enfrentaram em suas prática de avaliação ? 3.Como lidaram com elas?

23 22 passo 1 Planejando e definindo o escopo da avaliação Avaliação em um Mundo Real Desenhando avaliações sob restrições orçamentárias, de tempo, de informação e políticas

24 23 Passo1: Planejando e definindo o escopo da avaliação Comprender as necessidades de informação dos clientes Definir o modelo teórico do programa Identificação preliminar de restrições a serem endereçadas pela Avaliação em um Mundo Real

25 24 A. Comprendendo as necessidades de informação do cliente Perguntas típicas que os clientes desejam responder: O projeto está alcançando seus objetivos? Está tendo o impacto desejado? Todos os setores da população-alvo estão sendo beneficiados? Os resultados serão sustentáveis? Que fatores contextuais determinam o grau de êxito ou fracasso ?

26 25 Uma completa compreensão das necessidades de informação do cliente frequentemente reduzem os tipos de informação coletada, o nível de detalhe e o rigor necessário. No entanto, esta completa compreensão também pode incrementar a quantidade de informação requerida! A. Comprendendo as necessidades de informação do cliente

27 26 B. Definindo o modelo teórico do Programa Todos os programas baseiam-se em um conjunto de pressupostos (hipóteses) acerca de como as intervenções deveriam contribuir para o alcance dos resultados desejados. Às vezes isso está claramente explicitado nos documentos de projeto. Às vezes está apenas implícito e o avaliador tem que ajudar os diferentes atores a articularem as hipóteses através de um modelo lógico.

28 27 Definir e testar os pressupostos críticos são elementos essenciais (mas frequentemente ignorados) do modelo da teoria de programas. O slide a seguir mostra um exemplo de um modelo para avaliar os impactos do micro- crédito no empoderamento social e econômico de mulheres B. Definindo o modelo teórico do Programa

29 28 Sustentabilidade Mudanças estruturais contribuirão com impactos de longo prazo. Impactos de médio e longo prazo Incremento do empoderamento econômico e social das mulheres. Melhora do bem-estar econômico e social das mulheres e suas famílias. Resultados a curto prazo Se as mulheres obtêm empréstimos, elas iniciarão atividades geradoras de renda. As mulheres serão capazes de controlar o uso dos empréstimos e pagá-los. Produtos Se há oferta de crédito, as mulheres estarão dispostas e aptas a obter empréstimos e assistência técnica. Hipóteses críticas da cadeia lógica em um programa de micro-crédito com inclusão de gênero

30 PROBLEMA CAUSA PRIMARIA 2 CAUSA PRIMARIA 1 CAUSA PRIMARIA 3 Causa Secundaria 2.2 Causa Secundaria 2.3 Causa Secundaria 2.1 Causa Terciaria Causa Terciaria Causa Terciaria Consequências

31 IMPACTO DESEJADO RESULTADO 2 RESULTADO 1 RESULTADO 3 PRODUTO 2.2 PRODUTO 2.3 PRODUTO 2.1 Intervenção Intervenção Intervenção Consequências

32 MULHERES EMPODERADAS Mulheres jovens educadas Mulheres em funções de liderança Oportunidades Econômicas para mulheres Aumento da participação das mulheres Melhora nos currículos Melhores políticas educacionais Pais estimulados a mandar suas filhas para a escola Construção de escolas Contratação e remuneração justa de professores Redução da Pobreza

33 Promoção do Objetivo do projeto : Políticas educacionais melhoradas Objetivo do Programa : mulheres jovens instruídas Objetivos constructivos do projeto Mais salas de aula construídas Objetivos de formação de educadores: Melhorar a qualidadr do currículo Objetivos de Programa em nivel de impacto PRESSUPOSTO (que outros farão isto) PARCEIROS farão isto NOSSO projeto Para ter sinergia e gerar impactos tudo isso precisa envolver O mesmo público alvo.

34 O Que é preciso para medir indicadores em cada nível? Resultados: Resultados: Mudanças de comportamento dos participantes (Pode ser checado anualmente) Produto: Produto: Medido e reportado pela equipe do projeto (anualmente) Actividades: Actividades: Durante (monitoramento da intervenção ) Insumos: Insumos: Durante (acompanhamento financeiro) Impacto: Pesquisa junto à população Impacto: Pesquisa junto à população (avaliação da linha de base e da linha final)

35 Nós precisamos reconhecer qual processo avlaiativo é mais apropriado para a medição em diferentes níveis Impacto Resultados Produtos Atividades Insumos MONITORAMENTO do DESEMPENHO AVALIAÇÃO do Projeto AVALIAÇÃO de IMPACTO

36 35 DesenhoInsumos Proceso de Implementação ProdutosResultados ImpactosSustenta- bilidade Contexto Econômico no qual opera o projeto Contexto Político no qual opera o projeto Contexto institucional e operacional Características sócio-econômicas e culturais das populações afetadas Nota: os quadros laranja estão incluidos nos modelos teóricos convencionais de programas. Os quadros azuis agregados permitem uma análise mais completa Uma forma de Modelo Teórico (lógico) de um Programa

37 36

38 Insumos Produtos Resultados Intermediários Impactos Financiador 1Governooutros financiadores Crédito para pequenos produtores Estradas em zonas rurais Escolas Serviços de Saúde Renda familiar rural aumentada Produção aumentada Aumento do nº de matrículas na escola Aumento do uso de serviços de saúde Acesso a emprego não agrícola Desempenho educacional melhorado Saúde melhorada Participação política aumentada Expandindo a cadeia de resultados para um programa com multi- financiadores e multi-componentes Atribuir efeitos é muito difícil! Considere a possibilidade de identificar as contribuições plausíveis de cada intervenção.

39 Lógica de uma Intervenção Educacional Gestão institucional Materiais educativos e Currículo Emprego e capacitação educadores Servicios Educacionais Saúde Melhor alocação de recursos educacionais Aumento asequibilidad Educativa Emprego ótimo Incremento de habilidades e aprendizado Acesso equitativo a educação Qualidade da Educação Melhores oportunidades de Renda Crescimento Económico Desenvolvimento Social Redução da Pobreza Grupo de produtos Resultados Impactos específicos Impactos Intermediários Impactos Globais Maior participação da Sociedade Planejamento familiar e seguros de saúde melhorados ODM 3 ODM 2 ODM 1 ODM 2 Fonte: OECE/DAC Network on Development Evaluation

40 39 1. Relação causa-efeito direta entre um produto (ou um limitado número de produtos) e um resultado que pode ser medido ao final do projeto ? Atribuição muito clara. … Ou … 2. Mudanças em indicadores de alto nível de melhorias sustentadas na qualidade de vida da população, ex: os ODMs (Objetivos de Desenvolvimento do Milenio)? Mais significativos, mas muito mais difícil analisar la atribução. Então, o que deveríamos incluir em umaavaliação de impacto rigorosa?

41 40 OECD-DAC (2002: 24) define impacto como os efeitos de longo prazo, positivos e negativos, primários e secundários, produzidos por uma intervenção de desenvolvimento, direta ou indiretamente, esperados ou não. Tais efeitos podem ser econômicos, socio-culturais, institucionais, ambientais ou de outros tipos. Isto menciona ou implica em atribuição direta?, ou ressalta a necessidade de estabelecer grupos de controle (contrafactuais) ou Ensaios Aleatórios de Controle (RCTs)? Então, o que deveríamos incluir em umaavaliação de impacto rigorosa?

42 41 Este pode ser um tema delicado: em geral, não agrada a equipe de projeto ter responsabilidade além de produtos, enquanto que os financiadores (e o púbico-alvo) podem insistir em avaliar resultados de mais alto nível. Se a correlação entre efeitos intermediários e impactos foi adequadamente estabelecida em estudos e avaliações prévios, então aferir indicadores intermediários pode ser suficiente, uma vez que os contextos podem mostrar-se suficientemente similares para que tais correlações causa-efeito sejam consideradas testadas Chegando a um acordo sobre que níveis do modelo lógico incluir na avaliação

43 42 Avaliação de Programa é a coleta sistemática de informação acerca das atividades, características e resultados de um programa para realizar julgamentos, melhorar ou desenvolver a sua efetividade, subsidiar futuras tomadas de decisões e aumentar a compreensão sobre a intervenção. -- Michael Quinn Patton, Utilization-Focused Evaluation, 4 th edition, 2008, page 39 Definição de avaliação de Programas

44 43 Formativa: aprendizagem e melhoria, incluindo a identificação antecipada de possíveis problemas Geradora de Conocimiento: identificaras relações de causa- efeito e princípios gerais acerca da efetividade. Prestadora de Contas: demonstra que os recursos foram usados eficientemente para obter os resultados esperados Juízos Somativos: determina o valor e o futuro do programa Avaliação do Desempenho: adaptação em condições complexas, emergentes e dinámicas -- Michael Quinn Patton, Utilization-Focused Evaluation, 4 th edition, pages Alguns Propósitos da Avaliação de Programas

45 44 Determinando um desenho de avaliação apropriado e viável Com base no principal propósito de conduzir uma avaliação, na compreensão das necessidades de informação do cliente, no nivel de rigor requerido e o que é viável dadas as restrições, o avaliador e o cliente têm que determinar que desenho de avaliação é requerido e possível sob as circunstâncias.

46 45 Algumas considerações para o desenho de uma avaliação 1: Quando se realizam os eventos de avaliação? (linha de base, avaliação intermediária, avaliação final) 2. Análise de diferentes desenhos de avaliação (experimentais, quasi-experimentais, outros) 3: Nível de rigor desejado 4: Métodos qualitativos e quantitativos 5: um desenho de avaliação basado no ciclo de vida do projeto.

47 linha de base Avaliação Final do projeto iIustrando a necessidade de desenhos de avaliação quasi- experimentais e de séries de tempo ou longitudinais Participantes do projeto Grupo de comparação avaliação pós projeto Uma Introdução a vários desenhos de avaliação Escala do principal indicador de impacto 46

48 OK, vamos dar uma paradinha para identificar cada um dos principais tipos de desenho de avaliação (investigação ) … … um de cada vez, começando pelo desenho mais rigoroso. 47

49 Antes de tudo; a chave dos símbolos tradicionais: X = Intervenção (tratamento), ou seja: que faz o projeto numa comunidade? O = Evento de Observação (ex: linha de base, avaliação intermediária, avaliação final do projeto) P (fila superior): Participantes do Projeto C (fila inferior): Grupo de Comparação (ou de controle) 48 Nota: os 7 desenhos de AMR se encontram na página 41 do documento resumo do livro Avaliação em um Mundo Real

50 Linha de base Avaliação Final Do Projeto Grupo de comparação avaliação posterior de Projeto desenho # 1: Quasi-experimental Longitudinal P 1 X P 2 X P 3 P 4 C 1 C 2 C 3 C 4 Participantes do Projeto Interme-diário 49

51 Linha de base Grupo de Comparação Desenho # 2: Quasi-experimental (pre+pós, com comparação ) P 1 X P 2 C 1 C 2 Participantes do Projeto 50 Avaliação Final Do Projeto

52 linha de base Grupo de Controle Desenho #2+: Teste de Controle Aleatório P 1 X P 2 C 1 C 2 Participantes de Projeto 51 Temas de investigação selecionados aleatoriamente seja para o grupo de projeto ou o grupo de controle Avaliação Final do Projeto

53 Grupo de Comparação desenho #3: Longitudinal Truncado X P 1 X P 2 C 1 C 2 Participantes de Projeto Interme-diária 52 Avaliação Final do Projeto

54 Linha de base Grupo de Comparação desenho #4: Pre+pós do Projeto; comparação só posterior P 1 X P 2 C Participantes do Projeto 53 Avaliação Final do Projeto

55 Grupo de Comparação Desenho #5: apenas pós-teste do Projeto e comparação X P C Participantes do Projeto 54 Avaliação Final do Projeto

56 linha de base Avaliação Final do Projeto Desenho # 6: Pre+posterior do Projeto; sem comparação P 1 X P 2 Participantes do projeto 55

57 desenho #7: Pós-teste apenas de Participantes do Projeto X P Participantes do projeto 56 Avaliação Final do Projeto

58 57 DesenhoDesenho T 1 (linha de base) X (intervenção ) T 2 (momento intermediário) X ( intervenção cont.) T 3 (Linha Final) T 4 (posterior) 1 P1C1P1C1 X P2C2P2C2 X P3C3P3C3 P4C4P4C4 2 P1C1P1C1 XX P2C2P2C2 3 X P1C1P1C1 X P2C2P2C2 4 P1P1 XX P2C2P2C2 5 XX P1C1P1C1 6 P1P1 XXP2P2 7 XXP1P1

59 58 Atribução e contrafactuais Como saber se as mudanças observadas nos participantes do Projeto ou comunidade renda, saúde, atitudes, assistência escolar, etc. se devem à implementação do projeto crédito, abastecimento de água, vale-transporte, construção de escolas, etc. ou a outros fctores não relacionados? Mudanças na economia, mudanças demográficas, outros programas de desenvolvimento, etc.

60 59 O contrafactual Que mudanças teriam ocorrido na condição da população alvo se não houvesse existido a intervenção através deste Projeto ?

61 60 Onde está o contrafactual? Depois de viver por 3 anos em novas casas (obtidas a partir do Projeto), um estudo descobriu que sua renda cresceu 50 % Isto mostra que as casas são uma maneira efetiva para elevar a renda?

62 Comparando o Projeto com dois possíveis grupos de comparação Grupo de projeto. Melhora em 50% Cenário 2. 50% de melhorana renda do grupo de comparação. Não há evidência de impacto do Projeto Cenário1. Renda do grupo de comparação não melhora. Potencial evidência de impacto do Proejto Ingreso

63 62 Grupo de Controle e Grupo de Comparação Grupo de controle = atribuição aleatoria de temas a grupos do Projeto e grupos sem tratamento Grupo de Comparação = procedimento separado de amostragem para grupos beneficiados (do Projeto) e sem tratamento (não beneficiários), grupos que são praticamente idênticos salvo pelo tratamento (intervenção)


Carregar ppt "1 Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticas III Seminário da Rede Brasileira."

Apresentações semelhantes


Anúncios Google