Workshop Coordenado por

Apresentação em tema: "Workshop Coordenado por"— Transcrição da apresentação:

1 Workshop Coordenado por
Avaliação em um Mundo Real Desenhando Avaliações sob restrições orçamentárias, de tempo, de informação e políticas III Seminário da Rede Brasileira de Monitoramento e Avaliação Brasília, DF, Brasil 01 de junho de 2011 Workshop Coordenado por Jim Rugh A apresentação é um resumo do capítulo do livro que está disponível em : Apresentação traduzida para o Português por Marcia Joppert RealWorld Evaluation - Steps 1, 2 & 3

2 Alguns avanços recentes em avaliação de impacto em projetos de desenvolvimento
J-PAL conhecida como uma rede de investigadores associados unidos pelo uso de metodologías de testes aleatórios 2003 2006 2008 2010 Nos últimos anos tem havido uma crescente ênfase em avaliação de impacto em políticas públicas de desenvolvimento. Em políticas públicas tem havido um foco em políticas e práticas baseadas em evidências, desenhos a partir de abordagens desenvolvidas para medicina baseada em evidências In development there have been calls for more rigorous impact evaluation. In both areas there have been debates about what constitutes ‘rigorous evidence’ and ‘scientific approaches’ to impact evaluation. Some people and organizations have argued exclusively for increased use of specific research designs – in particular Randomized Controlled Trials (RCTs). Others have argued that these designs are not always appropriate or feasible, and that we need other approaches to doing more systematic, rigorous and useful impact evaluation.

3 Se sim, em que cirunstâncias deveriam ser usadas?
Então, Jim está dizendo que os testes de controle aleatórios (RCTs) são o “Estado da Arte” e deveriam ser usadas na maioria das avaliações de impacto de programas? Sim ou não? Por que sim e por que não? Se sim, em que cirunstâncias deveriam ser usadas? Se não, em que cirunstâncias não seriam apropriadas?

4 Adaptado de Patricia Rogers, RMIT University
Políticas baseadas em evidência para intervenções simples (ou aspectos simples) : quando RCTs podem ser apropriadas Perguntas necessárias para política baseada em evidência  O que funciona? Como é a intervenção?  Discreta, intervenção padronizada Ccomo funciona a intervenção ?  Bastante parecida em todos os lugares Procedimientos necessários para obter evidência Absorção  Transferência de conhecimento Adaptado de Patricia Rogers, RMIT University

5 Quando uma avaliação rigorosa dos indicadores de altos níveis de impacto não seria necessária?
Programas complicados e complexos onde haja intervenções múltiplas por múltiplos atores Projetos implementados em contextos dinâmicos (ex. conflitos, desastres naturais) Projetos sob múltiplos modelos lógicos, ou quando não haja relação clara de causa-efecto entre produtos ou não estejam claros os enunciados de visão (geralmente o caso de projetos de desenvolvimento internacionais no MundO Real) RealWorld Evaluation - Steps 1, 2 & 3

6 Quando uma avaliação rigorosa dos indicadores de altos níveis de impacto não seria necessária?
Uma avaliação com esta abordagem deve ser realizada se foi definida adequadamente uma relação caus-efeito entre os resultados intermediários e os efeitos finais ou de impacto através de estudos previos. Então, analisando os resultados em nivel dos alcances intermediários pode ser suficiente sempre e quando o contexto (condições externas e internas) evidencia ser suficientemente similar ao momento que se definiu a relação causa efeito. RealWorld Evaluation - Steps 1, 2 & 3

7 Exemplos de relações causa-efeito geralmente aceitas
Vacinação de crianças com um conjunto padrão de vacinas prescritas para certa idade como capazes de reduzir alguma enfermidade infantil (os meios de verificação implicam observar as características de saúde das crianças, não só a quantidade total de vacinas distribuídas no hospital) outros exemplos…?

8 Lentes diferentes necessárias para diferentes situações no Mundo Real
Simples Complicado Complexo Seguir uma receta Enviar um foguete à lua Criar uma criança As receitas são testadas para assegurar fácil replicação Enviar um foguete à lua melhora a certeza de que o próximo também será exitoso Criar uma criança dá experiência mas não garante o éxito com o próximo As melhores receitas oferecem bons resultados todas as vezes Existe um alto grau de certeza nos resultados A incerteza dos resultados se mantém Fonte: Westley et ao (2006) e Stacey (2007), citado por Patton 2008; también presentado por Patricia Rodgers em la conferencia de Impacto do Cairo (2009).

9 Citado por Patricia Rogers, RMIT University
“É muito melhor ter uma resposta aproximada à pergunta correta, que é geralmente vaga, que a resposta correta à pergunta errada, a qual sempre pode ser formulada com precisão. J. W. Tukey (1962, page 13), "The future of data analysis". Annals of Mathematical Statistics 33(1), pp Citado por Patricia Rogers, RMIT University

10 Podem haver problemas de validação com RTCs
Validação interna Temas de Qualidade – Medição débil, aderência débil à amostra aleatória, base estatística inadequada, efetos diferenciales ignorados, comparação inadequada, busca de significado estatístico, perda de informação, implementação de baixa qualidade não identificada outros – error na amostragem aleatória, contaminação de outras fontes, necessidade de um paquete causal completo. Validação externa Efetividade na prática do mundo real, capacidade de transferência para novas situações Patricia Rogers, RMIT University 10

11 O uso limitado de sólidos desenhos de avaliação
No Mundo Real (ao menos em programas internacionais de desenvolvimento) estimamos que: Menos de 5% - 10% das avaliações de impacto de projetos usam sólidos desenhos experimentais ou até desenhos quais-experimentais Muito menos do que 5% usam Teste de Controle Randomizado (desenho experimental “puro”) 11 11

12 Considere o Mundo Real dos programas a ser avaliados como um quebra-cabeças gigante
Os desenhos de investigação to tipo experimental (avaliação) e, mucho menos os RCTs, ssolo paró são apropriados para poucas peças deste quebra-cabeças gigante. É por isso que bons avaliadores (e aqueles que comissionam avaliações) precisam de uma caixa de ferramentas mais diversificada , que possam ser customizadas ao desenhar avaliações que repondem a diferentes propósitos e circunstancias 12

13 Há outros métodos para analisar os contrafactuais
Dados secundarios confiáveis que mostrem tendências relevantes na população Dados longitudinais de monitoramento (se incluem população não coberta) Métodos qualitativos para obter perspectivas de informantes chave, participantes, vizinhos, etc. Falaremos mais sobre isso depois… 13 13

14 Quem solicitou a avaliação? (Quem são as partes interessadas)?
Ainda parte do passo 1: Outras perguntas para responder quando vocês adaptam Termos de Referência (TdR) de uma avaliação : Quem solicitou a avaliação? (Quem são as partes interessadas)? Quais são as perguntas chave que devem ser respondidas? Trata-se de uma avaliação formativa ou somativa (qual o propósito)? Haverá uma fase seguinte ou outros projetos desenhados com base nos achados desta avaliação? 14 RealWorld Evaluation - Steps 1, 2 & 3

15 Que decisões serão tomadas em resposta aos achados desta avaliação?
Outras perguntas para responder enquanto se adaptam os Termos de Referência de uma avaliação: Que decisões serão tomadas em resposta aos achados desta avaliação? Qual é o nível apropriado de rigor? Qual é o alcance/escala da avaliação (o que será avaliado)? Quanto tempo será necessário e de quanto tempo se dispõe? Que recursos financeiros serão necessários e qual a disponibilidade? 15 RealWorld Evaluation - Steps 1, 2 & 3

16 Outras perguntas para responder enquanto se adaptam os Termos de Referência de uma avaliação:
A avaliação deveria apoiar-se principalmente em métodos qualitativos ou quantitativos? Deveriam ser usados métodos participativos? Poderia ou teria que ser feita uma pesquisa nos domicípios? Quem deveria ser entrevistado? Quem deveria ser envolvido no planejamento/implementação da avaliação? Quais são os meios mais adequados para comunicar os achados a diferentes partes interessadas? 16 RealWorld Evaluation - Steps 1, 2 & 3

17 desenho da avaliação (investigação)? Recursos disponíveis?
Tempo disponível? Perguntas chaves? O que avaliar? Habilidades disponíveis? Qualitativo? Participativa? Quantitativo? Alcance? Extractiva? Nível de rigor apropriado? Avaliação para quem? Isto ajuda ou confunde mais? Quem disse que as avaliações (como a vida) seriam fáceis?!! 17 RealWorld Evaluation - Steps 1, 2 & 3

18 Antes de voltar aos passos da Avaliação em um Mundo Real, pensemos em níveis de rigor, e como seria um Plano de Avaliação de um projeto em todo seu ciclo de vida 18 RealWorld Evaluation - Steps 1, 2 & 3

19 Níveis diferentes de rigor
Depende da fonte de evidência; do nivel de confiança; do uso da informação Objetivo, alta precisão – requerendo mais prazo e recursos ($) Rápida e barata – mas subjetiva, inconsistente Nivel 5: um projeto de investigação muito detalhado realiza-se para analisar em profundidade a situação P= +/- 1% Livro publicado! Nivel 4: uma boa amostra representativa da população alvo e métodos de coleta de dados criteriosos são usados para coleta de informação; P= +/- 5% os tomadores de decisão lêm o informe completo Nivel 3: Se faz uma pesquisa rápida com base em uma amostra conveniente de participantes; P= +/- 10% os tomadores de decisão lêm o sumário de 10 páginas Nivel 2: Pergunta-se a uma boa combinação de pessoas suas perspectivas sobre o projeto ; P= +/- 25% os tomadores de decisão lêm ao menos o sumario executivo de um relatório Nivel 1: Pergunta-se a algumas pessoas suas perspectivas sobre o projeto ; P= +/- 40% as decisões são tomadas em poucos minutos Nivel 0: as impressões dos tomadores de decisão se apóiam em opiniões superficiais coletadas em encontros breves (fofocas de corredores), intuição ; Nivel de confianza +/- 50%; as decisões são tomadas em poucos segundos

20 CONDUZIR uma AVALIAÇÃO É COMO INSTALAR uma TUBULAÇÃO
Confiablidade e validade de indicadores Seleção Aleatória de Amostra Qualidade dos Questionários Elaboração de relatório e uso Qualidade na coleta de dados Profundidade da análise Consider the various elements involved in conducting a survey. When we consider rigor we need to consider the level of rigor involved in all of those elements. A QUALIDADE da INFORMAÇÃO GERADA POR uma AVALIAÇÃO DEPENDE do NIVEL DE RIGOR DE TODOS os COMPONENTES 20

21 Relevância e validade de indicadores Seleção Aleatória da Amostra
Quaidade na coleta de dados Qualidade do Questionário Profundidade da análise Informe e uso The quality of information/data obtained from a survey or other evaluation method depends on all of the components. The “flow” or quality will be limited to the “constraints” or level of rigor of the weakest component. QUANTIDADE DE “FLUXO” (QUALIDAD) DE INFORMAÇÃO ESTÁ LIMITADA ao MENOR COMPONENTE da PESQUISA “TUBULAÇÃO” 21

22 Determinando os níveis apropriados de precisão para os
eventos num Plano de Avaliação do ciclo de vida de um projeto Rigor alto Rigor baixo 2 3 4 Mesmo nível de rigor Avaliação final Estudo de Linha de Base Avaliação Intermediária Estuio Especial Análise de necessidades Auto avaliação anual tempo de vida do projeto

23 Agora, onde estamos? Oh, sim! Estamos prontos para os passos 2 e 3 da abordagem Avaliação em um Mundo Real. Vamos continuar … 23 RealWorld Evaluation - Steps 1, 2 & 3

24 RESPONDENDO A LIMITES DE orçamento e prazo
Avaliação em um Mundo Real Desenhando avaliações sob restrições Políticas, orçamentárias, de prazo e de Informação Passos 2 + 3 RESPONDENDO A LIMITES DE orçamento e prazo 24 RealWorld Evaluation - Steps 1, 2 & 3

25 Passo 2: Respondendo a problemas orçamentários
Esclarecer as necessidades de informação do cliente Simplificar o desenho de avaliação Buscar informação secundária confiável Revisar o tamanho da amostra Reduzir custos de coleta e análise de informações 25 RealWorld Evaluation - Steps 1, 2 & 3

26 Racionalizar necessidades de informação
Usar informações do passo 1 para identificar as necessidades de informação do cliente Simplificar o desenho da avaliação (mas preparar-se para compensar ‘pedaços perdidos’) Revisar todos os instrumentos de coleta de informação e cortar qualquer pergunta não relacionada diretamente com os objetivos da avaliação . 26 RealWorld Evaluation - Steps 1, 2 & 3

27 Buscar fontes de informação secundária confiáveis
Estudos de planejamento, registros administrativos do Projeto, Ministérios, outras ONGs, universidades e institutos de pesquisa, meios de comunicação de massa. 27 RealWorld Evaluation - Steps 1, 2 & 3

28 … Buscar fontes de informação secundária confiáveis
Analisar a relevância e a confiabilidade das fontes para a avaliação com respeito a: Cobertura da população alvo Periodo de tempo Relevância da informação coletada Confiabilidade e complementariedade da informação Potenciais viéses 28 RealWorld Evaluation - Steps 1, 2 & 3

29 Algumas formas de economizar tempo e dinheiro
Dependendo do propósito e do nivel de rigor requerido, algumas das opções poderiam incluir: Reduzir o número de unidades estudadas (comunidades, famílias, escolas) Reduzir o número de estudos de caso ou a duração e complexidad dos casos Reduzir a duração e frequência das observações 29 RealWorld Evaluation - Steps 1, 2 & 3

30 Buscando formas de reduzir o tamanho da amostra
Aceitar um nivel mas baixo de precisão reduz significativamente o número de entrevistas: Testar uma mudança de 5% nas proporções requer uma amostra mínima de 1086 Testar uma mudança de 10% nas proporções requer uma amostra mínima 270 30 RealWorld Evaluation - Steps 1, 2 & 3

31 Reduzindo custos na coleta e análise de dados
Usar questionários auto-aplicáveis Reduzir o tamanho e a complexidade do instrumento Usar observação direta Obter estimativas de grupos focais e reuniões comunitárias Informantes chave Métodos de avaliação participativos Multi-métodos e triangulação 31 RealWorld Evaluation - Steps 1, 2 & 3

32 Passo 3: Respondendo a restrições de prazo
Adicionalmente ao Passo 2 (problemas orçamentários) Pode-se usar os seguintes métodos: Reduzir pressões de tempo com consultorias externas Estudos preparatórios de comissões Vídeo conferências Contratar mais consultores/investigadores Incorporar indicadores de resultados nos sistemas de monitoramento do projeto e documentos Tecnología para processamento de dados 32 RealWorld Evaluation - Steps 1, 2 & 3

33 Endereçando problemas de prazo
Negociar com os clientes e discutir questões como: Quais são as informações essenciais e o que pode ser retirado ou reduzido? Que precisão e nível de detalhe se requer para ter la informação essencial? Ex: É necessário ter estimativas separadas para cada região geográfica ouu sub-grupo o uma média populacional é aceitável? É necessário analisar todos os componentes e serviços do Projeto o só os mais importantes? É possível conseguir recursos adicionais (dinheiro, equipe, acesso a computadores, veículos, etc.) para agilizar os processos de coleta e análisis de datos? 33 RealWorld Evaluation - Steps 1, 2 & 3

34 HORA DE DAR UMA PARADINHA!
34 34 RealWorld Evaluation - Steps 1, 2 & 3

35 Passo 4 Respondendo a restrições de informação
Avaliação em um Mundo Real Desenhando avaliações sob restrições políticas, orçamentárias, de prazo e Informações Passo 4 Respondendo a restrições de informação 35

36 Maneiras de reconstruir as condições da linha de base
Dados secundários Informes do Projeto Memorias/atas/notas Informantes-chave 36 36

37 Maneiras de reconstruir as condições da linha de base
DPR (Diagnóstico Participativo Rápido) e AAP (Ação e Aprendizagens Participativos) e outras técnicas participativas como cronogramas e eventos críticos para ajudar a estabelecer la cronologia de mudanças importantes na comunidade 37 37

38 Analisando a utilidade de potenciais dados secundários
Período de referência Cobertura da população Inclusão de indicadores requeridos Complementariedade Precisão Libre de viéses 38 38

39 Exemplos de dados secundários usados para reconstruir linhas de base
Censos Outras pesquisas realizadas por organizaciones governamentais Estudos específicos realizados por ONGs e doadores Pesquisas Acadêmicas Meios de comunicação (jornais, rádio, TV) Informações de monitoramento produzidas pela agência implementadora 39 39

40 Usando registros internos do projeto
Tipo de informação Estudos de viabilidade e planejamento Formulários de aplicação e registro Relatórios de Supervisão Dados do Sistema de Informações Gerenciais (SIG) Registros de reuniões Atas das reuniões realizadas entre a agência implementadora e a comunidade Informes de avanços Informes de construção , capacitação , implementação e outros incluindo custos. 40 40

41 Avaliando a confiabilidade dos registros existentes do projeto
Quem coletou as informações e com que propósito? As informações foram coletadas apenas como registro ou para influenciar os tomadores de decisões ou outros grupos? As informações de monitoramento referem-se apenas às atividades do Projeto ou também a mudanças nos resultados? As informações foram geradas exclusivamente para uso interno? Ou para uso de um grupo restrito? Ou para uso público? 41 41

42 Usando registros para reconstruir a linha de base
Registros de assistência escolar e tempo /custo de viagens Enfermidade/uso dos serviços de saúde Renda e gastos Conhecimento e habilidades comunitárias/individuais Coesão/conflito social Uso/qualidade/custo da água Períodos de stress Padrões de viagens 42 42

43 Onde acessar a memória do Projeto é o melhor
Áreas onde a maior parte das investigações tenha sido feita com base nas memórias Pesquisas de rendimentos e gastos Dados demográficos e sobre fertilidade Tipos de perguntas: Si/No; fatos Escalas Facilmente relacionados a eventos maiores 43 43

44 Geralmente não são confiáveis para dados quantitativos precisos
Limites da memória Geralmente não são confiáveis para dados quantitativos precisos Viés de seleção de amostras Distorção deliberada ou não intencional Poucos estudos empíricos (exceto em relação ao gasto) que ajudem a ajustar estimativas 44 44

45 Fontes de viéses na memória
Quem provê as informacões? Sub-estimativa de gastos pequenos e de rotina “Telescópio” da memória em relação aos maiores gastos Distorção para alinhar-se com condutas adequadas: Intencional ou inconsciente Romantização do passado Exageros (exemplo “Não tinhamos nada antes desse Projeto!”) Fatores contextuais: Os intervalos de tempo usados nas perguntas As expectativas dos respondentes acerca do que o entrevistador quer saber Implicações para o protocolo de entrevista 45 45

46 Melhorando la validade da memória
Conduzir estudos curtos para comparar a memória com pesquisas ou outros achados Assegurar-se que todos os grupos relevantes sejam entrevistados Triangulação Vincular memória a importantes eventos de referência Eleições Secas/inundacões/tsunami/guerra/realocaçao Construção de estradas, escolas, etc. 46 46

47 Informantes-chave Não apenas funcionários e pessoas de alto cargo
Todos podem ser informantes-chave em situações próprias: Mães solteiras Trabalhadores de fábricas Usuários de transporte público Prostitutas Meninos de rua 47 47

48 Guias para análise de informantes-chave
A triangulação ajuda muito a validar e entender Incluir informantes com diferentes experiências e perspectivas Entender como cada informante se enquadra na fotografia Empregar múltiplas rodadas se necessário Manejar os assuntos éticos cuidadosamente 48 48

49 DPR e técnicas de participação relacionadas
As técnicas DPR (Diagnóstico Participativo Rápido) e AAP (Ação e Aprendizagens Participativos) ajudam a coletar dados em grupos e comunidades (mais do que em nível) Ambas ajudam a identificar consenso ou perspectivas diferentes Risco de viés: Se só participam certos setores da comunidade Se certas pessoas dominam a discussão 49 49

50 Sumário dos temas na reconstrução da linha de base
Variações na confiabilidade da memória Distorção da memória Os dados secundários não são fáceis de usar Dados secundários incompletos ou não confiáveis Informantes-chave podem distorcer o passado 50 50

51 2. Maneiras de reconstruir grupos de comparação
Associação de comunidades para julgamento Quando se introduzem os serviços de um projeto em fases, os beneficiários que entram nas últimas fases podem ser usados como grupos de comparação “tubulações Controles internos quando diferentes sujeitos recebem diferentes combinações combinaciones e níveis de serviço 51 51

52 Uso de notas para fortalecer grupos de comparação
Associando notas ou scores Estudos rápidos de avaliação podem comparar características de projetos e grupos de comparação usando: Observação Informantes chave Grupos focais Dados secundários Fotos aéreas e dados georreferenciados 52 52

53 Aspectos a considerar na reconstrução de grupos de comparação
Áreas do projeto frequentemente selecionadas intencionalmente e difíceis de associar Diferenças entre grupos de projeto e grupos de comparação – dificuldade de avaliar se os resultados se deveram às intervenções do projeto ou às diferenças iniciais Ausência de boas informações para seleccionar grupos de comparação Contaminação (as boas ideias tendem a espalhar-se!) Os métodos econométricos não podem ajustar integralmente as diferenças iniciais entre os grupos [no-observáveis] 53 53

54 Já chega das minhas apresentações: é hora de vocês (Gente do Mundo Real) envolver-se.
54

55 Tempo para trabalhos em grupos
Tempo para trabalhos em grupos. Leiam os seus estudos de caso e comecem suas discussões. 55

56 Trabalho em grupo: estudos de caso
Alguns de vocês estão prestando consultoria em avaliação. Outros são os clientes que comissionam (recebem e aprovam) a avaliação. Decidam o que seu grupo proporá para responder aos desafíos e restrições. Preparem-se para negociar os TdR com o outro grupo (mais tarde). 56

57 avaliações con métodos mistos
Avaliação em um Mundo Real Desenhando avaliações sob restrições Políticas, orçamentárias, de tempo e de informação avaliações con métodos mistos 57

58 NÃO deveria haver uma disputa entre
QUANTITATIVO(só números) QUALITATIVO (só textos) OU Qualoide! Quantoide! 58

59 “Seus números são impressionantes,
mas deixa eu te contar uma história humana interessante” “Sua história humana parece bonita, mas deixa eu te mostrar algumas estatísticas” 59

60 O que é preciso é combinar adequadamente AMBOS métodos QUALITATIVOS
E QUANTITATIVOS 60

61 Métodos de coleta de dados quantitativos
Pesquisas estruturadas (domicílios, fazendas, uso de transporte, etc.) Observação estruturada Métodos antropométricos Testes de aptidão e comportamento Indicadores que possam ser quantificados 61 61

62 Métodos de coleta de dados qualitativos Características
A perspectiva do investigador é uma parte integral do que é registrado sobre o mundo social Não é possível um distanciamento científico Significados dados a situações fenômenos sociais devem ser entendidos Programas não podem ser estudados independentemente do seu contexto É difícil definir uma clara relação entre causa e efeito A transformação debe ser estudada de forma holística 62 62

63 Usando métodos qualitativos para melhorar o desenho e os resultados da avaliação
Usar a memória para reconstruir a situação pré-teste Entrevistar informantes-chave para identificar outras mudanças na comunidade ou em relações de gênero Conduzir entrevistas ou grupos focais com mulheres e homens para Evaliar o efeito dos empréstimos nas relações de gênero dentro das casas, tais como mudanças no controle dos recursos e na tomada de decisões Identificar outros resultados importantes ou consequências não esperadas: Aumento na carga de trabalho das mulheres, Aumento da incidência da violência doméstica de gênero 63 63

64 Disenhos de avaliação com métodos mistos
Combinam as fortalezas de ambas abordagens quantitatIVO e qualitatIVO Uma abordagem ( QUANTI ou QUALI) é frequentemente dominante e a outra a complementa Ambas as abordagens podem coexistir de igual maneira mas torna a avaliação difícil de desenhar e manejar Podem ser usadas de maneira sequenciada ou simultânea 64 64

65 Extrativo --- quantitativo Participativo --- qualitativo
Determinando a precisão e combinação apropriada de múltiplos métodos Alto nivel de rigor, de qualidad, mais tempo & gasto Extrativo --- quantitativo Participativo --- qualitativo Medidas nutricionais Pesquisas Unidades familiares Grupos Focais Medidas nutricionais Pesquisas Unidades familiares Grupos Focais Entrevistas a Informantes chave Grupo grande Baixo nível de rigor, qualidad questionável, barato e rápido

66 Abordagens participativas deveriam ser usadas tanto quanto possível
Mas, ainda assim, com rigor apropriado: quantas (e quais) perspectivas das pessoas contribuíram para a história? 66

67 Perguntas? 67 67

68 Tempo para as equipes de consultores reunirem-se com clientes para negociar os TdRs para la avaliação do projeto de habitação. 68 68

69 Conclusão: Os avaliadores devem estar preparados para:
Entrar num periodo tardio do ciclo do projeto ; Trabalhar sob restrições de tempo e orçamentárias; Não ter acesso a dados comparativos de linha de base; Trabalhar sem grupos de comparação viáveis; Trabalhar com investigadores de avaliação pouco qualificados; Reconciliar diferentes paradigmas de avaliação e necessidades de informação de diferentes tipos de atores 69 69

70 Principais mensagens do Workshop
Os avaliadores devem estar preparados para os desafios da avaliação em um Mundo Real. Há uma experiência considerável com a qual aprender. Um conjunto de técnicas práticas de avaliação está disponível em Nunca usem os limites de tempo e orçamento como desculpa para metodologías de avaliação superficiais. Uma lista de verificação de “ameaças de validação” ajuda a ser honesto na identificação de debilidades potenciais em seu desenho de avaliação e análise. 70 70

71 OBRIGADO! OBRIGADO! 71 71 71