Professora Patricia Rogers BetterEvaluation

Apresentação em tema: "Professora Patricia Rogers BetterEvaluation"— Transcrição da apresentação:

1 Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação
Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology, Melbourne, Australia Avaliação para a estratégia organizacional do investimento social privado

2 A essência das teorias da mudança
Estou quebrando pedras Estou construindo um templo Evaluation for public sector managers Evaluation for Public Sector Managers

3 O que é a teoria da mudança?
A teoria (ou lógica ou modelo) sobre como uma intervenção (projeto, programa, política, estratégia) contribui para os resultados pretendidos ou observados Evaluation for public sector managers

4 Algumas definições básicas
Teoria da mudança Uma teoria explícita sobre de como uma intervenção contribui para os resultados pretendidos ou observados, que possui 2 componentes: O processo pelo qual a mudança ocorre (quer no indivíduo, organização ou comunidade) Teoria da ação Como a intervenção é construída para ativar a teoria da mudança 4

5 Algumas definições básicas
Teoria da mudança Uma teoria explícita sobre de como uma intervenção contribui para os resultados pretendidos ou observados, que possui 2 componentes: O processo pelo qual a mudança ocorre (para um indivíduo, organização ou comunidade) Teoria da ação Como a intervenção é construída para ativar a teoria da mudança Modelo lógico Uma representação visual de uma teoria de programa, em geral no formato de um diagrama, mas às vezes pode ser uma tabela 5

6 Que tipo de teoria? Qualquer espécie de modelo causal que vincula a intervenção com determinados resultados Poderia basear-se em : Uma teoria formal, embasada na pesquisa (uma teoria com T maiúsuclo), ou Premissas informais, tácitas, não verbalizadas apoiadas por profissionais (uma teoria com t minúsculo) A teoria precisa incluir uma explicação sobre como as atividades do programa contribuem para os resultados - e não apenas listar as atividades, seguidas dos resultados, sem qualquer explicação sobre de que modo um se liga ao outro a não ser por algumas setas misteriosas.

7 Quatro questões importantes ao usar as teorias da mudança na avaliação
Articular uma teoria da mudança que seja explícita Ter uma teoria da mudança plausível Apresentar a teoria da mudança com clareza Usar a teoria da mudança na avaliação

8 Articular uma teoria da mudança explícita

9 Programa da teoria da atuação dos pais
Análise situacional Teoria da mudança Teoria da ação Resultados pretendidos Reprimir (evitar uma interação negativa) Gritar Quarto arrumado Cortar a mesada Incentivo Positivo Entradas para o cinema Elogios

10 Teorias de mudança e teorias de ação para a atuação dos pais
Análise Situacional Teoria da ação teoria da mudança Resultados esperados Gritar Reprimir - evitar uma interação negativa Cortar a mesada Um quarto arrumado Oferecer uma recompensa (dinheiro, entradas para o cinema) Incentivo Positivo Elogiar os esforços

11 Maneiras de representar as teorias de mudança
Pipeline – insumos-atividades-produtos-resultados-impactos Cadeia de resultados – uma cadeia de resultados (atividades mostradas separadamente em uma matriz lógica do programa) Coluna Tripla - uma cadeia de resultados com atividades e outros fatores mostrados em colunas separadas Matriz realista Narrativa Evaluation for public sector managers

12 Modelo lógico de Pipeline
Evaluation for public sector managers

13 Modelo lógico de Pipeline
INPUTS Alunos de escolas de baixa renda Laboratório de computação Computadores Instrutores Informações sobre cursos superiores PROCESSO Cursos de softwares Apoio ao aluno Desenvolvimento profissional Ambiente universitário Projetos coletivos Estágios Parcerias com escolas de ensino médio RESULTADOS DE CURTO PRAZO Habilidades Conhecimento Aspirações/ confiança IMPACTOS Realização educacional Êxito ocupacional Liderança comunitária/ Modelos a serem seguidos Based on : Nelson and Bickel (2003) Infolink Program Teoria, Evaluation for public sector managers

14 Narrativa da teoria da mudança
O projeto de computação funciona com alunos que possuem alto desempenho acadêmico, vem de comunidades carentes e não têm acesso a computadores. A medida em que os alunos adquirem habilidades básicas em TI, abrindo oportunidades para estágios, eles desenvolvem uma imagem nova a respeito de seu futuro possível. Ao mesmo tempo, estão criando uma comunidade solidária de alunos, que abre um espaço seguro para o aprendizado e para elaborar e colocar em prática planos ambiciosos para sua educação e carreira futura. 14

15 Modelo lógico da cadeia de resultados
Melhor desempenho escolar em matérias tecnológicas Aumento na taxa de inscrições em cursos sobre computação oferecidos em universidades Aumento no índice de graduados com diplomas em computação Maior realização ocupacional Aumento das habilidades em computação Aumento da motivação Redes sociais solidárias Conhecimrnto de possíveis opções de cursos superiores Evaluation for public sector managers

16 Modelo lógico da cadeia de resultados
Melhor desempenho escolar em matérias tecnológicas Aumento da taxa de inscrições em cursos superiores em computação Maior número de graduações com diplomas em computação Maior realização ocupacional Aumento nas habilidades em computação Aumento na motivação Redes sociais solidárias Conhecimento de opções de cursos superiores Cursos de verão Distribuir materiais, aconse- lhamento 1:1 Ajuda com as inscrições Apoio acadêmico e pessoal A teoria da ação pode ser abordada em uma matriz lógica

17 Mostrando atividades numa matriz lógica de programa
O que representa o sucesso Que atividades contribuem diretamente para isso Outros fatores que dão conta disso Aumento das habilidades em computação Possíveis indicadores, fontes de dados, comparações Maior motivação (Possíveis indicadores, fontes de dados, comparações) Melhor desempenho escolar em matérias técnicas Evaluation for public sector managers

18 Evaluation for public sector managers
Matriz da Realidade Contexto Mecanismo Resultado Alunos provenientes de ambientes de baixa renda, motivados, com alta competência Atingir um determinado nível de competência e conhecimento em computação Matrícula bem sucedida em cursos de computação Alunos provenientes de ambientes de baixa renda, com dificuldades de aprendizado e/ou problemas de comportamento Mecanismo não ativado Destino educacional inalterado Evaluation for public sector managers

19 Comer uma maçã por dia melhora a saúde
A pesquisa mostra: Comer uma maçã por dia melhora a saúde Como desenhar um projeto baseado nisto? Como uma teoria de programa pode melhorar a nossa avaliação? 9

20 Você tem 10 minutes para desenhar um projeto para melhorar a saúde das pessoas através da “ingestão de uma maça por dia” Evaluation for public sector managers Funnell and Rogers Purposeful Program Teoria 9

21 Quais as premissas sobre o que constitui o problema?
Qual a teoria sobre como mudar o comportamento das pessoas (convence-las comer maças) Qual a teoria sobre como maças iriam fazer você mais saudável? Evaluation for public sector managers 9

22 Entendendo mecanismos causais operando em contextos
RESULTADOS DE CURTO PRAZO Melhor estado nutricional RECURSOS Maças Pessoas pouco saudáveis RESULTADOS IMEDIATOS Maças comidas RESULTADOS DE LONGO PRAZO Saúde melhor Poderia usar laranjas. tendo como alvo a deficiência de Vitamina C Níveis adequados de vitamina C Reduzir a incidência de escorbuto Vitamina C Poderia usar cebolas roxas. Reduzir a incidência de cancer, doenças cardiacas e inflamatórias da próstata Quercetina Níveis de quercetina aumentados Poderia usar cenouras tendo como alvo a obesidade. Diminuição do consumo de lanches/ alimentos pouco nutritivos Reduzir a incidência de obesidade e doenças correlatas Substituição Evaluation for public sector managers 10 10

23 O que estas diferentes teorias de programa podem significar para o modo como deveríamos descrever ou mensurar “maças comidas”? Evaluation for public sector managers Funnell and Rogers Purposeful Program Teoria 9

24 Múltiplas teorias de mudança e teorias de ação
RESULTADOS DE CURTO PRAZO Melhor estado nutricional RECURSOS Maças Pessoas com saúde precária RESULTADOS IMEDIATOS comidas DE LONGO PRAZO Saúde melhor Regulamentações que restringem os tipos de alimento vendidos em máquinas automáticas Disponibilidade Substituição Impostos mais altos para alimentos não nutritivos Incentivo Normas Sociais Menor consumo de alimentos não nutritivos Redução na incidência de obesidade e doenças correlatas Anúncios que promovem o consumo de maçãs Informação Lembretes Evaluation for public sector managers

25 2. Ter uma teoria da mudança plausível

26 Análise situacional Quais são as necessidades que a intervenção deve dar conta? Qual é o problema que a intervenção deve solucionar? O que causa esse problema? Em que pontos fortes a intervenção deverá se apoiar? Quais as oportunidades nas quais a intervenção deveria capitalizar? Quem mais está abordando essa situação? Existem aliados ou opositores em potencial? Até que ponto a situação é bem compreendida? Até que ponto a situação pode ser mudada? 26

27 Como pode ser desenvolvida uma teoria de mudança?
Uma combinação de: Abordagem dedutiva – a partir de pesquisas anteriores, políticas estabelecidas, arquétipos de programas, análises lógicas Abordagem indutiva – a partir de observações diretas (ou feitas por outras pessoas) sobre como o programa de fato funciona Articulação dos modelos mentais de pessoas ou grupos interessados (stakeholders) a respeito de como o programa funciona. 27

28 What sort de mudança trajectory does your intervention have?
Um trajeto conhecido Linear Não necessariamente fácil Simples

29 Que tipo de mudança de trajetória sua intervenção possui?
Um trajeto conhecido Experiência e colaboração necessárias Complicado

30 Que tipo de mudança de trajetória sua intervenção possui?
Um trajeto emergente Adaptabilidade e capacidade de aprender ao fazer Complexo

31 Aproveitando as teorias baseadas em pesquisa
The COM-B system - a framework for understanding behaviour. Michie et al. Implementation Science 2011 6:42   doi: /

32 The Behaviour Change Wheel.
Michie et al. Implementation Science 2011 6:42   doi: /

33 Algumas teorias de mecanismo causal baseado em pesquisas
MUDANÇA A NÍVEL INDIVIDUAL Atribuição (Heider, 1958) Condicionamento clássico e condicionamento operante(Pavlov, 1960; Skinner, 1953) Dissonância cognitiva (Festinger, 1957) Teoria da repressão (Homel, 1988) Teoria da diversão ( Modelo da crença na saúde (Rosenstock, 1966; Glanz et al., 2002) Modelo PRECEDE-PROCEDE (Green and Kreuter, 2005) Auto-eficácia (Bandura, 1997) Profecia auto-realizada (Merton, 1968) Aprendizado social (Bandura, 1977) Teorias de redes sociais e da solidariedade social (Eng and Young, 1992) Treinamento (Kirkpatrick, 1959)

34 Algumas teorias de mecanismo causal baseado em pesquisas
MUDANÇA NO NÍVEL ORGANIZACIONAL Groupthink (Janis, 1972) Organizational learning (Argyris and Schön, 1978) Positive deviance (Pascale, Sternin, and Sternin, 2010) Six change approaches (Kotter and Schlesinger,1979) MUDANÇA NO NÍVLEL DA COMUNIDADE Bandwagon effect (Bikhchandani, Hirshleifer, Welch, 1992) Institutional analysis and development (Ostrom, 2008) Social loafing (Karau and Williams, 1993) Strength of weak ties (Granovetter, 1973) Tipping points (Gladwell, 2000) Tragedy of the commons (Hardin, 1968; Senge, 1990; Ostrom, 1999)

35 Algumas toerias de mecanismo causal baseadas em pesquisas
MUDANÇAS DE POLÍTICAS Advocacy coalition framework (Sabatier and Weible, 2007) Garbage can model (Cohen, March, and Olsen, 1972) Incrementalism model (Lindblom, 1959) Institutional rational choice (Ostrom, 1999a) Multiple streams framework (Zahariadis, 1999) Policy diffusion (Berry and Berry, 1999) Policy networks (Marsh, 1998) Punctuated equilibrium teoria (Baumgartner and Jones, 1993)

36 Algumas teorias possíveis do mecanismo causal para o desenvolvimento
Mecanismos causais sobre a tecnologia (inclusive práticas comprovadas) Aumentar os incentivos para aplicar a tecnologia existente Remover barreiras para o acesso efetivo à tecnologia Adaptar a tecnologia existente para poder ser eficaz em uma situação nova Desenvolver nova tecnologia Mecanismos causais sobre capacidade Aumentar a capacidade específica para realizar uma função específica (capital humano, capital social, capital organizacional, capital econômico) Aumentar a capacidade para melhorar a resiliência (especialmente a capacidade das redes colaborativas) Mecanismos causais sobre a contribuição para um processo de mudança complicado Preencher uma lacuna – colocar a última pecinha – “a pecinha que faltava” no quebra-cabeças Remover um obstáculo (versão ligeiramente diferente de preencher a lacuna): “a pedra no caminho’ Mecanismos causais sobre a governança Repressão (aumentar os riscos de sanções por comportamento negativo) Aumentar a capacidade (aumentar a habilidade de gerir bem) Mecanismos causais sobre advocacy Demonstrar a viabilidade e efetividade de uma nova abordagem

37 Perguntas para extrair dos participantes suas teorias de mudança (Exhibit 6-1 Funnell and Rogers, 2011, Purposeful Program Theory) Poderia me dar um exemplo de onde esse programa está dando certo? Por que escolheu esse exemplo? O que você acha que está fazendo o programa dar certo? De que modo a vida seria melhor para os participantes ou o público-alvo, caso o programa funcione? Quais são as barreiras atuais que impedem os participantes do programa de terem uma boa vida? Como você acha que esse programa vai superar essas barreiras? O que há, na maneira como esse programa opera, que poderia tornar a vida melhor para os participantes ou o público-alvo? O que o programa atualmente faz que o ajuda a dar certo e o que não faz tão bem? O que mais precisa acontecer? Quem mais deveria estar envolvido, e como? O programa tenta influenciar estas outras pessoas? Em caso positivo, o que você esperaria que eles fizessem de maneira diferente?

38 Estratégias para garantir uma teoria da mudança adequada
Faça uma análise situacional antes de desenvolver a teoria de mudança para um programa novo Use uma diversidade ampla de fontes, inclusive críticos do programa Verifique os fatores atípicos e as exceções, confrontando-os com a teoria de mudança inicial. Aborde os aspectos complicados e complexos da intervenção

39 Evaluation for public sector managers

40 3. Represente a teoria da mudança com clareza

41 Como fazer um bom modelo lógico?
Seja lógico e coerente Cada seta deve ter um significado Indique o rumo da mudança esperada Evite becos sem saída Comunique as mensagens principais Evite excesso de linhas; não use linhas de feedback indiscriminadamente Evite padrões excessivamente detalhados (salvo em raros casos) Elimine tudo o que não acrescenta significado Garanta a facilidade de leitura Evite “palavras gatilho” e siglas misteriosas Rogers Using programa teoria and logic models in evaluation

42 Exemplos ruins de modelos lógicos
Rogers Using programa teoria and logic models in evaluation

43 Exemplos ruins de modelos lógicos
Rogers Using programa teoria and logic models in evaluation

44 Exemplos ruins de modelos lógicos
Rogers Using programa teoria and logic models in evaluation

45 4. Use a teoria da mudança para o planejamento, monitoramento e avaliação

46 Alguns usos possíveis para a teoria de programa
PLANEJAMENTO Planejar/alinhar um novo programa/intervenção com um marco estratégico MONITORAMENTO E AVALIAÇÃO Monitoramento das correções adicionais feitas pelos gerentes e pelo staff Monitorando para prestar contas aos financiadores e outros stakeholders Avaliação do processo para apoiar a melhoria contínua Avaliação de processo para documentar uma inovação Avaliação do impacto GESTÃO Proporcionar ao staff, financiadores e clientes uma compreensão comum Informar decisões de investimento ELABORAÇÃO DE POLÍTICAS E PRÁTICAS BASEADAS EM EVIDÊNCIA Apoiar a replicação Desenvolver a base de evidências através de múltiplas avaliações ou fontes

47 USO DA TEORIA DE PROGRAMA PARA AVALIAÇÃO
Medir e descrever – quais os dados necessários, que análises devem ser feitas? Recursos usados Processos Contexto Outros fatores que contribuem Resultados (imediatos, intermediários, subsequentes) Análise Causal A intervenção produziu o resultado? A intervenção contribuiu para o resultado? O que mais contribuiu para o resultado? Síntese e relatório Combinar evidências para uma única avaliação Relatar a cadeia de resultados Descrever os efeitos diferenciais Combinar evidências de diversas avaliações

48 Maneiras de usar a teoria da mudança para a avaliação
Monitoramento das correções adicionais feitas pelos gerentes e staff da prestação de contas perante financiadores e outros stakeholders Avaliação do processo para Verificar a aderência (compliance) Apoiar a melhoria contínua Documentar uma inovação Avaliação do impacto para testar um piloto antes de levar o programa à escala Compreender o valor do programa existente, em larga escala, e em andamento Sintetize para Compreender o efeito médio de várias avaliações Compreender o efeito em contextos diferentes

49 Usando uma matriz lógica de programa
Para cada resultado pretendido, identifique: O que poderia ser considerado como “sucesso” Quais atividades contribuem diretamente para esse resultado Que outros fatores parecem contribuir para esse resultado – e se estes podem ser influenciados ou gerenciados de alguma maneira As fontes possíveis de evidência Como interpretar essas evidências – particularmente, que comparações são adequadas (ex: linha de base, benchmark, padrões, ou objetivos) Desenvolver um desenho de pesquisa geral para a avaliação Identificar um ou mais vínculos causais para testar em uma avaliação Identificar um ou mais fatores contextuais que podem influir no impacto, como parte do desenvolvimento de um desenho de pesquisa para a avaliação. Articular as diferenças nos resultados pretendidos e padrões de desempenho, como parte do levantamento sobre valores

50 Modelo lógico da cadeia de resultados
Melhor desempenho escolar em matérias tecnológicas Aumento da taxa de inscrições em cursos superiores em computação Maior número de graduações com diplomas em computação Maior realização ocupacional Aumento nas habilidades em computação Aumento na motivação Redes sociais solidárias Conhecimento de opções de cursos superiores Cursos de verão Distribuir materiais, aconse- lhamento 1:1 Ajuda com as inscrições Apoio acadêmico e pessoal A teoria da ação pode ser abordada em uma matriz lógica

51 A teoria da ação pode ser abordada em uma matriz lógica
Redes sociais solidárias Maior taxa de inscrições em cursos superiores O que representa sucesso? Fontes de evidência disto? Como devem ser analisadas? (especialmente as comparações) Quais atividades contribuem diretamente para isto (se houver)? Que outros fatores incidem? (Controle/influência Interna/externa?)

52 Algumas variações de modelos lógicos
Modelos Pipeline Modelo “Recursos-Processo-Produtos-Resultados” Hierarquia de Bennett Adaptação Wisconsin do Modelo Pipeline Log frame Modelos lógicos circulares Cadeias de resultados Hierarquia de resultados Lógica de programa centrada nas pessoas Coluna tripla 52 52

53 Falha da implementação, da teoria ou foi alguma outra coisa?
Resultado Saúde melhorou Saúde não melhorou TOTAL Maçãs comidas 27 Maçãs não comidas 3 970 973 30 1000 53

54 Falha da implementação, da teoria ou foi alguma outra coisa?
Resultado Saúde melhorou Saúde não melhorou TOTAL Comeram as maçãs 27 970 997 Não comeram as maçãs 3 973 1000 54

55 Falha da implementação, da teoria ou foi alguma outra coisa?
Resultado Características dos clientes Maçãs comidas Maçãs não comidas TOTAL Saúde melhorou Afetados por doenças relacionadas à nutrição 27 Afetados por outras doenças Saúde não melhorou 3 970 997 1000 55

56 Estratégias para usar a teoria da mudança na avaliação
Esclareça o tipo de avaliação Use uma matriz lógica do programa para identificar os dados relevantes a serem coletados Use a teoria da mudança para analisar os dados