A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,

Apresentações semelhantes


Apresentação em tema: "Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,"— Transcrição da apresentação:

1 Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology, Melbourne, Australia Avaliação para a estratégia organizacional do investimento social privado

2 A essência das teorias da mudança Estou quebrando pedras Estou construindo um templo 2 Evaluation for public sector managers

3 O que é a teoria da mudança? A teoria (ou lógica ou modelo) sobre como uma intervenção (projeto, programa, política, estratégia) contribui para os resultados pretendidos ou observados 3 Evaluation for public sector managers

4 Teoria da mudança Uma teoria explícita sobre de como uma intervenção contribui para os resultados pretendidos ou observados, que possui 2 componentes: Teoria da mudança O processo pelo qual a mudança ocorre (quer no indivíduo, organização ou comunidade) Teoria da açãoComo a intervenção é construída para ativar a teoria da mudança Algumas definições básicas

5 Teoria da mudança Uma teoria explícita sobre de como uma intervenção contribui para os resultados pretendidos ou observados, que possui 2 componentes: Teoria da mudança O processo pelo qual a mudança ocorre (para um indivíduo, organização ou comunidade) Teoria da açãoComo a intervenção é construída para ativar a teoria da mudança Modelo lógicoUma representação visual de uma teoria de programa, em geral no formato de um diagrama, mas às vezes pode ser uma tabela Algumas definições básicas

6 Que tipo de teoria? Qualquer espécie de modelo causal que vincula a intervenção com determinados resultados Poderia basear-se em : Uma teoria formal, embasada na pesquisa (uma teoria com T maiúsuclo), ou Premissas informais, tácitas, não verbalizadas apoiadas por profissionais (uma teoria com t minúsculo) A teoria precisa incluir uma explicação sobre como as atividades do programa contribuem para os resultados - e não apenas listar as atividades, seguidas dos resultados, sem qualquer explicação sobre de que modo um se liga ao outro a não ser por algumas setas misteriosas.

7 Quatro questões importantes ao usar as teorias da mudança na avaliação 1.Articular uma teoria da mudança que seja explícita 2.Ter uma teoria da mudança plausível 3.Apresentar a teoria da mudança com clareza 4.Usar a teoria da mudança na avaliação 7

8 8 1.Articular uma teoria da mudança explícita

9 Análise situacional Teoria da mudança Teoria da açãoResultados pretendidos Reprimir (evitar uma interação negativa) GritarQuarto arrumado Cortar a mesada Incentivo PositivoEntradas para o cinema Elogios Programa da teoria da atuação dos pais

10 Teorias de mudança e teorias de ação para a atuação dos pais Análise SituacionalTeoria da açãoteoria da mudançaResultados esperados Um quarto arrumado Reprimir - evitar uma interação negativa Gritar Cortar a mesada Oferecer uma recompensa ( dinheiro, entradas para o cinema ) Incentivo Positivo Elogiar os esforços

11 Maneiras de representar as teorias de mudança 1.Pipeline – insumos-atividades-produtos-resultados- impactos 2.Cadeia de resultados – uma cadeia de resultados (atividades mostradas separadamente em uma matriz lógica do programa) 3.Coluna Tripla - uma cadeia de resultados com atividades e outros fatores mostrados em colunas separadas 4.Matriz realista 5.Narrativa 11 Evaluation for public sector managers

12 Modelo lógico de Pipeline 12 Evaluation for public sector managers

13 Modelo lógico de Pipeline INPUTS Alunos de escolas de baixa renda Laboratório de computação Computadores Instrutores Informações sobre cursos superiores PROCESSO Cursos de softwares Apoio ao aluno Desenvolvimento profissional Ambiente universitário Projetos coletivos Estágios Parcerias com escolas de ensino médio RESULTADOS DE CURTO PRAZO Habilidades Conhecimento Aspirações/ confiança IMPACTOS Realização educacional Êxito ocupacional Liderança comunitária/ Modelos a serem seguidos Based on : Nelson and Bickel (2003) Infolink Program Teoria, 13 Evaluation for public sector managers

14 14 Narrativa da teoria da mudança O projeto de computação funciona com alunos que possuem alto desempenho acadêmico, vem de comunidades carentes e não têm acesso a computadores. A medida em que os alunos adquirem habilidades básicas em TI, abrindo oportunidades para estágios, eles desenvolvem uma imagem nova a respeito de seu futuro possível. Ao mesmo tempo, estão criando uma comunidade solidária de alunos, que abre um espaço seguro para o aprendizado e para elaborar e colocar em prática planos ambiciosos para sua educação e carreira futura.

15 Modelo lógico da cadeia de resultados Aumento das habilidades em computação Melhor desempenho escolar em matérias tecnológicas Aumento na taxa de inscrições em cursos sobre computação oferecidos em universidades Maior realização ocupacional Aumento no índice de graduados com diplomas em computação Aumento da motivação Redes sociais solidárias Conhecimrnto de possíveis opções de cursos superiores 15 Evaluation for public sector managers

16 Aumento nas habilidades em computação Melhor desempenho escolar em matérias tecnológicas Aumento da taxa de inscrições em cursos superiores em computação Maior número de graduações com diplomas em computação Maior realização ocupacional Aumento na motivação Redes sociais solidárias Conhecimento de opções de cursos superiores Modelo lógico da cadeia de resultados A teoria da ação pode ser abordada em uma matriz lógica Cursos de verão Distribuir materiais, aconse- lhamento 1:1 Ajuda com as inscrições Apoio acadêmico e pessoal

17 Mostrando atividades numa matriz lógica de programa O que representa o sucesso Que atividades contribuem diretamente para isso Outros fatores que dão conta disso Aumento das habilidades em computação Possíveis indicadores, fontes de dados, comparações Maior motivação (Possíveis indicadores, fontes de dados, comparações) Melhor desempenho escolar em matérias técnicas (Possíveis indicadores, fontes de dados, comparações) 17 Evaluation for public sector managers

18 Matriz da Realidade ContextoMecanismoResultado Alunos provenientes de ambientes de baixa renda, motivados, com alta competência Atingir um determinado nível de competência e conhecimento em computação Matrícula bem sucedida em cursos de computação Alunos provenientes de ambientes de baixa renda, com dificuldades de aprendizado e/ou problemas de comportamento Mecanismo não ativadoDestino educacional inalterado 18 Evaluation for public sector managers

19 9 A pesquisa mostra: Comer uma maçã por dia melhora a saúde Como desenhar um projeto baseado nisto? Como uma teoria de programa pode melhorar a nossa avaliação? 19

20 Funnell and Rogers Purposeful Program Teoria 9 Você tem 10 minutes para desenhar um projeto para melhorar a saúde das pessoas através da “ingestão de uma maça por dia” Evaluation for public sector managers 20

21 9 Quais as premissas sobre o que constitui o problema? Qual a teoria sobre como mudar o comportamento das pessoas (convence-las comer maças) Qual a teoria sobre como maças iriam fazer você mais saudável? Evaluation for public sector managers 21

22 10 Vitamina C Níveis adequados de vitamina C Poderia usar laranjas. tendo como alvo a deficiência de Vitamina C Reduzir a incidência de escorbuto Quercetina Níveis de quercetina aumentados Poderia usar cebolas roxas. Reduzir a incidência de cancer, doenças cardiacas e inflamatórias da próstata Substituição Diminuição do consumo de lanches/ alimentos pouco nutritivos Poderia usar cenouras tendo como alvo a obesidade. Reduzir a incidência de obesidade e doenças correlatas RECURSOS Maças Pessoas pouco saudáveis RESULTADOS IMEDIATOS Maças comidas RESULTADOS DE CURTO PRAZO Melhor estado nutricional RESULTADOS DE LONGO PRAZO Saúde melhor Entendendo mecanismos causais operando em contextos Evaluation for public sector managers

23 Funnell and Rogers Purposeful Program Teoria 9 O que estas diferentes teorias de programa podem significar para o modo como deveríamos descrever ou mensurar “maças comidas”? Evaluation for public sector managers 23

24 Múltiplas teorias de mudança e teorias de ação Informação Menor consumo de alimentos não nutritivos Redução na incidência de obesidade e doenças correlatas Anúncios que promovem o consumo de maçãs Impostos mais altos para alimentos não nutritivos Regulamentações que restringem os tipos de alimento vendidos em máquinas automáticas Substituição Incentivo Disponibilidade Lembretes Normas Sociais RESULTADOS DE CURTO PRAZO Melhor estado nutricional RECURSOS Maças Pessoas com saúde precária RESULTADOS IMEDIATOS Maças comidas RESULTADOS DE LONGO PRAZO Saúde melhor 24 Evaluation for public sector managers

25 25 2. Ter uma teoria da mudança plausível

26 26 Análise situacional Quais são as necessidades que a intervenção deve dar conta? Qual é o problema que a intervenção deve solucionar? O que causa esse problema? Em que pontos fortes a intervenção deverá se apoiar? Quais as oportunidades nas quais a intervenção deveria capitalizar? Quem mais está abordando essa situação? Existem aliados ou opositores em potencial? Até que ponto a situação é bem compreendida? Até que ponto a situação pode ser mudada?

27 27 Como pode ser desenvolvida uma teoria de mudança? Uma combinação de: Abordagem dedutiva – a partir de pesquisas anteriores, políticas estabelecidas, arquétipos de programas, análises lógicas Abordagem indutiva – a partir de observações diretas (ou feitas por outras pessoas) sobre como o programa de fato funciona Articulação dos modelos mentais de pessoas ou grupos interessados (stakeholders) a respeito de como o programa funciona.

28 Um trajeto conhecido Linear Não necessariamente fácil Simples What sort de mudança trajectory does your intervention have?

29 Um trajeto conhecido Experiência e colaboração necessárias Complicado Que tipo de mudança de trajetória sua intervenção possui?

30 Um trajeto emergente Adaptabilidade e capacidade de aprender ao fazer Complexo Que tipo de mudança de trajetória sua intervenção possui?

31 Aproveitando as teorias baseadas em pesquisa 31 The COM-B system - a framework for understanding behaviour. Michie et al. Implementation Science :42 doi: /

32 32 The Behaviour Change Wheel. Michie et al. Implementation Science :42 doi: /

33 Algumas teorias de mecanismo causal baseado em pesquisas MUDANÇA A NÍVEL INDIVIDUAL Atribuição (Heider, 1958) Condicionamento clássico e condicionamento operante(Pavlov, 1960; Skinner, 1953) Dissonância cognitiva (Festinger, 1957) Teoria da repressão (Homel, 1988) Teoria da diversão (http://www.thefuntheory.com/) Modelo da crença na saúde (Rosenstock, 1966; Glanz et al., 2002) Modelo PRECEDE-PROCEDE ( Green and Kreuter, 2005) Auto-eficácia (Bandura, 1997) Profecia auto-realizada (Merton, 1968) Aprendizado social (Bandura, 1977) Teorias de redes sociais e da solidariedade social (Eng and Young, 1992) Treinamento (Kirkpatrick, 1959)

34 MUDANÇA NO NÍVEL ORGANIZACIONAL Groupthink (Janis, 1972) Organizational learning (Argyris and Schön, 1978) Positive deviance (Pascale, Sternin, and Sternin, 2010) Six change approaches (Kotter and Schlesinger,1979 ) MUDANÇA NO NÍVLEL DA COMUNIDADE Bandwagon effect (Bikhchandani, Hirshleifer, Welch, 1992) Institutional analysis and development (Ostrom, 2008) Social loafing (Karau and Williams, 1993) Strength of weak ties (Granovetter, 1973) Tipping points (Gladwell, 2000) Tragedy of the commons (Hardin, 1968; Senge, 1990; Ostrom, 1999) Algumas teorias de mecanismo causal baseado em pesquisas

35 Algumas toerias de mecanismo causal baseadas em pesquisas MUDANÇAS DE POLÍTICAS Advocacy coalition framework (Sabatier and Weible, 2007) Garbage can model (Cohen, March, and Olsen, 1972) Incrementalism model (Lindblom, 1959) Institutional rational choice (Ostrom, 1999a) Multiple streams framework (Zahariadis, 1999) Policy diffusion (Berry and Berry, 1999) Policy networks (Marsh, 1998) Punctuated equilibrium teoria (Baumgartner and Jones, 1993)

36 Algumas teorias possíveis do mecanismo causal para o desenvolvimento Mecanismos causais sobre a tecnologia (inclusive práticas comprovadas) Aumentar os incentivos para aplicar a tecnologia existente Remover barreiras para o acesso efetivo à tecnologia Adaptar a tecnologia existente para poder ser eficaz em uma situação nova Desenvolver nova tecnologia Mecanismos causais sobre capacidade Aumentar a capacidade específica para realizar uma função específica (capital humano, capital social, capital organizacional, capital econômico) Aumentar a capacidade para melhorar a resiliência (especialmente a capacidade das redes colaborativas) Mecanismos causais sobre a contribuição para um processo de mudança complicado Preencher uma lacuna – colocar a última pecinha – “a pecinha que faltava” no quebra-cabeças Remover um obstáculo (versão ligeiramente diferente de preencher a lacuna): “a pedra no caminho’ Mecanismos causais sobre a governança Repressão (aumentar os riscos de sanções por comportamento negativo) Aumentar a capacidade (aumentar a habilidade de gerir bem) Mecanismos causais sobre advocacy Demonstrar a viabilidade e efetividade de uma nova abordagem

37 Perguntas para extrair dos participantes suas teorias de mudança (Exhibit 6-1 Funnell and Rogers, 2011, Purposeful Program Theory ) Poderia me dar um exemplo de onde esse programa está dando certo? Por que escolheu esse exemplo? O que você acha que está fazendo o programa dar certo? De que modo a vida seria melhor para os participantes ou o público-alvo, caso o programa funcione? Quais são as barreiras atuais que impedem os participantes do programa de terem uma boa vida? Como você acha que esse programa vai superar essas barreiras? O que há, na maneira como esse programa opera, que poderia tornar a vida melhor para os participantes ou o público-alvo? O que o programa atualmente faz que o ajuda a dar certo e o que não faz tão bem? O que mais precisa acontecer? Quem mais deveria estar envolvido, e como? O programa tenta influenciar estas outras pessoas? Em caso positivo, o que você esperaria que eles fizessem de maneira diferente?

38 Estratégias para garantir uma teoria da mudança adequada 1.Faça uma análise situacional antes de desenvolver a teoria de mudança para um programa novo 2.Use uma diversidade ampla de fontes, inclusive críticos do programa 3.Verifique os fatores atípicos e as exceções, confrontando-os com a teoria de mudança inicial. 4.Aborde os aspectos complicados e complexos da intervenção 38

39 39 Evaluation for public sector managers

40 40 3. Represente a teoria da mudança com clareza

41 Como fazer um bom modelo lógico? 1.Seja lógico e coerente Cada seta deve ter um significado Indique o rumo da mudança esperada Evite becos sem saída 2.Comunique as mensagens principais Evite excesso de linhas; não use linhas de feedback indiscriminadamente Evite padrões excessivamente detalhados (salvo em raros casos) Elimine tudo o que não acrescenta significado Garanta a facilidade de leitura Evite “palavras gatilho” e siglas misteriosas Rogers Using programa teoria and logic models in evaluation 41

42 Exemplos ruins de modelos lógicos Rogers Using programa teoria and logic models in evaluation 42

43 Exemplos ruins de modelos lógicos Rogers Using programa teoria and logic models in evaluation 43

44 Exemplos ruins de modelos lógicos Rogers Using programa teoria and logic models in evaluation 44

45 45 4. Use a teoria da mudança para o planejamento, monitoramento e avaliação

46 PLANEJAMENTO 1.Planejar/alinhar um novo programa/intervenção com um marco estratégico MONITORAMENTO E AVALIAÇÃO 2.Monitoramento das correções adicionais feitas pelos gerentes e pelo staff 3.Monitorando para prestar contas aos financiadores e outros stakeholders 4.Avaliação do processo para apoiar a melhoria contínua 5.Avaliação de processo para documentar uma inovação 6.Avaliação do impacto GESTÃO 7.Proporcionar ao staff, financiadores e clientes uma compreensão comum 8.Informar decisões de investimento ELABORAÇÃO DE POLÍTICAS E PRÁTICAS BASEADAS EM EVIDÊNCIA 9.Apoiar a replicação 10.Desenvolver a base de evidências através de múltiplas avaliações ou fontes 46 Alguns usos possíveis para a teoria de programa

47 47 USO DA TEORIA DE PROGRAMA PARA AVALIAÇÃO Medir e descrever – quais os dados necessários, que análises devem ser feitas? –Recursos usados –Processos –Contexto –Outros fatores que contribuem –Resultados (imediatos, intermediários, subsequentes) Análise Causal –A intervenção produziu o resultado? –A intervenção contribuiu para o resultado? –O que mais contribuiu para o resultado? Síntese e relatório –Combinar evidências para uma única avaliação –Relatar a cadeia de resultados –Descrever os efeitos diferenciais –Combinar evidências de diversas avaliações

48 1.Monitoramento –das correções adicionais feitas pelos gerentes e staff –da prestação de contas perante financiadores e outros stakeholders 2.Avaliação do processo para –Verificar a aderência (compliance) –Apoiar a melhoria contínua –Documentar uma inovação 3.Avaliação do impacto para –testar um piloto antes de levar o programa à escala –Compreender o valor do programa existente, em larga escala, e em andamento 4.Sintetize para –Compreender o efeito médio de várias avaliações –Compreender o efeito em contextos diferentes Maneiras de usar a teoria da mudança para a avaliação

49 49 Usando uma matriz lógica de programa Para cada resultado pretendido, identifique: O que poderia ser considerado como “sucesso” Quais atividades contribuem diretamente para esse resultado Que outros fatores parecem contribuir para esse resultado – e se estes podem ser influenciados ou gerenciados de alguma maneira As fontes possíveis de evidência Como interpretar essas evidências – particularmente, que comparações são adequadas (ex: linha de base, benchmark, padrões, ou objetivos)

50 Aumento nas habilidades em computação Melhor desempenho escolar em matérias tecnológicas Aumento da taxa de inscrições em cursos superiores em computação Maior número de graduações com diplomas em computação Maior realização ocupacional Aumento na motivação Redes sociais solidárias Conhecimento de opções de cursos superiores Modelo lógico da cadeia de resultados A teoria da ação pode ser abordada em uma matriz lógica Cursos de verão Distribuir materiais, aconse- lhamento 1:1 Ajuda com as inscrições Apoio acadêmico e pessoal

51 A teoria da ação pode ser abordada em uma matriz lógica Redes sociais solidárias Maior taxa de inscrições em cursos superiores O que representa sucesso? Fontes de evidência disto? Como devem ser analisadas? (especialmente as comparações) Quais atividades contribuem diretamente para isto (se houver)? Fontes de evidência disto? Como devem ser analisadas? (especialmente as comparações) Que outros fatores incidem? (Controle/influência Interna/externa?) Fontes de evidência disto? Como devem ser analisadas? (especialmente as comparações)

52 52 Algumas variações de modelos lógicos Modelos Pipeline Modelo “Recursos-Processo-Produtos-Resultados” Hierarquia de Bennett Adaptação Wisconsin do Modelo Pipeline Log frame Modelos lógicos circulares Cadeias de resultados Hierarquia de resultados Lógica de programa centrada nas pessoas Coluna tripla

53 53 Falha da implementação, da teoria ou foi alguma outra coisa? ResultadoSaúde melhorou Saúde não melhorou TOTA L Maçãs comidas270 Maçãs não comidas TOTAL

54 54 Falha da implementação, da teoria ou foi alguma outra coisa? ResultadoSaúde melhorou Saúde não melhorou TOTAL Comeram as maçãs Não comeram as maçãs 033 TOTAL

55 55 Falha da implementação, da teoria ou foi alguma outra coisa? ResultadoCaracterísticas dos clientesMaçãs comidas Maçãs não comidas TOTAL Saúde melhorou Afetados por doenças relacionadas à nutrição 270 Afetados por outras doenças000 Saúde não melhorou Afetados por doenças relacionadas à nutrição 033 Afetados por outras doenças9700 TOTAL

56 Estratégias para usar a teoria da mudança na avaliação 1.Esclareça o tipo de avaliação 2.Use uma matriz lógica do programa para identificar os dados relevantes a serem coletados 3.Use a teoria da mudança para analisar os dados 56


Carregar ppt "Apoiando-se em teorias da mudança para o planejamento, gestão e avaliação Professora Patricia Rogers BetterEvaluation Royal Melbourne Institute of Technology,"

Apresentações semelhantes


Anúncios Google