Aprender a definir e melhorar estratégias organizacionais através da avaliação Professora Patricia Rogers BetterEvaluação Royal Melbourne Institute of Technology, Melbourne, Australia Avaliação para o Investimento Social Privado: Estratégia Organizacional

2 Aprender a definir e melhorar as estratégias organizacionais através da avaliação 2 A avaliação para definir e melhorar estratégias organizacionais O que queremos dizer com avaliação? Diferentes tipos de avaliação nos diferentes estágios de um programa ou projeto Como apoiar o aprendizado através da avaliação? 2

3 RMIT University Avaliação Combina valores e evidência para responder a perguntas como: Estamos fazendo a coisa certa? Estamos fazendo as coisas de maneira certa? 3 3

4 RMIT University Uma visão estreita, menos útil da avaliação – vem no final, e foca a pergunta: “Cumprimos nossos objetivos”? 4 Mainstreaming Social Inclusion Implementação 1. Rationale 2. Objectivos 3. Apreciação 4. Monitoramento 5. Avaliação6. Feedback 4

Análise Situacional – necessidades e oportunidades Desenho de programa ou política Implementação das atividades e gerenciamento em curso Melhoria contínua Resultados e impactos Avaliação (incluindo o monitoramento) Uma visão mais ampla, mais útil da avaliação – feita ao longo do ciclo da política/programa Baseado em Funnell 2006 Designing an Evaluation O que é necessário? O que devemos dar conta? Como deveria ser feito isto? Como está indo? Como podemos melhorar à medida que avançamos? Funcionou? Valeu a pena? 5

6 Tipos de avaliação – classificação por foco e momento Análise das necessidadesO que é preciso? Quais são as necessidades não atendidas? Desenho da intervençãoQual a mehor maneira de desenhar a intervenção? MonitoramentoComo está indo o processo? (Relatórios regulares das métricas) Avaliação do processoComo está indo? (pesquisas periódicas)? A implementação está indo de acordo com o planejado? O que foi feito em um programa inovador? Resultado/Avaliação do impacto Que mudanças ocorreram? Para quem? Avaliação EconômicaA intervenção foi custo/efetiva? (comparada às alternativas)? Qual foi a relação custo/benefício? Adaptado de Owen (2006), Rossi, Lipsey & Freeman (2003) 6

7 RMIT University A avaliação para definir estratégias organizacionais 7 O ABC DO PLANEJAMENTO ESTRATÉGICO A ONDE VOCÊ ESTÁ Missão e mandatos Estrutura e Sistemas Comunicações Programas e Serviços Pessoas e capacidades Orçamento Apoio B AONDE VOCÊ QUER Missão e mandatos Estrutura e Sistemas Comunicações Programas e Serviços Pessoas e capacidades Orçamento Apoio CCOMO CHEGAR LÁPlano estratégicoplanos de TI e RHComunicaçõesContratações e treinamentoReestruturação e EngenhariaAlocação orçamentária QUESTÕES ESTRATÉGICAS Visão, Missão e Meta Formulação da Estratégia Implementação da Estratégia 7

8 RMIT University A avaliação para definir estratégias organizacionais 8 O ABC DO PLANEJAMENTO ESTRATÉGICO A ONDE VOCÊ ESTÁ Missão e mandatos Estrutura e Sistemas Comunicações Programas e Serviços Pessoas e capacidades Orçamento Apoio B AONDE VOCÊ QUER Missão e mandatos Estrutura e Sistemas Comunicações Programas e Serviços Pessoas e capacidades Orçamento Apoio CCOMO CHEGAR LÁPlano estratégicoplanos de TI e RHComunicaçõesContratações e treinamentoReestruturação e EngenhariaAlocação orçamentária QUESTÕES ESTRATÉGICAS Visão, Missão e Meta Formulação da Estratégia Implementação da Estratégia

9 Avaliação para apoiar o aprendizado sobre onde você está Análise da Situação Avaliação das necessidades Análise SWOT – Fortalezas (S), Fraquezas (W), Oportunidades (O), Ameaças (T) Mapeamento dos Recursos Análise das fortalezas 9

10 Avaliação para apoiar o aprendizado sobre onde você quer chegar Esclarecimento sobre os Valores 10

11 O Que é sucesso em termos de: 11 Resultados e Impactos Distribuição dos benefícios Processos

12 Tipos de valores 12 Valores Tácitos Valores Negociados Valores Formais, Explícitos 12

13 Avaliação para apoiar o aprendizado sobre como chegar lá Teoria da mudança –Uma teoria sobre como ocorre a mudança (mecanismo de mudança) –Uma teoria sobre quais ações podem acionar esse mecanismo de mudança Síntese do que podemos aprender com os outros 13

14 Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais Avaliação de programas e projetos Como está indo? –Monitoramento do desempenho –Controle de Qualidade – estamos fazendo certo? –Melhoria da Qualidade/pesquisa da ação – como podemos melhorar a implementação? 14

15 Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais Avaliação dos programas e projetos Funcionou? De que maneira, em quais situações e para quem funcionou? O que contribuiu para que funcionasse? –A Teoria da mudança informa a avaliação de impacto –Métodos para responder às questões descritivas (o que aconteceu?) – mensurações, indicadores, descrições –Métodos para responder às questões causais (o que fez a mudança ocorrer?) – delineamentos e estratégias de pesquisa experimental, quase-experimental e não experimental –Métodos para responder às questões avaliativas (foi bom o resultado? Valeu a pena) 15

16 Especifique questões chave de Avaliação TipoEscopoExemplos DescritivoO que ocorreu? Qual é a situação? Como foi implementado o programa ? Quem participou do programa? Onde foi aplicado? Quais foram as mudanças? Os objetivos foram atingidos? Que outras mudanças ocorreram? 16

17 Especifique questões chave de Avaliação TipoEscopoExemplos CausalO que produziu as mudanças observadas? Quais foram os impactos do programa? O programa contribuiu para que os impactos e outros resultados pretendidos fossem produzidos? Qual foi a contribução de outros programas e de outros fatores? 17

18 Especifique questões chave de Avaliação TipoEscopoExemplos AvaliativoFoi positivo? De que maneiras poderia ser melhor? É essa a melhor opção? De maneira geral, foi bem sucedido? O serviço entregue estava de acordo com os padrões combinados? O programa foi custo/efetivo? Quais foram seus pontos fortes e fracos? Para quem o programa foi efetivo? 18

19 Especifique questões chave de Avaliação TipoEscopoExemplos AçãoO que deveria ser feito?O programa deveria ser continuado/deveria ganhar escala? Que mudanças deveriam ser feitas? 19

20 Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais Avaliação da carteira de programas e projetos Qual é a cobertura transversal nas áreas de importância? 20 Não lucrativoLucrativo Fortemente vinculado à missão Vínculo fraco com a missão Bell, Masaoka & Zimmerman (2010) Non Profit Sustainability: Making Strategic Decisions for Financial Viability. Jossey-Bass

21 RMIT University Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais Avaliação da carteira de programas e projetos Qual é o equilíbrio entre valor e certeza? 21 Valor Certeza 21

22 Tipos de aprendizado necessários Quando …É sensato … Sabemos o que funciona e porqueAssegurar o acompanhamento dos processos (monitorar) Demonstrar o valor do que está sendo feito (advocacy) Não sabemos se funcionaAnalisar processo e resultados (teoria do teste) Não sabemos qual é o melhor caminhoDocumentar os processos e o contexto e comparar desempenhos (resultados, eficiência) Não sabemos o que poderia funcionarUsar a pesquisa/aprendizado e compartilhar os resultados 22

23 Fontes de informação sobre métodos e processos de avaliação 23

24 Fontes de informação sobre métodos e processos de avaliação 24

25

26

27

28 Avaliação para apoiar o aprendizado sobre como melhorar as estratégias organizacionais 28 Que tipos de avaliação precisamos? Como podemos fazer isso? Que tipos de aprendizado pecisamos que a avaliação apoie? Como podemos fazer isso?