Avaliação de Projectos

Apresentação em tema: "Avaliação de Projectos"— Transcrição da apresentação:

1 Avaliação de Projectos
Alguns Modelos de Avaliação

2 Modelos de avaliação Predomínio
Abordagens centradas na verificação do cumprimento de objectivos de aprendizagem (Tyler) Abordagens centradas no processo formativo (Stufflebeam) Abordagens centradas nos resultados/benefícios da formação para os destinatários (Kirkpatrick)

3 Modelos de avaliação Multinível de KirkPatrick RACR CIRO de Warr
CIPP de Stufflebeam Hadji, Figari e Roegiers R. Brinkerhoff (sete áreas de intervenção FDRAAGM) Abordagem P E R T A

4 Donald Kirkpatrick Modelo hierárquico de resultados da formação
Visa medir a qualidade de uma intervenção formativa a partir da análise de quatro níveis de avaliação: Nível 1 - Avaliação da reacção dos participantes Nível 2 - Avaliação das aprendizagens dos participantes Nível 3 - Avaliação do comportamento dos participantes Nível 4 - Avaliação dos resultados da formação

5 Donald Kirkpatrick Pressupostos do modelo hierárquico de resultados da formação
Cada nível é importante e tem impacto no nível seguinte Conforme se avança nos níveis, o processo torna-se mais complexo Nenhum dos níveis deve ser ignorado, por considerar o nível seguinte mais importante

6 Donald Kirkpatrick Nível 1 - Avaliação do grau de satisfação
Os formandos gostaram do curso? É uma das formas mais utilizadas na avaliação É fácil, rápida e com baixo custo de aplicação Os resultados negativos podem significar dificuldades de aprendizagem no curso

7 Donald Kirkpatrick Nível 1 - Avaliação do grau de satisfação
Tem por objectivos: Recolher as reacções, as opiniões dos formandos sobre determinados aspectos da formação (formador, métodos...) Detectar disfuncionalidades no sistema de formação Regular as práticas formativas, tendo em conta as necessidades do público alvo

8 Donald Kirkpatrick Nível 1 - Avaliação do grau de satisfação
Pode ser efectuada de forma contínua... Assim os formandos são avaliados de acordo com vários critérios: A forma como participam na acção O desempenho nas actividades propostas A forma como utilizam os recursos disponibilizados A capacidade de interacção com o grupo de formação

9 Donald Kirkpatrick Nível 1 - Avaliação do grau de satisfação
A generalidade as avaliações efectuadas consiste na recolha de opinião e do grau de satisfação dos formandos com determinados aspectos da formação Neste sentido, importa considerar diferentes tipos de reacção: As reacções afectivas, de satisfação As reacções instrumentais, de utilidade As reacções de dificuldade, da aprendizagem

10 Donald Kirkpatrick Nível 1 - Avaliação do grau de satisfação
Técnicas mais utilizadas: Inquéritos por questionário sobre o grau de satisfação Realização de focus group Inquérito por entrevista Registo de comentários em fóruns de discussão Realização de observações de comportamentos dos participantes

11 Donald Kirkpatrick Nível 1 - Avaliação do grau de satisfação
Dimensões de análise nos questionários de satisfação: Expectativas iniciais Objectivos de aprendizagem Desempenho do formador Conteúdos programáticos Estratégicas pedagógicas Suportes de apoio utilizados na formação Documentação de apoio à formação Apoio logístico Espaços/instalações

12 Donald Kirkpatrick Nível 2 - Avaliação das aprendizagens
Os formandos aprenderam com base nos objectivos do curso? Objectivos: Verificar se os formandos estão a adquirir as aprendizagens pretendidas Proporcionar ao formando um feedback sobre o modo como está a evoluir na auto-aprendizagem orientada Permitir a reformulação da acção, corrigindo eventuais fragilidades, e a melhoria constante dos formandos

13 Donald Kirkpatrick Nível 2 - Avaliação das aprendizagens
Diz respeito à aquisição, aumento ou melhoria das competências e atitudes dos formandos Este nível pode-se realizar-se através de uma abordagem mais completa: Que contempla a recolha de dados antes, durante e após a formação Que não se circunscreve apenas ao aprofundamento de conhecimentos, mas inclui a demonstração prática de aptidões e competências apreendidas

14 Donald Kirkpatrick Nível 2 - Avaliação das aprendizagens
Técnicas mais utilizadas Testes escritos (de entrada/de progresso/finais) e orais Role playing (simulação/dramatização sobre situações) Elaboração de projectos Jogos pedagógicos para a resolução se situações/problemas Estudos de caso (análise de situações e construção de planos) Aplicação de instrumentos de auto-avaliação Realização de observações Registo e análise de incidentes críticos Elaboração de portefólios de competências Elaboração de mapas conceptuais

15 Donald Kirkpatrick Nível 3 - Avaliar a transferência da formação
O que mudou ao nível dos comportamentos dos indivíduos? Sinalizar com rigor antes da formação que comportamentos se pretendem alterar... Em que medida as alterações nos comportamentos contribuíram para alcançar os objectivos individuais de desempenho? Determinar quais os indicadores para avaliar o impacto da formação nos desempenhos dos formandos

16 Donald Kirkpatrick Nível 3 - Avaliar a transferência da formação
Objectivo: Averiguar em que medida os formandos transferem para o contexto de trabalho as aprendizagens (conhecimentos, competências e comportamentos) Requer o desenvolvimento de planos que permitam comparar o comportamento antes e depois da formação, podendo ser feito através de: Auto-relatos Observações de superiores hierárquicos Pares

17 Donald Kirkpatrick (1998) Nível 3 - Avaliar a transferência da formação
Técnicas mais utilizadas: Entrevista de chegada (quando o formando regressa...) Aplicação de questionários para avaliar a transferência e resultados no desempenho individual Aplicação do instrumento LTSI - Learning Transfer System Inventory Construção de um plano de intervenção específico Observações no posto de trabalho Análise de performance (através de avaliação inter-pares) Registo de análise de incidentes críticos (análise comparativa) Auto-avaliação

18 Donald Kirkpatrick Nível 3 - Avaliar a transferência da formação
Modelo de análise da transferência da formação Características dos formandos (motivação, experiência profissional, prontidão para mudar, atitude face à formação, auto-eficácia Design da formação (características do projecto de mudança, modelos pedagógicos, conteúdos, conhecimento e oportunidade para transferir) Contexto organizacional (valores e cultura, política de recursos humanos, apoio e suporte, consequências da transferência)

19 Donald Kirkpatrick Nível 3 - Avaliar a transferência da formação
Características dos formandos Competências capacidade cognitiva (tempo, energia, disponibilidade mental no trabalho para transferir) experiência profissional (nível de proficiência atingido, cargo ocupado e antiguidade na organização) Factores de personalidade - satisfação com o trabalho, crenças de auto-eficácia, atitude face à mudança Variáveis motivacionais - Motivação para aprender e motivação para transferir

20 Donald Kirkpatrick Nível 3 - Avaliar a transferência da formação
Concepção/design da formação Garantir o ajustamento dos conteúdos (relevância e aprofundamento) às exigências do trabalho dos formandos Assegurar que os modelos e práticas pedagógicas permitem aos formandos aprender o que se pretende que aprendam Incluir conhecimentos sobre o modo de transferir a aprendizagem para o local de trabalho

21 Donald Kirkpatrick Nível 3 - Avaliar a transferência da formação
Contexto organizacional Capaz de promover a aprendizagem contínua dos trabalhadores terá maior probabilidade de obter comportamentos pós-formativos Capaz de propiciar um clima facilitador de transferência concretizado: pela frequência de feedback sobre o desempenho pelo apoio dos pares e da hierarquia pela percepção das consequências positivas da utilização das aprendizagens no desempenho profissional

22 Donald Kirkpatrick Nível 4 - Avaliação de Resultados
Qual o impacto da formação nos resultados da organização? Objectivos: Avaliar o impacto da formação em termos de resultados na actividade da organização Ou avaliar a variação de indicadores concretos previamente estabelecidos que resultaram da análise de necessidades

23 Donald Kirkpatrick Nível 4 - Avaliação de Resultados
Indicadores de eficácia da formação: Mais reuniões de trabalho em equipa entre professores Melhoria nas práticas pedagógicas e de avaliação Menor número de reclamações por parte dos pais relativamente às avaliações dos alunos Melhoria no sucesso escolar dos alunos Aumento da procura da escola por parte dos pais e alunos

24 Donald Kirkpatrick Nível 4 - Avaliação de Resultados
Técnicas mais utilizadas: Análise dos resultados de intervenção específicos Análise de painel de indicadores de performance Aplicação da fórmula ROI (Return of Investment) Análise custo-benefício

25 Donald Kirkpatrick Segundo a American Society for Training and Development (2002): 78% das organizações avaliam as acções formativas ao nível da satisfação dos formandos - nível 1 reacção; Somente 32% avaliam o nível 2, aprendizagem; 9% o nível 3, comportamento; 6% o nível 4, resultados Assim, os níveis mais interessantes são os menos utilizados

26 Retorno do investimento (ROI)
Não basta obter bons resultados É preciso garantir a recuperação do investimento feito Objectivos do cálculo do Retorno do Investimento Conhecer se a implementação de uma acção é rentável para a organização do ponto de vista financeiro Identificar as vantagens e os inconvenientes de uma dada acção formativa

27 Retorno do investimento (ROI)
Não confundir Retorno do Investimento com Índice custo/benefício ICB= benefícios brutos da formação/custos do programa ROI= benefícios líquidos da formação/custos do programa

28 Retorno do investimento (ROI) Benefícios da formação
Evidentemente que a formação em qualquer organização gera benefícios e custos É mais complexa a identificação dos benefícios Existem três tipos de benefícios Melhorias no trabalho (mais fácil de quantificar) Inovação e a criatividade Satisfação/realização (mais difícil de quantificar)

29 Retorno do investimento (ROI)
Exemplo: Os custos de um dado programa de formação são euros (custos podem ser relativos a viagens, à realização da formação, à preparação material...) e os benefícios são de euros (os benefícios podem ser relativos ao aumento da produtividade, à redução do absentismo...) ICB = / = 5 Benefícios brutos ROI = / x 100% = 400% Benefícios líquidos

30 Kirkpatrick Quais os objectos de avaliação?
A satisfação dos formandos O desempenho dos formadores A adequação dos programas aos formandos A aplicação dos conhecimento adquiridos Os efeitos inesperados da formação O impacto nos resultados da instituição

31 Modelo CIRO de Warr Domínios da avaliação
Contexto ou ambiente de partida da formação Inputs a mobilizar para a intervenção educativa Reacções dos participantes à formação Outcomes (resultados) da formação

32 Modelo CIRO de Warr A avaliação do contexto pretende compreender:
As razões que justificam a intervenção formativa A distância entre as competências reais dos formandos e as desejadas O tipo de saber a desenvolver na formação O que se deseja modificar com a intervenção

33 Modelo CIRO de Warr A avaliação dos inputs pretende analisar:
O processo de selecção dos formandos e dos formadores Os conteúdos e a estratégia de formação Os recursos materiais, humanos e financeiros de apoio

34 A avaliação das reacções pretende:
Modelo CIRO de Warr A avaliação das reacções pretende: Averiguar o grau de satisfação dos participantes em relação à formação desenvolvida

35 Modelo CIRO de Warr A avaliação dos outcomes visa aferir os resultados da formação em termos: Das competências desenvolvidas Da aplicação das competências nos contextos de trabalho Importa responder à questão: que mudanças ocorreram após a realização da formação?

36 Stufflebeam Modelo CIPP
A intenção da avaliação é servir de guia à tomada de decisões A avaliação tem por finalidade o aperfeiçoamento do processo formativo a partir do levantamento de necessidades O processo de decisão não acaba num dado momento é cumulativo e orientado por reajustamentos constantes rumo ao aperfeiçoamento

37 Modelo CIPP Domínios de análise
Contexto Inputs da formação Processo formativo Produtos resultantes da formação

38 Modelo CIPP A avaliação de contexto incide sobre:
As suas características As necessidades de formação As características dos participantes da formação Os problemas que originaram as necessidades identificadas A coerência entre necessidades sinalizadas e os objectivos de aprendizagem propostos

39 Questões para avaliar o contexto
Que objectivos se pretendem alcançar ao realizar o diagnóstico de necessidades? Que tipo de informação se obtém quando se efectua o diagnóstico? De quem se obtém essa informação e com que métodos? Quanto tempo é necessário? Como se processam os dados?

40 Modelo CIPP A avaliação de inputs incide sobre:
A suficiência de recursos materiais e humanos Medidas alternativas à formação A capacidade de resposta do sistema de formação A sinalização de eventuais entraves à formação A adequação da proposta formativa e as estratégias de intervenção

41 Questões para avaliar os “inputs”
Quais os critérios para seleccionar os formandos e os formadores? Os formadores têm provas dadas na área da formação? Quais são as expectativas dos formandos? Qual o conhecimento, os interesses, as atitudes e as preocupações dos formandos?

42 Modelo CIPP A avaliação do processo incide na:
Implementação das intervenções formativas Observação de processos de ensino-aprendizagem Conduta do formador Conduta dos formandos Relação entre formador e formandos Interacção dos formandos com os materiais pedagógicos Sinalização de eventuais aspectos a melhorar

43 Questões para avaliar o processo
Como está a decorrer a formação? Os conteúdos planificados estão a ser desenvolvidos? O formador demonstra conhecimento e competência? Os formandos tiveram oportunidade de praticar (simulações)? Houve um equilíbrio entre as componentes teóricas e práticas? Qual foi o ambiente durante a formação? Os conteúdos têm aplicabilidade nos contextos de trabalho?

44 Modelo CIPP A avaliação dos produtos incide sobre:
Resultados da formação (satisfação) Resultados face a objectivos pré-definidos Resultados face a necessidades do contexto

45 Questões para avaliar o produto
O que muda em consequência da proposta formativa: A formação proporcionou aos formandos conhecimentos, competências, atitudes que antes não possuíam ? Teve repercussões no contexto de trabalho (melhor desenvolvimento das tarefas, maior motivação e satisfação) ? Teve repercussões na instituição (coesão, organização, participação, trabalho em equipa, resolução de conflitos) ?

46 Modelo CIPP Segundo Roegiers (1997) este modelo teve sucesso na avaliação da formação devido: À associação entre a avaliação e a tomada de decisão À superação da avaliação reduzida aos produtos À ênfase dada ao contexto

47 Hadji (1994) Modelo de “avaliação plural”
Remete para a dimensão pragmática e instrumental da avaliação: para que é que serve ? Realça a temporalidade que é inerente ao processo de avaliação de uma acção (antes, durante e depois) Destaca as diversas funções da avaliação

48 Hadji Funções na sequência da acção
Temporalidade Antes Durante Depois Avaliação Diagnóstica Prognóstica Formativa “Progressiva” Sumativa Terminal Função Orientar Adaptar Regular Aperfeiçoar Verificar Certificar Centrada No produtor e suas características Nos processos Nas actividades Nos produtos

49 Hadji e os dispositivos de avaliação
Dispositivo é o conjunto das modalidades previstas de levantamento e tratamento da informação: Circunstâncias e momentos Natureza das informações a recolher Instrumentos de ajuda nesse trabalho Não pode haver dispositivo sem plano prévio

50 Hadji e os dispositivos de avaliação
Construir um dispositivo é organizar os meios (instrumentos, actores) de acordo com um plano estruturado em função: Da natureza do projecto de avaliação Da natureza do projecto de formação

51 Operações essenciais para construir dispositivos de avaliação
Questionar-se sobre o projecto de avaliação Precisar o projecto de formação Prever os procedimentos

52 Questionar-se sobre o projecto de avaliação
Qual é a intenção dominante do projecto de avaliação Medir, apreciar, interpretar? Controlar, regular, compreender? Que concepção dominante se tem da realidade avaliada (Para que serve?) Modelo de funcionamento privilegiado

53 Precisar o projecto de formação
Finalidades Transformações desejadas (a que níveis?) Tipo de expectativa em relação aos formandos Actualização de conhecimentos? Competências? Qualidades pessoais? Atitudes?

54 Prever os procedimentos
Determinar a informação útil Porquê é que nos vamos interessar (objecto)? Explicitar como é recolhida a informação útil Quem vai efectuar a recolha? Quando? Por meio de que Instrumentos? Definir o quadro de interpretação dessa informação

55 Hadji Objectos na avaliação das acções
O processo de formação Os efeitos da formação

56 O processo de formação O dispositivo
O projecto (coerência e rigor) O plano (exequibilidade) Formadores (Quem? Lugar e papel? Formação? Competências? Função? Estatuto? O processo pedagógico (acção propriamente dita) Trabalho dos formadores (escolha dos conteúdos, das actividades) Funcionamento da acção (métodos de trabalho, técnicas de animação e dispositivo de avaliação)

57 Os efeitos da formação Efeitos pedagógicos (resultados dos formandos)
Aprendizagens realizadas Evoluções assinaláveis Satisfação dos formandos Impactes (consequências) Evolução das práticas Eficácia das práticas

58 Figari e os conceitos em cascata Referente, referencial, referencialização
Para Lesne (1984) “avaliar é por em relação, de forma explícita ou implícita, um referido (o que é constatado ou aprendido de maneira imediata, o que é objecto de uma investigação sistemática) com um referente (o que desempenha o papel de norma, o que deve ser, o objectivo pretendido...)

59 Figari e os conceitos em cascata Referente, referencial, referencialização
Modelo geral preexistente Sistema de referências construído em torno da experiência e que apela a critérios elaborados em função da situação específica a tratar, representando a combinação de um conjunto de factores: População em formação Contexto económico e técnico Competências dos professores e formadores Meios e métodos...

60 Referencialização: o que é?
“ (...) é um processo de elaboração do referente (...). A referencialização consiste em assinalar um contexto e em construir, fundamentando-o com os dados, um corpo de referências relativo a um objecto (ou a uma situação), em relação ao qual poderão ser estabelecidos diagnósticos, projectos de formação e avaliações (...). Pretende ser um método de delimitação de um conjunto de referentes e nisso se distingue do referencial que, por sua vez, designa um produto acabado e, mais exactamente, uma formulação momentânea da referencialização” (Figari, 1996, 52)

61 Referencialização como metodologia de avaliação
Operação de avaliação = elucidação do pedido Qual a origem? Qual é o contexto e as finalidades da avaliação? Objecto a avaliar O quê avaliar? Que dimensões do objecto vão ser avaliadas? Referentes Em relação a quê se vai atribuir um sentido à informação? (leis, projectos, contexto nacional e internacional) Critérios Que aspectos representativos do objecto a avaliar vão ser escolhidos para proceder ao julgamento?

62 Referencialização como metodologia de avaliação
Indicadores Que índices, que características observáveis são escolhidas para verificar o grau de alcance do critério Itens de recolha de dados Quais serão, para cada critério,os descritores tomados em linha de conta? Que instrumento(s) construir ? Interpretação dos resultados Que cruzamento de dados efectuar? Que significados atribuir aos resultados Divulgar os resultados Que dizer aos diferentes actores da avaliação?Como? Como explorar os dados?

63 Modelo ICP de Figari Lógica de Gestão Função de Avaliação
Dimensões Lógica de Gestão Função de Avaliação Sequência temporal Contexto de Análise Induzido Projecto Prognóstica Antes Social, profissional e individual Construído Aprendizagem Formativa Durante Institucional e as estratégias de liberdade Produzido Avaliação Sumativa Depois Pedagógico Efeitos e Resultados

64 Características do modelo de Figari
Dinâmico Embora haja uma sequencialidade temporal irreversível (antes-durante-depois) as dimensões têm um carácter relacional e interaccional Indissociável Porque não só as dimensões estão imbricadas entre si e têm zonas de intersecção, como também se legitimam mutuamente Iterativo As várias dimensões são interdependentes e mutuamente enriquecedoras: o “induzido” é a base do “construído” que, por sua vez, dá origem ao “produzido” e este novamente ao “induzido”

65 Roegiers (1997) Modelo de “caixa aberta”
A construção de um dispositivo de formação é um processo de “referencialização progressiva”, atendendo à diversidade de referentes Esta referencialização procura responder à necessidade de: Situar o dispositivo de avaliação no seu contexto Relacionar as diversas componentes internas a partir dos dados do contexto

66 Roegiers (1997) Modelo de “caixa aberta”
É assim caracterizado por duas razões: Porque há uma permamente interacção com o meio, numa lógica de mútua influência Porque permite delimitar os seus componentes internos para efeitos de análise de uma acção de formação

67 Roegiers (1997) Modelo de “caixa aberta”
Existe assim um duplo conjunto de elementos na análise de uma acção de formação: Os referenciais que contribuem para contextualizar a acção (elementos externos) Os componentes que caracterizam a acção (elementos internos)

68 Roegiers (1997) Modelo de “caixa aberta”
O autor distingue quatro tipos de referenciais em interacção: O contexto geral As necessidades dos actores O funcionamento da instituição O quadro normativo

69 Roegiers (1997) Modelo de “caixa aberta”
O contexto geral Contexto alargado e abrangente No qual devem ser considerados os aspectos sociais, culturais, económicos e políticos Que directa ou indirectamente influenciam o funcionamento da instituição ou do dispositivo de formação

70 Roegiers (1997) Modelo de “caixa aberta”
As necessidades dos actores Trata-se das “necessidades que estão ligadas às estratégias dos actores, às pessoas e às histórias, ao funcionamento quotidiano, às interacções de diversa natureza, aos desafios e aos projectos”

71 Roegiers (1997) Modelo de “caixa aberta”
O funcionamento da instituição É o conjunto de desafios que se consubstancia na política oficial da instituição (plano estratégico, política educativa, projecto educativo, plano de formação...) e nas informações sobre o seu funcionamento (organigramas, regulamentos...).

72 Roegiers (1997) Modelo de “caixa aberta”
O Quadro normativo É constituído pelo conjunto de dispositivos normativos (legislativos, jurídicos, éticos, deontológicos...) aos quais a instituição está submetida, quer sejam de natureza externa, quer sejam de natureza interna.

73 Roegiers (1997) Modelo de “caixa aberta”
O autor identifica os seguintes componentes internos que caracterizam uma acção: Os objectivos Os produtos Os meios Meios previstos e meios efectivos

74 Roegiers (1997) Modelo de “caixa aberta”
Os objectivos Dizem respeito à definição das acções a desenvolver, tendo em vista a modificação de um contexto esperado.

75 Roegiers (1997) Modelo de “caixa aberta”
Os produtos Embora se possam distinguir vários tipos (os resultados, os efeitos indirectos e os produtos intermédios), este elemento constitui os efeitos do desenvolvimento da acção.

76 Roegiers (1997) Modelo de “caixa aberta”
Os meios É o conjunto de estratégias e recursos através do qual se realiza o trânsito entre os objectivos e os produtos, garantindo o sucesso da acção de formação

77 Roegiers (1997) Modelo de “caixa aberta”
Meios previstos e meios efectivos É a diferença relevante entre o que se previu potencialmente utilizar e o que efectivamente se realizou, relacionando-se com o próprio desenvolvimento da acção.

78 Roegiers (1997) Modelo de “caixa aberta”
Para compreender a importância deste modelo não podemos ficar por esta apresentação analítica e estática Trata-se de um modelo complexo e dinâmico, que implica uma combinatória de elementos e factores que entram em jogo numa acção de formação

79 Modelo de R. Brinkerhoff Sete áreas de intervenção
Focalizar a avaliação Desenhar a estratégia avaliativa Recolher informação Analisar e interpretar a informação recolhida Apresentar resultados Gerir o processo avaliativo Avaliar a avaliação (atenção à checklist que agora vamos desenvolver por área cf. pag. 27 do Guia de avaliação da formação)

80 Modelo de R. Brinkerhoff Focalizar a avaliação/questões críticas
Que dimensões avaliar? Qual a finalidade da avaliação? Quem será implicado no processo de avaliação? Que factores poderão afectar o processo? Quais as principais questões avaliativas? A avaliação tem potencial para ser bem sucedida?

81 Modelo de R. Brinkerhoff Desenhar a estratégia/questões críticas
Quais as abordagens avaliativas disponíveis? Que aspectos deve contemplar uma estratégia avaliativa?

82 Modelo de R. Brinkerhoff Recolher informação /questões críticas
Que tipo de informação deverá ser recolhida? Que procedimentos utilizar na recolha de informação? Que quantidade de informação é preciso recolher? Que instrumentos serão seleccionados? Como proceder para recolher informação ao mais baixo custo?

83 Modelo de R. Brinkerhoff Analisar informação /questões críticas
Como se pretende tratar os dados recolhidos? Vale a pena tratar os dados recolhidos? Como se pretende analisar a informação e interpretar os resultados obtidos ?

84 Modelo de R. Brinkerhoff Apresentar resultados /questões críticas
Quem deverá receber os resultados da avaliação? Qual deverá ser a estrutura do relatório? Como poderão ser apresentados os relatórios? Como poderão ser ajudados os destinatários na interpretação dos resultados? Quando devem ser apresentados os relatórios?

85 Modelo de R. Brinkerhoff Gerir o processo /questões críticas
Quem pode acompanhar o processo de avaliação? A quem compete a responsabilidade pelo processo? Quanto custa implementar o processo? Como poderão ser sequenciadas e calendarizadas as actividades avaliativas? Que obstáculos poderão surgir no processo?

86 Modelo de R. Brinkerhoff Meta-avaliação /questões críticas
Em que circunstâncias deverão ser implementados processos meta-avaliativos? A quem compete desenvolver o processo meta-avaliativo? Que critérios deverão ser definidos? Como poderá ser implementado um processo meta-avaliativo? Que procedimentos podem ser associados ao processo?

87 Questões para orientar a Meta-avaliação 0’ Sullivan, Jones e Reid (1990)
A avaliação foi suficientemente abrangente? Foram obtidos dados suficientes através de múltiplas fontes? Podem ser tomadas decisões com base nas avaliações? O desenho da avaliação teve qualidade técnica? Os dados foram apresentados de forma clara e compreensível? Os resultados foram válidos? A avaliação foi realizada de modo adequado? Os participantes foram implicados?

88 Modelos de avaliação Abordagem PERTA
Preparar a intervenção avaliativa Elaborar e testar instrumentos para recolha de dados Realizar a estratégia de avaliação Tratar e analisar os dados Apresentar os resultados da avaliação (ver guia de avaliação da formação que enviei em pdf , sobretudo a parte que diz respeito ao desenvolvimento de uma estratégia avaliativa pag )

89 Fase I - Preparar a intervenção avaliativa
Conhecer o contexto de partida da formação Planear as intervenções avaliativas

90 Conhecer o contexto Compreender as razões que deram origem à formação
Analisar a proposta de formação Sinalizar e compreender as características dos destinatários da formação Sinalizar as características da organização de acolhimento

91 Planear as intervenções avaliativas
Quais os objectivos da avaliação pretendida? Quais as questões avaliativas a efectuar? Em que momentos deverão ser desenvolvidas as intervenções avaliativas? Quem são os actores da avaliação? Qual o quadro de referência avaliativo ? Que métodos de avaliação são os mais adequados? Como serão apresentados os resultados?

92 Fase II - Elaborar e testar instrumentos para recolher dados
Construir instrumentos para aplicar nas actividades de avaliação Que tipo de informação deverá ser recolhida? Que procedimentos utilizar na recolha de informação? Que quantidade de informação é preciso recolher? Que instrumentos serão seleccionados? Como proceder para recolher informação ao mais baixo custo? Analisar os instrumentos de avaliação do ponto de vista da validade e fidelidade

93 Fase III - Realizar a abordagem avaliativa
Realizar intervenções avaliativas antes da execução da formação (avaliação ex-ante) Realizar intervenções avaliativas durante a execução da formação (avaliação on-going) Realizar intervenções avaliativas após a execução da formação (avaliação ex-post)

94 Realizar intervenções avaliativas antes Avaliação ex-ante
Ter presente as várias perspectivas da avaliação diagnóstica Os objectivos que norteiam a realização de uma avaliação diagnóstica Reanalisar resultados de diagnósticos de necessidades já realizados Decidir qual a abordagem mais adequada para o contexto em análise Informar os vários actores dos objectivos da avaliação a realizar Decidir a intervenção de avaliação diagnóstica Preparar resultados para serem comparados com resultados intermédios e finais da formação Reanalisar os resultados da avaliação diagnóstica no decurso da formação Reanalisar os resultados da avaliação diagnóstica no final da formação

95 Realizar intervenções avaliativas durante Avaliação on-going
Preparar e realizar as avaliações de reacções (nível 1) Ter presente o âmbito de uma avaliação de reacção Verificar se são contempladas na avaliação as dimensões críticas da formação Considerar a diversidade de técnicas disponíveis Preparar os formandos para participarem na avaliação Realizar as intervenções antes e no final Preparar as avaliações de aprendizagens (nível 2) Ter presente o âmbito de uma avaliação de aprendizagens Verificar se são contempladas na avaliação os saberes e competências a desenvolver Realizar as intervenções antes, durante e no final

96 Realizar intervenções avaliativas após Avaliação ex-post
Preparar uma avaliação de 3º nível Ter presente o âmbito de uma avaliação de 3º nível Sinalizar os factores que podem inibir ou facilitar o processo de transferência Mobilizar os actores para a realização de actividades que potenciam a transferência Sinalizar as técnicas a aplicar numa avaliação de 3º nível Reflectir sobre a importância da entrevista de “saída” Realizar a intervenção (uma proposta possível) Realizar uma entrevista de “chegada” Elaborar um plano de acção Disponibilizar ao ex-formando um instrumento para autoavaliação e acompanhamento de progressos Realizar uma reunião de acompanhemento/avaliação de progressos

97 Realizar intervenções avaliativas após Avaliação ex-post
Generalizar as mais valias da formação no contexto da organização Definir estratégias de acção Mobilizar os actores a implicar na execução das estratégias pré-definidas Avaliar impactes da formação na organização (nível 4) Ter presente as razões fundamentais que conduziram à formação Analisar os indicadores susceptíveis de sofrerem impacte na sequência da formação Sinalizar outras medidas que possam ter impactes nos mesmos indicadores Estimar os benefícios da formação (valor acrescentado percepcionado pelos vários actores directos ou indirectos da formação)

98 Realizar intervenções avaliativas após Avaliação ex-post
Generalizar as mais valias da formação no contexto da organização Definir estratégias de acção Mobilizar os actores a implicar na execução das estratégias pré-definidas Avaliar impactes da formação na organização (nível 4) Ter presente as razões fundamentais que conduziram à formação Analisar os indicadores susceptíveis de sofrerem impacte na sequência da formação Sinalizar outras medidas que possam ter impactes nos mesmos indicadores Estimar os benefícios da formação (valor acrescentado percepcionado pelos vários actores directos ou indirectos da formação)

99 Fase IV - Tratar e analisar os dados e produzir relatórios de avaliação
Tratar os dados recolhidos Decidir que tipo de dados tratar e como tratar Validar os dados seleccionados Codificar os dados seleccionados para respectivo tratamento Verificar se a amostra de respondentes é representativa Verificar se os métodos de recolha de dados foram adequados Analisar os dados após respectivo tratamento Verificar se as questões avaliativas pré-estabelecidas foram respondidas Aferir sobre o tipo de análise mais adequada Verificar se da análise efectuada resulta informação relevante para a tomada de decisão Verificar se a informação produzida é suficientemente credível

100 Fase IV - Tratar e analisar os dados e produzir relatórios de avaliação
Produzir os conteúdos do relatório Discutir com os actores a natureza e os conteúdos dos relatórios Destacar as mensagens mais importantes do processo de avaliação Apresentar vários cenários para propostas de melhoria de práticas Utilizar uma linguagem acessível Optar por uma estrutura adequada Elaborar recomendações Elaborar recomendações com base nas informações produzidas Considerar os custos associados à concretização de cada recomendação Considerar na elaboração das considerações a capacidade de decisão dos actores para as pôr em prática Sinalizar os resultados a alcançar com a concretização das recomendações

101 Fase IV - Tratar e analisar os dados e produzir relatórios de avaliação
Produzir os conteúdos do relatório Discutir com os actores a natureza e os conteúdos dos relatórios Destacar as mensagens mais importantes do processo de avaliação Apresentar vários cenários para propostas de melhoria de práticas Utilizar uma linguagem acessível Optar por uma estrutura adequada Elaborar recomendações Elaborar recomendações com base nas informações produzidas Considerar os custos associados à concretização de cada recomendação Considerar na elaboração das considerações a capacidade de decisão dos actores para as pôr em prática Sinalizar os resultados a alcançar com a concretização das recomendações

102 Fase V - Apresentar os resultados da avaliação
Definir uma estratégia para apresentar os resultados da avaliação Decidir a quem, como, quando, quem e onde devem ser apresentados os resultados Ter presente as várias possibilidades para apresentação dos resultados Recolher informação sobre a satisfação relativa à forma como foram apresentados os resultados Elaborar planos de acção Sinalizar previamente recomendações de melhoria a implementar Sinalizar acções e os actores que vão implementar as medidas propostas Identificar os resultados que se espera alcançar Desenvolver o calendário mais adequado à produção dos resultados

103 Bibliografia Consultar textos:
Barbier (1990). A avaliação em formação. Porto: Ed. Afrontamento Figari (1996). Avaliar: que referencial? Porto: Porto Editora Flor Cabrera, A. (2003). Evaluación de la formación.Madrid: Ed. Síntesis Garcia (1999). Formação de Professores. Porto Editora (pp ) IQF (2006). Guia para a avaliação da formação (pp ). Rodrigues (2002). Avaliação da formação pelos participantes em entrevista de investigação.Lisboa: FCG