Gregory Light, PhD Consórcio Brasileiro Ciência, Tecnologia, Ciências Humanas, Engenharia e Matemática (STHEM) 2º WORKSHOP: LORENA, BRASIL, 26-30 de maio.

Apresentação em tema: "Gregory Light, PhD Consórcio Brasileiro Ciência, Tecnologia, Ciências Humanas, Engenharia e Matemática (STHEM) 2º WORKSHOP: LORENA, BRASIL, 26-30 de maio."— Transcrição da apresentação:

1 Gregory Light, PhD Consórcio Brasileiro Ciência, Tecnologia, Ciências Humanas, Engenharia e Matemática (STHEM) 2º WORKSHOP: LORENA, BRASIL, 26-30 de maio de 2014 Mudando o Ensino, Transformando a Aprendizagem Sessão II: Aprendendo a Avaliar

2 Visão geral Sessão I: Sessão I: Princípios de Design e Resultados de Aprendizagem Desafios Globais e Nacionais (Apresentação Interativa) Ensinar para Aprender: um Quadro (Apresentação Interativa) Construindo Resultados de Aprendizagem (Atividade) Sessão II: Sessão II: Aprendendo a Avaliar Avaliando a Aprendizagem do aluno (Discussão) Dimensões da Avaliação (Apresentação Interativa/Atividade) Alinhando a Avaliação (Atividade)

3 “A forma mais rápida de mudar a aprendizagem do aluno é mudando o sistema de avaliação.” -- Elton & Laurillard, 1979, p. 10 AGORA LEMBREM- SE DESTA FÓRMULA! CAIRÁ NA PROVA.

4 AVALIAÇÃO Questão em Grupo: Por que nós avaliamos os estudantes? Compartilhe com a mesa

5 Propósito da Avaliação Sumativa Para aprovar ou reprovar um estudante Para dar nota ou rankear um aluno Para habilitar para continuar Para selecionar para cursos futuros Para habilitar para a prática Para predizer sucesso em futuros cursos Para predizer sucesso no emprego Para seleção para emprego futuro

6 Propósito da Avaliação Formativa Para fornecer feedback aos estudantes, a fim de melhorar sua aprendizagem Para motivar estudantes Para diagnosticar os pontos fortes e fracos dos estudantes Para ajudar os estudantes a desenvolver suas habilidades de auto-avaliação Para fornecer um perfil do que o aluno aprendeu

7 Propósito da Avaliação Diagnóstica Para fornecer feedback aos professores Para melhorar o ensino Para diagnosticar os pontos fortes e fracos de um curso Para fazer o curso parecer respeitável e digno de crédito perante outras instituições e empregadores

8 Dimensões da Avaliação

9 FormativaSumativa Confiabilidade Razão em que os resultados do método de avaliação podem ser confiáveis Validade Razão em que os métodos de avaliação refletem a aprendizagem dos alunos e as metas de aprendizagem do curso Essencialmente projetada para resumir o feito de alguém Essencialmente projetada para auxiliar o processo de aprendizagem Praticidade Referenciada em Critério Referenciada pela Norma Baseada na auto-reflexão da aprendizagem alcançada no curso Auto-Referenciada Baseada nos conhecimentos e habilidades adquiridas no curso Baseada na comparação com outros do grupo Referenciada por Pares Baseada na avaliação pelos pares da aprendizagem alcançada no curso

10 Dimensões da Avaliação FormativaSumativa Confiabilidade Razão em que os resultados do método de avaliação podem ser confiáveis Validade Razão em que os métodos de avaliação refletem a aprendizagem dos alunos e as metas de aprendizagem do curso Essencialmente projetada para resumir o feito de alguém Essencialmente projetada para auxiliar o processo de aprendizagem Praticidade Referenciada em Critério Referenciada pela Norma Baseada na auto-reflexão da aprendizagem alcançada no curso Auto-Referenciada Baseada nos conhecimentos e habilidades adquiridas no curso Baseada na comparação com outros do grupo Referenciada por Pares Baseada na avaliação pelos pares da aprendizagem alcançada no curso

11 Dimensões da Avaliação FormativaSumativa Confiabilidade Razão em que os resultados do método de avaliação podem ser confiáveis Validade Razão em que os métodos de avaliação refletem a aprendizagem dos alunos e as metas de aprendizagem do curso Essencialmente projetada para resumir o feito de alguém Essencialmente projetada para auxiliar o processo de aprendizagem Praticidade Referenciada em Critério Referenciada pela Norma Baseada na auto-reflexão da aprendizagem alcançada no curso Auto-Referenciada Baseada nos conhecimentos e habilidades adquiridas no curso Baseada na comparação com outros do grupo Referenciada por Pares Baseada na avaliação pelos pares da aprendizagem alcançada no curso

12 Dimensões da Avaliação FormativaSumativa Confiabilidade Razão em que os resultados do método de avaliação podem ser confiáveis Validade Razão em que os métodos de avaliação refletem a aprendizagem dos alunos e as metas de aprendizagem do curso Essencialmente projetada para resumir o feito de alguém Essencialmente projetada para auxiliar o processo de aprendizagem Praticidade Referenciada em Critério Referenciada pela Norma Baseada na auto-reflexão da aprendizagem alcançada no curso Auto-Referenciada Baseada nos conhecimentos e habilidades adquiridas no curso Baseada na comparação com outros do grupo Referenciada por Pares Baseada na avaliação pelos pares da aprendizagem alcançada no curso

13 Dimensões da Avaliação FormativaSumativa Confiabilidade Razão em que os resultados do método de avaliação podem ser confiáveis Validade Razão em que os métodos de avaliação refletem a aprendizagem dos alunos e as metas de aprendizagem do curso Essencialmente projetada para resumir o feito de alguém Essencialmente projetada para auxiliar o processo de aprendizagem Praticidade Referenciada em Critério Referenciada pela Norma Baseada na auto-reflexão da aprendizagem alcançada no curso Auto-Referenciada Baseada nos conhecimentos e habilidades adquiridas no curso Baseada na comparação com outros do grupo Referenciada por Pares Baseada na avaliação pelos pares da aprendizagem alcançada no curso

14 Dimensões da Avaliação FormativaSumativa Confiabilidade Razão em que os resultados do método de avaliação podem ser confiáveis Validade Razão em que os métodos de avaliação refletem a aprendizagem dos alunos e as metas de aprendizagem do curso Essencialmente projetada para resumir o feito de alguém Essencialmente projetada para auxiliar o processo de aprendizagem Praticidade Referenciada em Critério Referenciada pela Norma Baseada na auto-reflexão da aprendizagem alcançada no curso Auto-Referenciada Baseada nos conhecimentos e habilidades adquiridas no curso Baseada na comparação com outros do grupo Referenciada por Pares Baseada na avaliação pelos pares da aprendizagem alcançada no curso CENTRADA NO ENSINO CENTRADA NA APRENDIZAGEM

15 Atividade: Métodos Avaliativos Escolha um método avaliativo que você atualmente use e o mapeie em relação 1) a resultados de aprendizagem; 2) essas dimensões. Fazer individualmente. Após, compartilhar com a mesa. Então, compartilhar com o grupo todo.

16 Métodos de Avaliação (Alguns Exemplos) Exame Final (escrito) Tarefa Projetos Relatórios Apresentações Grupos de discussão e observação Horas de Trabalho Exame Final (múltipla escolha) Questionários Chamada oral, prova surpresa. Desempenho na carreira Testes padronizados Sistema de respostas pessoais. Higher validity – less reliable Higher reliability – less validity

17 Alinhando a Avaliação Usando Categorias (Fazer e validar avaliações mais confiáveis) Breve Discussão

18 Alinhando Avaliações tendo em vista resultados na Aprendizagem (Ex: Biologia) Objetivo do Curso Resultados de Aprendizagem Avaliação Formativa Avaliação Somativa O que os alunos aprenderão? Se eles aprenderam isso, o que os alunos sabem e serão capazes de fazer? O que os alunos farão para aprender? Como os estudantes demonstram que sabem ou que são capazes de fazer isso? Os alunos deverão compreender sobre a transferência de informação do DNA para a proteína. Estudantes serão capazes de prever mudanças em sequências de aminoácidos, causadas por mutações. Em grupos, aos estudantes é dada a sequência de DNA correspondente à de aminoácidos. Os alunos identificam, fazem a leitura de frame e predizem as mudanças de aminoácidos, devido a mutações na sequência. No exame, na prova, estudantes vão prever de novo a sequência de aminoácidos que resulta de uma mutação em determinada sequência. Knight, (2011)

19 Um Típico Formato de Modelo Prova do aluno (1)Fraco Pouca ou nenhuma evidência de resultado (2) Básico Alguma evidência de resultado (3) Proficiente Detalhada evidência de resultado (4) Forte Resultado altamente criativo. Critério do professor Critério 1 - Argumento Critério 2 – Uso de leituras, integração de literatura. Critério 3 – Qualidade da escrita. Adapted from Beauchamp et al 1996

20 Avaliação Escrita: Modelo (1)Fraco Pouca ou nenhuma evidência de resultado (2) Básico Alguma evidência de resultado (3) Proficiente Detalhada evidência de resultado (4) Forte Resultado altamente criativo. Critério 1 Argumento Incoerente, pouco lógico, opinião pessoal. Estrutura básica com algum uso de evidências. Forte estrutura lógica, com uso de provas, evidências em todo o texto. Forte estrutura lógica, com uso de provas, evidências; discussão sofisticada. Critério 2 Uso de leituras, integração de literatura. Não usou minimamente as fontes Fontes usadas, mas não integradas às ideias escritas. Fontes muito bem integradas às ideias do autor. Fontes bem integradas e de modo crítico Critério 3 Qualidade da Escrita Organização deficiente, problemas gramaticais. Esforço para organizar ideias; problemas gramaticais Boa organização; poucos problemas de gramática. Fluxo bem desenvolvido, elegante, sem erros. Adapted from Beauchamp et al 1996

21 Benefício das categorias  Usado para classificar (Somativa) ou comentar (Formativa)  Esclarece critérios (Critério Ref.)  Garante que a classificação está alinhada com os resultados da aprendizagem. (Validação)  Permite compartilhar com vários professores situações niveladoras. (Recuperação)  Pode ser usado com estudantes (Self Ref.) e pares (Peer Ref.)

22 Atividade Em pequenos grupos, identificar e criar (desenhar) uma categoria, um modelo de avaliação para um específico resutado de aprendizagem. Grupo amplo de discussão.

23 Alinhando avaliações Usando questões de múltipla escolha (MSQ) (Fazendo avaliações mais válidas e confiáveis.) Quick Share

24 MCQs como instrução formativa Responder and fornecer sua análise racional: 1. Qual das opções a seguir apresenta características intrínsecas ao marcapasso ? a) Medulla c) Sinoatrial node b) Pons d) Atrioventricular node Usar a análise racional (pequena explicação aberta para escolha) para fazer os estudatnes demonstrarem seu conhecimento – ser classificado ou não.. Stanford Learning Lab: Nash & Shaeffer, 1999; Schaeffer et al., 1999

25 Análise racional: SA node é o marcapasso normal para todo coração. AV node também tem potencial marcapasso, mas é ofuscado pelo SA node. Medula tem potencial como marcapasso para o ritmo respiratório também. Pons ajuda a refinar o ritmo, mas não tem potencial para marcapasso. Análise racional insatisfatória: Resposta incompleta: Normalmente, o SA node é responsável por gerar a velocidade do coração e ele tem a havilidade de fazê-lo por causa de seu próprio e intrínseco ritmo. O AV node também tem um ritmo intrínseco, mas ele está “ofuscado” pelo do SA node. Fornecendo a definição do livro: O nó sinoatrial é o marcapasso do coração dos mamíferos. Fornecendo informações irrelevantes: Receptores de estiramento estão localizados no arco aórtico e seio carotídeo. Eles têm a habilidade de responder a mudanças de pressão. Reafirmação da pergunta: O nó SA, AV e a medula, todos possuem características intrínsecas ao marcapasso e podem ser usados como tal. Blindar a resposta com o recurso da autoridade: Esta resposta é correta porque o Professor Heller disse que era, e o Professor Heller é legal.

26 Atividade Em pequenos grupos, compartilhem outros caminhos em que a validade do MCQs pode ser melhorada. Compartilhar com grupos maiores.

27 Teste que envolve nível baixo de conhecimento Perda puramente econômica é recuperável em ação de responsabilidade do produto. a)Verdadeiro. b)Falso. Recuperação puramente econômica será barrada em qual das seguintes causas de ação? a)Negligência b)Fraude c)Difamação d)Responsabilidade do produto. “Qual é a regra?” Sem contexto, não permitindo a interpretação e análise. from Case & Donohue, 2008

28 Revisão: Alto nível de entendimento Um restaurante contratou um exterminador para eliminar baratas do porão, sob o restaurante. Por volta da meia-noite, o exterminador aplicou ao chão e paredes do porão um eficiente pesticida que ele havia comprado do fabricante. Um gás tóxico liberado pelo pesticida penetrou na cozinha do restaurante e não se dispersou no dia seguinte. Como resultado, o restaurante foi obrigado a fechar naquele dia. restaurante moveu uma ação de responsabiidade civil, por lucros cessantes, com base na responsabilidade sobre o produto, contra o fabricante do pesticida. O restaurante ganhará a ação? a)Não, porque nesta ação, perdas puramente econômicas não são recuperáveis. * b)No, porque o exterminador foi a causa imediata dos danos ao restaurante. c)Sim, porque a fabricação de pesticidas é uma atividade extraordinariamente perigosa. d)Sim, porque o pesticida estava sendo usado como o previsto. from Case & Donohue, 2008

29 3 ideias para levar com você Avaliar é ensinar. Estudantes precisam ser envolvidos. A avaliação dá a você, o que você pede.

30 QUESTÕES FINAIS?

31 References Entwistle, N. & Tait, H. (1990) ‘Approaches to learning, evaluations of teaching and preferences for contrasting academic environments’, Higher Education, 19 (2): 169–94. Knight, J. (2011) University of Colorado. NAS/HHMI Summer Institute on Undergraduate Biology Education, Madison, WI. Light, G, & Micari, M. (In press) Making Scientists: Six Principles for Effective College Teaching, Harvard University Press. Beauchamp, McConaghy, Parsons & Sanford. (1996) Teaching From the Outside In. Duval: 1996, 37.