Algumas contribuições da docimologia Jean-François MARCEL Professeur de l’Enseignement Supérieur Agricole en Sciences de l’éducation ENFA, Université de Toulouse (France)

A docimologia A docimologia é a ciência de exames Ela produziu uma certa quantidade de trabalho no intuito de melhorar : O procedimento da avaliação Os instrumentos da avaliação A notação Ela conseguiu em parte. Todavia é interessante para os professores conhecer alguns de seus avanços. J-F Marcel, Brésil, mai 2009

As 5 qualidades de uma avaliação A partir das 5 « qualidades » da avaliação (do jeito que foram reparado pela docimologia) vejamos que é dejesavel se fazer certas perguntas quando nós elaboramos e colocamos em prática uma avaliação J-F Marcel, Brésil, mai 2009

1 - A pertinência da avaliação É o grau de inscrição para a prova na linha dos objetivos visados. Diz respeito a consistência da transposição do objetivo aos indicadores. Questão : Será que o instrumento que eu construi se refere realmente as competências que eu queria avaliar? J-F Marcel, Brésil, mai 2009

2 – A validade da avaliação É ou grau de adequação entre aquilo que a prova pretende medir e aquilo que ela mede. Diz resreito a consistência do procedimento inverso em relação ao procedimento de transposição (dos indicadores ao objetivo) Questão : Será que os indicadores (que me servem de apoio para elaborar minha prova de avaliação) cobrem o critério e o objetivo visado? J-F Marcel, Brésil, mai 2009

3 - A confiabilidade da avaliação É o grau de confiança que nós podemos dar aos resultados observados. Questão : Se eu reitero minha avaliação em vários momentos e em circunstâncias diferentes, será que meus alunos conseguirão os mesmos resultados? J-F Marcel, Brésil, mai 2009

4 – A objetividade da avaliação As conclusões da avaliação não foram influenciadas pelas preferências pessoais de quem avalia. Ele conseguiu parcialmente a <<controlar>> sua subjetividade. Questão : Será que eu fui capaz de distânciar o suficiente minhas opniões do aluno para avaliá-lo de forma justa? J-F Marcel, Brésil, mai 2009

5 – A possibilidade de generalização da avaliação Diz respeito ao fato: De estender uma conclusão pontual (a partir de uma prova particular) A um nível mais amplo de generalidade (boletim, orientação, aprovação a um exame, etc.) Questão : A elaboração da prova e minha anotação são bastante confiáveis para me permitir tomar esta decisão? J-F Marcel, Brésil, mai 2009

Docimologia e anotação A docimologia se prendeu muito a mostrar os limites do fato de recorrer à nota. Vejam alguns exemplos (para a maioria, talvez você tenha um conhecimento implícito, por ser antigos alunos) J-F Marcel, Brésil, mai 2009

A variabilidade da avaliação Independente da disciplina: Um mesmo lote de cópias intrega os vários avaliadores Vai dar para cada cópia, Uma vasta gama de notas e diferenças muito consideráveis. É um pouco menos verdade: Para provas do tipo QCM Todavia elas só medem objetivos de baixo nível cognitivo J-F Marcel, Brésil, mai 2009

O valor do ponto Na escala de 0 à 20, todos os pontos não tem o mesmo « valor » : Pouco valor abaixo de 5 Valor importante acima de 15 Valor muito particular do 10 (« constante macabra ») Portanto: A média é um cálculo estatisticamente inadimissível (variáveis ordinais não variáveis de intervalos), Sobretudo entre disciplinas diferentes. J-F Marcel, Brésil, mai 2009

Os ajustes « automáticos » Muitos estudos revelam que os resultados de uma prova (não importa a prova) se dividem sistematicamente segundo a curva de Gauss (curva em forma de sino): Muito pouco de notas muito ruim Muito pouco de notas muito boas Muitas notas « médias » (em torno de 10). Vejamos assim uma função « implícita » da prova: Discriminar os resultados dos alunos Para discriminar os alunos Não importa os « atendidos » J-F Marcel, Brésil, mai 2009

Os efeitos danosos A mesma cópia : Na hora de corrigir : Foi oferecida à dois grupos selecionados de avaliadores. Trocando somente o nome do aluno suposto: Marie-Amélie e Zohra As diferencias foram muito significativas … à favor da primeira. Na hora de corrigir : Pense nos danos Que você causa de forma implícita Nos alunos que convive o ano todo J-F Marcel, Brésil, mai 2009

O efeito de contaminação Variáveis chamadas « choque » Produzem um efeito importante na avaliação de uma cópia Fazendo a avaliação « escalar» : uma boa idéia, uma descoberta original (sobretudo no início e no final da cópia) Fazendo a avaliação cair : uma aberração, uma grande besteira (sobretudo no início e no final da cópia) Essas variáveis « atropelam » o gabarito J-F Marcel, Brésil, mai 2009

O efeito da « mancha » É originário das variáveis de « transbordagem» A ortografia A apresentação da cópia A partir de um certo limite (muito subjetivo), essas variáveis vão ceder o lugar à uma « penalização » Pontos a menos para erro de ortografia Pontos a menos para razuras ou manchas Entretanto, essas penalizações são ilegítimas : Elas saem do gabarito Elas saem das expectativas da prova J-F Marcel, Brésil, mai 2009

O efeito « ordem de correção » A variável chamada de « contraste » com a cópia anterior: A cópia que segue uma muito boa cópia é avaliada mais rigorosamente A cópia que segue uma cópia muito fraca é avaliada mais generosamente Induz estratégias de restituição das cópias muito usadas para os bons alunos J-F Marcel, Brésil, mai 2009

O efeito « acostumar» Em um lote de cópias, o limite de exigência evolue (não importa o gabarito) As primeiras cópias são corrigidas mais rigorosamente Um « ajuste » ocorre no final de um certo número de cópias: elaboração para o professor de formas de « rotinas » de avaliação (em função do sujeito) É mais prudente, no final da correção, rever as primeiras cópias J-F Marcel, Brésil, mai 2009

O efeito de « tendência central » : Em caso de incerteza do avaliador (principalmente nos exames) : Por medo de sub-avaliar ou por medo de sobre avaliar ele se refugia numa nota em torno de 10 Assim a « nota central» : Desempenha um papél de variável refúgio Induz o efeito « Curva de Gauss » J-F Marcel, Brésil, mai 2009

O efeito de « contorno » Dos usos de avaliador: Nas provas com critério Porém nas provas com gabarito também Atestem estratégias de contorno: Eles començam para atribuir a nota final (a partir de 20) Eles « repartem » em seguida os pontos em função dos critérios ou do gabarito J-F Marcel, Brésil, mai 2009

Em conclusão A docimologia revelou: Portanto, quando eu corrijo : A existência de numerosas « armadilhas» e « desvios » da notação Que a avaliação não poderia jamais « expulsar » totalmente a subjetividade do avaliador Portanto, quando eu corrijo : Eu me esforço para racionalizar o procedimento (com um certo número de balisas : gabaritos, elementos de repostas esperadas, etc.) Eu sei que terei mesmo assim que decidir de forma subjetiva em parte Eu assumo conscientemente essa falha « dar um jeito » pedagógico. J-F Marcel, Brésil, mai 2009