Teoria Clássica e Teoria da Resposta ao Item: introdução Silvana Ligia Vincenzi Bortolotti Slides adaptados de Prof. Phd. Dalton F. Andrade (dandrade@inf.ufsc.br) Departamento de Informática e Estatística – UFSC

Introdução Teoria Clássica de Medidas Escores brutos ou padronizados (total de pontos do teste) Os Resultados do teste dependem do conjunto de itens que compõem o instrumento de medida Não permite a comparação entre indivíduos que não foram submetidos “aos mesmos instrumentos de medida”

Modelo

Utiliza: estatísticas descritivas; Coeficientes de correlação e proporções, para medir a qualidade dos itens, e quase nenhuma estatística inferencial; Fórmula de Sperman-Brow e a fórmula–20 de Kuder-Richardson, ambas utilizadas para calcular a fidedignidade de um teste (fidedignidade refere-se à estabilidade dos seus resultados, se um teste é aplicado inúmeras vezes ao mesmo grupo de indivíduos espera-se que os resultados sejam os mesmos).

Limitações: todas as suas medidas são dependentes das características dos examinados que se submetem ao teste ou ao questionário; a dificuldade do item (proporção de indivíduos que acertam ao item) e a discriminação do item, que são usados para caracterizar a qualidade dos itens de um teste dependem do grupo de indivíduos do qual elas foram obtidas e, portanto, tem seu uso restringido se os examinados no pré-teste não são representativos da população. Os escores, o observado e o verdadeiro aumentam e diminuem dependendo da dificuldade do teste; Testes diferentes, com dificuldades e discriminação diferentes, produzem estimativas das habilidades diferentes.

Buscaram outras teorias alternativas para obter um modelo que atendesse aos seguintes quesitos: estatísticas de itens não dependentes do grupo; escores que não dependessem da dificuldade do teste para descrever as habilidades dos indivíduos; modelos que não requeiram testes estritamente paralelos para avaliar a confiança ou fidedignidade dos indivíduos; modelos que expressem antes o nível do item do que o nível do teste.

Esses e outros anseios foram resolvidos por uma outra estrutura de teoria de medida, conhecida como Teoria de Resposta ao Item, TRI

Introdução TRI A Teoria da Resposta ao Item (TRI) é um conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observados) de um indivíduo com a probabilidade deste dar uma certa resposta a um item Traço latente: habilidade/proficiência em Matemática, grau de satisfação do consumidor, grau de maturidade de uma empresa em Gestão pela Qualidade, etc. Item: questão (prova), pergunta (questionário sobre qualidade de vida),...

A partir de um conjunto de itens (questionário, prova, ...) deseja-se : estimar os parâmetros dos itens (calibração) “estimar” a habilidade, proficiência, grau de satisfação, grau de maturidade, ... Exemplos: prova de matemática para alunos de uma determinada série, questionário sobre os recursos físicos e pedagógicos da escola (Censo Escolar do INEP/MEC), questionário sobre qualidade de vida de pacientes que foram submetidos a determinado tratamento médico, ..)

Modelos Depende do tipo de item Item de múltipla escolha (corrigido como certo/errado) Logístico (unidimensional) com 1, 2 ou 3 parâmetros ( p/ itens corrigidos como certo/errado)

Modelo Logístico de 3 parâmetros a: discriminação ou inclinação do item b: dificuldade (medido na mesma métrica do traço latente) c: acerto casual (probabilidade)

Modelo Nominal (considera todas as categorias de resposta)

1.Exemplo: Considere o seguinte item, extraído da Costa (2001) “O cardápio é bem organizado e de fácil compreensão”, com resposta dicotômica (concordo e discordo).

De acordo com este modelo observa-se de que consumidores com maior grau de satisfação pelo serviço prestado correlação ao cardápio têm maior probabilidade de concordar com o item que está sendo observado, nota-se que esta relação não é linear.

2. Exemplo: “A pena de morte é errada, porém é necessária em nossa civilização imperfeita” (com as seguintes categorias de repostas: fortemente discordo, discordo, concordo e fortemente concordo).

Neste item as pessoas que tem sentimentos fortes contra pena de morte, escolheriam a categoria de resposta fortemente discordo. Pessoas que tem sentimentos de meio nível tenderiam a concordar com este item, entretanto pessoas que apóiam fortemente este item tenderiam a discordar fortemente porque eles não concordam com parte do item “pena de morte é errada”

Observe que neste item os níveis altos de concordância ou discordância não implicam em categorias de respostas mais altos, como ocorre com os modelos cumulativos. Neste caso o modelo cumulativo não seria adequado para a estimação do traço latente. O modelo de desdobramento seria o mais indicado

Todavia no item: “A pena de morte é necessária em nossa sociedade”... O modelo cumulativo seria mais apropriado, pois a probabilidade de concordância aumentaria com o aumento do apoio do respondente quanto a pena de morte.

Referências iniciais Gulliksen, H. (1950). Theory of Mental Tests. New York: John Wiley and Sons. Lord, F.M., Norvick, M.R. (1968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley. Vianna, H.M. (1987). Testes em Educação. São Paulo: Ibrasa.

Referências Lord, F.M., Norvick, M.R. (1968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley Lord, F.M. (1980). Applications of Item Response Theory to Practical Testing Problems. Hillsdale: Lawrence Erlbaum Associates Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991). Fundamentals of Item Response Theory. Newburry Park: Sage Publications. Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria da Resposta ao Item: Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.