TEORIA DA RESPOSTA AO ITEM: Conceitos, Modelos e Aplicações

Apresentação em tema: "TEORIA DA RESPOSTA AO ITEM: Conceitos, Modelos e Aplicações"— Transcrição da apresentação:

1 TEORIA DA RESPOSTA AO ITEM: Conceitos, Modelos e Aplicações
Dalton F. Andrade Departamento de Informática e Estatística – UFSC IME/USP – verão 2005

2 Conteúdo Introdução Modelos matemáticos
Estimação: um único grupo (população) Equalização Estimação: dois ou mais grupos A escala de proficiência: construção e interpretação Modelos para dados longitudinais Modelos Multidimensionais Modelos Multivariados

3 Conteúdo DIF e DRIFT Recursos computacionais: em todos os tópicos
Principais aplicações no Brasil em Educação Aplicações em outras áreas Qualidade de vida Serviços Gestão pela qualidade etc

4 Referências iniciais Lord, F.M., Norvick, M.R. (1968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley Lord, F.M. (1980). Applications of Item Response Theory to Practical Testing Problems. Hillsdale: Lawrence Erlbaum Associates Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991). Fundamentals of Item Response Theory. Newburry Park: Sage Publications. Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria da Resposta ao Item: Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.

5 Introdução A Teoria da Resposta ao Item (TRI) é um conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observados) de um indivíduo com a probabilidade deste dar uma certa resposta a um item Traço latente: habilidade/proficiência em Matemática, grau de satisfação do consumidor, grau de maturidade de uma empresa em Gestão pela Qualidade, etc. Item: questão (prova), pergunta (questionário sobre qualidade de vida), ...

6 A partir de um conjunto de itens (questionário, prova, ...) deseja-se :
estimar os parâmetros dos itens (calibração) “estimar” a habilidade, proficiência, grau de satisfação, grau de maturidade, ... Exemplos: prova de matemática para alunos de uma determinada série, questionário sobre os recursos físicos e pedagógicos da escola (Censo Escolar do INEP/MEC), questionário sobre qualidade de vida de pacientes que foram submetidos a determinado tratamento médico, ..)

7 Modelos Dependem do tipo de item
Item de múltipla escolha (corrigido como certo/errado) Logístico (unidimensional) com 1, 2 ou 3 parâmetros ( p/ itens corrigidos como certo/errado)

8 Modelo Logístico de 3 parâmetros
a: discriminação ou inclinação do item b: dificuldade (medido na mesma métrica do traço latente) c: acerto casual (probabilidade)

9

10 Modelo Nominal (considera todas as categorias de resposta)

11

12 Modelo de Resposta Gradual (categorias ordinais)

13

14 Modelo de Crédito Parcial: Modelo de Resposta Gradual sem o parâmetro de discriminação a
Modelo de Escala Gradual: Modelo de Resposta Gradual com bis = bi – ds

15 Aplicações em Avaliação Educacional
SAEB: Sistema Nacional de Avaliação da Educação Básica - anos: 95/97/99/2001/2003(outubro) - séries: 4a. e 8a. do EF e 3a. do EM - disciplinas: Matemática, Português, Ciências, Física, Química, Biologia, História, Geografia - itens de múltipla escolha (95: itens 0,1,2) - um grande número de itens para cobrir a grade curricular - provas diferentes para uma mesma série/disciplina (BIB) - aluno faz somente uma das provas de uma das disciplinas -

16 Aplicações em Avaliação Educacional
PISA – Programme for International Student Assessment (Programa Internacional de Avaliação de Alunos) - anos: 2000(Leitura), 2003(Matemática), 2006(Ciências) - alunos com 15 anos (independente da série) - itens de múltipla escolha e itens abertos (corrigidos 0,1,2) - modelo de 1 parâmetro (somente parâmetro b: dificuldade) - esquema BIB - 32 países em 2000 -

17 Equalização Kolen, M.J., Brennan, R.L. (1995). Test Equating – Methods and Practices. New York: Springer. Resultados de diferentes provas em uma mesma escala Exemplo: SAEB (entre séries e anos) Como obter resultados comparáveis? Itens comuns entre séries e anos

18 Equalização Calibração em separado: equalização pelo princípio da invariância Exemplo: dados do SARESP

19 Equalização

20 - Número e distribuição de itens comuns
Calibração simultânea: Modelo dos Grupos Múltiplos Bock, R.D., Zimowski, M.F. (1997). Multiple group IRT. In Handbook of Modern Item Response Theory. W.J. van der Linden and R.K. Hambleton Eds. New York: Springer-Verlag Andrade, D.F. (2001). Desempenhos de grupos de alunos por intermédio da teoria da resposta ao item. Estudos em Avaliação Educacional, no. 23, Questões: - Número e distribuição de itens comuns - Como ¨posicionar¨ novos grupos em uma escala já construída - Avaliações Estaduais e outras: itens calibrados + itens novos

21 Escala Nacional de Proficiência – INEP/MEC
“Régua (métrica) criada a partir dos resultados do SAEB - Média 250 (rendimento médio dos alunos da 8a. Série em 1997) - Desvio padrão 50 resultados/BRASIL.pdf Interpretação pedagógica da escala Beaton, A.E., Allen, N.L. (1992). Interpreting scales through scale anchoring. Journal of Educational Statistics, 17, Valle, R.C. (2001). Construção e interpretação de escalas de conhecimento: um estudo de caso. Estudos em Avaliação Educacional, no. 23,

22 Escala Nacional de Proficiência – INEP/MEC

23 Escala Nacional de Proficiência – INEP/MEC

24 Dados Longitudinais PDE/FUNDESCOLA
Alunos de 4a. em acompanhados até a 8a. s em 2003 Novos alunos podem entrar no estudo Dados Incompletos - Duas disciplinas (Mat. e Port.): Bivariado

25 Dados Longitudinais International Project on Mathematical Attainment - IPMA (Profa. Ednéia Consolin Poli – UEL) 1999 2000 2001 2002 2003 G1- 1ª. 2ª. G2- 3ª. 4ª. Professores 22 20 18 24 16 17 Alunos 568 557 512 395 309 307 282 270 Escolas 8 6 No. de itens 40 60 80 Fatores Assoc. - sim

26 Dados Longitudinais Questões: Modelos: Longitudinal, Multivariado
Programas computacionais Referência: Tavares, H. R.(2001). Modelos da Teoria da Resposta ao Item para Dados Longitudinais. Tese de Doutorado. IME/USP. Andrade, D.F. and Tavares, H.R. (2004). Item response theory for longitudinal data: population parameter estimation. (aceito para publicação em Journal of Multivariate Analysis). Tavares, H.R. and Andrade, D.F. (2004). Item response theory for longitudinal data: item and population parameter estimation. (aceito para publicação em TEST).

27 ENEM- Exame Nacional do Ensino Médio
Prova multidisciplinar Itens multidimensionais Questões: Estudar a dimensão: análise fatorial Unidimensional: eliminar itens multidimensionais Multidimensional: Propor modelos Interpretar as dimensões/criar escalas Desenvolver programas computacionais

28 Aplicações em outras áreas
Gestão pela Qualidade Alexandre, J.W.C., Andrade,D.F., Vasconcelos,A.P. e Araújo, A.M.S.(2002). Uma proposta de análise de um construto para a medição dos fatores críticos da gestão pela qualidade através da teoria da resposta ao item. Gestão & Produção, v.9, n.2, p Serviços/Marketing - Costa, M.B.F. (2001). Técnica derivada da teoria da resposta ao item aplicada ao setor de serviços. Dissertação de Mestrado – PPGMUE/UFPR - Bortolotti, S.L.V. (2003). Aplicação de um modelo de desdobramento da teoria da resposta ao item – TRI. Dissertação de Mestrado. EPS/UFSC - Bayley, S. (2001). Measuring customer satisfaction. Evaluation Journal of Australasia, v. 1, no. 1, 8-16.

29 Aplicações em outras áreas
Médica - Mesbah, M., Cole, B.F., Lee, T.M. Eds. (2002). Statistical Methods for Quality of Life Studies. Dordrecht: Kluwer Academic Publishers - DeRoos, Y., Allen-Meares, P. (1998). Application of the Rasch Analysis: exploring differences in depression between african-american and white children. Journal of Social Service Research, v. 23, no. ¾, Biologia/Genética - Tavares, H.R., Andrade, D.F. and Pereira, C.A.B. (2004). Detection of determinant genes and diagnostic via item response theory. (aceito para publicação em Genetics and Molecular Biology).