A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

1 TEORIA DA RESPOSTA AO ITEM: Conceitos, Modelos e Aplicações Dalton F. Andrade Departamento de Informática e Estatística – UFSC.

Apresentações semelhantes


Apresentação em tema: "1 TEORIA DA RESPOSTA AO ITEM: Conceitos, Modelos e Aplicações Dalton F. Andrade Departamento de Informática e Estatística – UFSC."— Transcrição da apresentação:

1 1 TEORIA DA RESPOSTA AO ITEM: Conceitos, Modelos e Aplicações Dalton F. Andrade Departamento de Informática e Estatística – UFSC IME/USP – verão 2005

2 2 Conteúdo Introdução Modelos matemáticos Estimação: um único grupo (população) Equalização Estimação: dois ou mais grupos A escala de proficiência: construção e interpretação Modelos para dados longitudinais Modelos Multidimensionais Modelos Multivariados

3 3 Conteúdo DIF e DRIFT Recursos computacionais: em todos os tópicos Principais aplicações no Brasil em Educação Aplicações em outras áreas Qualidade de vida Serviços Gestão pela qualidade etc

4 4 Referências iniciais Lord, F.M., Norvick, M.R. (1968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley Lord, F.M. (1980). Applications of Item Response Theory to Practical Testing Problems. Hillsdale: Lawrence Erlbaum Associates Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991). Fundamentals of Item Response Theory. Newburry Park: Sage Publications. Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria da Resposta ao Item: Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.

5 5 Introdução A Teoria da Resposta ao Item (TRI) é um conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observados) de um indivíduo com a probabilidade deste dar uma certa resposta a um item Traço latente: habilidade/proficiência em Matemática, grau de satisfação do consumidor, grau de maturidade de uma empresa em Gestão pela Qualidade, etc. Item: questão (prova), pergunta (questionário sobre qualidade de vida),...

6 6 A partir de um conjunto de itens (questionário, prova,...) deseja-se : estimar os parâmetros dos itens (calibração) estimar a habilidade, proficiência, grau de satisfação, grau de maturidade,... Exemplos: prova de matemática para alunos de uma determinada série, questionário sobre os recursos físicos e pedagógicos da escola (Censo Escolar do INEP/MEC), questionário sobre qualidade de vida de pacientes que foram submetidos a determinado tratamento médico,..)

7 7 Modelos Dependem do tipo de item Item de múltipla escolha (corrigido como certo/errado) Logístico (unidimensional) com 1, 2 ou 3 parâmetros ( p/ itens corrigidos como certo/errado)

8 8 Modelo Logístico de 3 parâmetros a: discriminação ou inclinação do item b: dificuldade (medido na mesma métrica do traço latente) c: acerto casual (probabilidade)

9 9

10 10 Modelo Nominal (considera todas as categorias de resposta)

11 11

12 12 Modelo de Resposta Gradual (categorias ordinais)

13 13

14 14 Modelo de Crédito Parcial: Modelo de Resposta Gradual sem o parâmetro de discriminação a Modelo de Escala Gradual: Modelo de Resposta Gradual com b is = b i – d s

15 15 Aplicações em Avaliação Educacional SAEB: Sistema Nacional de Avaliação da Educação Básica - anos: 95/97/99/2001/2003(outubro) - séries: 4a. e 8a. do EF e 3a. do EM - disciplinas: Matemática, Português, Ciências, Física, Química, Biologia, História, Geografia - itens de múltipla escolha (95: itens 0,1,2) - um grande número de itens para cobrir a grade curricular - provas diferentes para uma mesma série/disciplina (BIB) - aluno faz somente uma das provas de uma das disciplinas -

16 16 Aplicações em Avaliação Educacional PISA – Programme for International Student Assessment (Programa Internacional de Avaliação de Alunos) - anos: 2000(Leitura), 2003(Matemática), 2006(Ciências) - alunos com 15 anos (independente da série) - itens de múltipla escolha e itens abertos (corrigidos 0,1,2) - modelo de 1 parâmetro (somente parâmetro b: dificuldade) - esquema BIB - 32 países em

17 17 Equalização Kolen, M.J., Brennan, R.L. (1995). Test Equating – Methods and Practices. New York: Springer. Resultados de diferentes provas em uma mesma escala Exemplo: SAEB (entre séries e anos) Como obter resultados comparáveis? Itens comuns entre séries e anos

18 18 Equalização Calibração em separado: equalização pelo princípio da invariância Exemplo: dados do SARESP

19 19 Equalização

20 20 Bock, R.D., Zimowski, M.F. (1997). Multiple group IRT. In Handbook of Modern Item Response Theory. W.J. van der Linden and R.K. Hambleton Eds. New York: Springer-Verlag Andrade, D.F. (2001). Desempenhos de grupos de alunos por intermédio da teoria da resposta ao item. Estudos em Avaliação Educacional, no. 23, Questões: - Número e distribuição de itens comuns - Como ¨posicionar¨ novos grupos em uma escala já construída - Avaliações Estaduais e outras: itens calibrados + itens novos Calibração simultânea: Modelo dos Grupos Múltiplos

21 21 Régua (métrica) criada a partir dos resultados do SAEB - Média 250 (rendimento médio dos alunos da 8a. Série em 1997) - Desvio padrão resultados/BRASIL.pdfhttp://www.inep.gov.br/download/saeb/2004/ Interpretação pedagógica da escala - Beaton, A.E., Allen, N.L. (1992). Interpreting scales through scale anchoring. Journal of Educational Statistics, 17, Valle, R.C. (2001). Construção e interpretação de escalas de conhecimento: um estudo de caso. Estudos em Avaliação Educacional, no. 23, Escala Nacional de Proficiência – INEP/MEC

22 22 Escala Nacional de Proficiência – INEP/MEC

23 23 Escala Nacional de Proficiência – INEP/MEC

24 24 Dados Longitudinais PDE/FUNDESCOLA -Alunos de 4a. em 1999 acompanhados até a 8a. s em Novos alunos podem entrar no estudo -Dados Incompletos - Duas disciplinas (Mat. e Port.): Bivariado

25 25 Dados Longitudinais International Project on Mathematical Attainment - IPMA (Profa. Ednéia Consolin Poli – UEL) G1- 1ª. G1- 2ª. G2- 1ª. G1- 3ª. G2- 2ª. G1- 4ª. G2- 3ª. G2- 4ª. Professores Alunos Escolas No. de itens Fatores Assoc sim-

26 26 Dados Longitudinais Questões: Modelos: Longitudinal, Multivariado Programas computacionais Referência: Tavares, H. R.(2001). Modelos da Teoria da Resposta ao Item para Dados Longitudinais. Tese de Doutorado. IME/USP. Andrade, D.F. and Tavares, H.R. (2004). Item response theory for longitudinal data: population parameter estimation. (aceito para publicação em Journal of Multivariate Analysis). Tavares, H.R. and Andrade, D.F. (2004). Item response theory for longitudinal data: item and population parameter estimation. (aceito para publicação em TEST).

27 27 ENEM- Exame Nacional do Ensino Médio Prova multidisciplinar Itens multidimensionais Questões: Estudar a dimensão: análise fatorial Unidimensional: eliminar itens multidimensionais Multidimensional: Propor modelos Interpretar as dimensões /criar escalas Desenvolver programas computacionais

28 28 Aplicações em outras áreas Gestão pela Qualidade - Alexandre, J.W.C., Andrade,D.F., Vasconcelos,A.P. e Araújo, A.M.S.(2002). Uma proposta de análise de um construto para a medição dos fatores críticos da gestão pela qualidade através da teoria da resposta ao item. Gestão & Produção, v.9, n.2, p Serviços/Marketing - Costa, M.B.F. (2001). Técnica derivada da teoria da resposta ao item aplicada ao setor de serviços. Dissertação de Mestrado – PPGMUE/UFPR - Bortolotti, S.L.V. (2003). Aplicação de um modelo de desdobramento da teoria da resposta ao item – TRI. Dissertação de Mestrado. EPS/UFSC - Bayley, S. (2001). Measuring customer satisfaction. Evaluation Journal of Australasia, v. 1, no. 1, 8-16.

29 29 Aplicações em outras áreas Médica - Mesbah, M., Cole, B.F., Lee, T.M. Eds. (2002). Statistical Methods for Quality of Life Studies. Dordrecht: Kluwer Academic Publishers - DeRoos, Y., Allen-Meares, P. (1998). Application of the Rasch Analysis: exploring differences in depression between african- american and white children. Journal of Social Service Research, v. 23, no. ¾, Biologia/Genética - Tavares, H.R., Andrade, D.F. and Pereira, C.A.B. (2004). Detection of determinant genes and diagnostic via item response theory. (aceito para publicação em Genetics and Molecular Biology).


Carregar ppt "1 TEORIA DA RESPOSTA AO ITEM: Conceitos, Modelos e Aplicações Dalton F. Andrade Departamento de Informática e Estatística – UFSC."

Apresentações semelhantes


Anúncios Google