Métodos Estatísticos para Avaliação Educacional e Medida Dalton F Andrade (INE/UFSC - dandrade@inf.ufsc.br) 39a. Regional da ABE – Belém, 06/12/05

Objetivos Apresentar alguns métodos estatísticos utilizados em avaliações educacionais e medida Planejamento de Experimento Amostragem Modelos Lineares Hierárquicos (ou Multiníveis) – MLH Teoria da Resposta ao Item – TRI

SAEB – Avaliação da Educação Básica Avaliar o sistema de ensino Anos impares Séries terminais (4a./8a. EF + 3a. EM) Várias disciplinas (Português, Matemática, ...) Amostra de alunos Muitos itens (questões) Medir a proficiência do aluno Estudo de fatores associados

Blocos Incompletos Balanceados - BIB Avaliar uma grande parte de um currículo de uma determinada disciplina e série: necessário apresentar um grande número de itens aos alunos, maior do que eles poderiam responder em 2 horas de prova. Por exemplo, 169 itens de matemática para a 3a. série do EM: 13 conjuntos de 13 itens cada Provas: Cadernos com 3 conjuntos cada 26 Provas, com conjuntos (itens) comuns Itens de outras séries e anos

Blocos Incompletos Balanceados - BIB

Amostragem complexa Selecionar uma amostra de alunos satisfazendo certos critérios (região, dependência administrativa, período, ...) Unidade de interesse: aluno Não existe lista com todos os alunos Usar lista de escolas para selecionar escolas (Censo Escolar do INEP/MEC): ano anterior

Amostragem complexa Usar lista de alunos, das escolas selecionadas, para selecionar alunos Amostragem por conglomerados em dois ou três estágios Estratificação Heleno Bolfarine e Wilton O. Bussab (2005). Elementos de Amostragem. São Paulo: Edgard Blücher (ABE-Projeto Fisher)

Modelos Lineares Hierárquicos ou Multiníveis Estudar como fatores de aluno, professor e escola estão associados com o desempenho dos alunos Modelos de Regressão com estrutura especial de dependência GOLDSTEIN, H. (1995). Multilevel Statistical Models. 2a ed. London: Edward Arnold. RAUDENBUSH, S. W. e BRYK, A. S. (2002). Hierarchical Linear Models. 2a ed. Newbury Park: Sage.

Modelos Lineares Hierárquicos ou Multiníveis Modelo de regressão: Y = f(X1, ..., Xp, W1, ..., Wq) + Erro X: características de aluno (gênero, idade, escolaridade dos pais, tempo de estudo extra classe,...) W: características de escola (dependência administrativa, localização, recursos pedagógicos, práticas pedagógicas, capacitação da equipe técnica,...) Erro: independentes com distribuição normal

Modelos Lineares Hierárquicos ou Multiníveis Modelo multinível X1: idade (em anos) W1: dependência administrativa (1=particular, 0=pública) Nível 1: aluno (8a. série) proficij =0j + 1j (X1ij –14) + eij Nível 2: escola 0j = 00 + 01W1j + u0j 1j = 10 + 11W1j + u1j

Modelos Lineares Hierárquicos (ou Multiníveis) Resultados do SAEB 2001

Modelos Lineares Hierárquicos (ou Multiníveis) Resultados do SAEB 2001: Matemática Série Escolar Fatores 4ª 8ª 11ª Intercepto 172,63 (1,75) 240,31 (1,48) 277,05 (2,07) Gênero 3,86 (0,32) 14,27 (0,37) 18,93 (0,46) Raça 1,04 (0,34) 3,16 (0,38) 2,52 (0,48) Defasagem -4,15 (0,18) -6,72 (0,21) -8,25 (0,23) NSE 3,63 (0,21) 3,97 (0,25) 1,02 (0,30) Rede 25,13 (1,10) 24,57 (1,23) 19,57 (1,46) Média NSE 13,62 (0,62) 14,27 (0,71) 20,77 (1,00) Média Defasagem -3,70 (0,49) -10,68 (0,49) -13,80 (0,70) Seleção 3,27 (1,50) 12,89 (1,61) 17,28 (1,70)

Teoria da Resposta ao Item - TRI Medir a proficiência dos alunos Comparar os resultados entre séries (4a., 8a. EF e 3a. EM) Comparar os resultados ao longo dos anos (SAEB realizado a cada dois anos) para uma mesma série Realizar diferentes provas entre anos, entre séries e entre alunos de uma mesma série - BIB

Teoria da Resposta ao Item - TRI Teoria Clássica de Medida - TCM: 1. Resultados dependem do particular conjunto de questões que compõem a prova e dos indivíduos que a fizeram, ou seja, as análises e interpretações estão sempre associadas à prova como um todo e ao grupo de indivíduos. 2. Comparação entre indivíduos ou grupos de indivíduos somente é possível quando eles são submetidos às mesmas provas ou, pelo menos, ao que se denomina de provas paralelas, quase sempre difíceis de serem construídas.

Teoria da Resposta ao Item Teoria da Resposta ao Item – TRI: 1. Muda o foco de análise da prova como um todo para a análise de cada item (questão). 2. Conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observados) de um indivíduo com a probabilidade deste dar uma certa resposta a um item 3. Traço latente: habilidade/proficiência em Matemática, Português, etc ...

Teoria da Resposta ao Item 4. A partir de respostas dadas por indivíduos a um conjunto de itens (prova) deseja-se : estimar os parâmetros dos itens (calibração) estimar a habilidade/proficiência do aluno estimar a proficiência média de um grupo de alunos 5. A probabilidade de resposta a um item é modelada como função da proficiência do aluno e de parâmetros que expressam certas propriedades dos itens.

Teoria da Resposta ao Item 6. Quanto maior a proficiência do aluno, maior a probabilidade de ele acertar o item (modelo acumulativo). 7. Propriedade importante: os parâmetros dos itens e as proficiências dos indivíduos são invariantes, exceto pela escolha de origem e escala.

Teoria da Resposta ao Item Modelos: dependem do tipo de item Itens corrigidos como certo/errado: múltipla escolha ou abertos Modelo Logístico (unidimensional) com 1, 2 ou 3 parâmetros

Modelo Logístico de 3 parâmetros a: discriminação ou inclinação do item b: dificuldade (medido na mesma métrica do traço latente) c: probabilidade de acerto para indiv. com baixa habilidade

Teoria da Resposta ao Item Modelo Nominal: considera todas as categorias de resposta

Teoria da Resposta ao Item Modelo de Resposta Gradual: categorias ordinais

Teoria da Resposta ao Item Modelo de Crédito Parcial: Modelo de Resposta Gradual sem o parâmetro de discriminação a Modelo de Escala Gradual: Modelo de Resposta Gradual com bis = bi – ds Modelo de Grupos Múltiplos (várias populações)

Teoria da Resposta ao Item Resultados Banco de Itens: itens calibrados na mesma escala Estimativa dos rendimentos médios na mesma escala, para cada uma das séries e disciplinas ao longo dos anos

Teoria da Resposta ao Item

Teoria da Resposta ao Item Resultados Equalização entre avaliações estaduais e o SAEB Estudo do funcionamento de itens (DIF) Estudo do desgaste de itens (DRIFT)

Referências bibliográficas ANDRADE, D. F., TAVARES, H. R., VALLE, R. C. (2000). Teoria da Resposta ao Item: conceitos e aplicações. 14o SINAPE, Associação Brasileira de Estatística. (Disponível em www.inf.ufsc.br/~dandrade/tri) BAKER, F. B., (1992). Item Response Theory: Parameter Estimation Techniques. Marcel Dekker. BOCK, R.D. & ZIMOWSKI, M.F. (1996). Multiple Group IRT, in Linden, W.J. van der & Hambleton, R.K. (eds). Handbook of Modern Item Response Theory, Springer.

Referências bibliográficas KLEIN, R. (2003). Utilização da Teoria de Resposta ao Item no Sistema Nacional de Avaliação da Educação Básica (SAEB). Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v.11, n.40, p.283-296, 2003. LORD, F.M. (1980). Applications of item response theory to practical testing problems.Hillsdale:Lawrence Erlbaum Associates Inc. Sistema Nacional de Avaliação da Educação Básica: SAEB 2001, Relatório Técnico. (2002). Consórcio Fundação Cesgranrio/Fundação Carlos Chagas, Rio de Janeiro..

Aplicação da TRI em Teste de Progresso Avaliar o desempenho do aluno de curso de medicina Prova realizada uma vez por ano por todos os alunos (1a.-6a.) Comissão de avaliação do curso de medicina da UEL: Sakai, M., Mashima, D., Ferreira Filho, O.F., Matsuo, T.

Aplicações da TRI em outras áreas Medir o grau de maturidade de uma empresa em relação a Gestão pela Qualidade Alexandre, J.W.C., Andrade, D.F., Vasconcelos, A.P. e Araújo, A.M.S.(2002). Uma proposta de análise de um construto para a medição dos fatores críticos da gestão pela qualidade através da teoria da resposta ao item. Gestão & Produção, v.9, n.2, p.129-141. Medir o Nível de Qualidade de Vida Mesbah, M., Cole, B.F. and Lee, M.L.T.(2002). Ed. Statistical methods for quality of life studies: design, measurements and analysis. Boston:Kluwer Academic Publishers

Aplicações da TRI em outras áreas Medir o Grau de Insegurança Alimentar Parke E. Wilde, Gerald J. and Dorothy R. Friedman (2004). Differential Response Patterns Affect Food-Security Prevalence Estimates for Households with and without Children. J. Nutr.134: 1910–1915. Med. Prev. Unicamp: profa. Ana Maria Segall Corrêa Medir a Competência Clínica de Médicos Jishnu Das, Jeffrey Hammer (2005). Which doctor? Combining vignettes and item response to measure clinical competence. Journal of Development Economics 78, 348-383.

Aplicações da TRI em outras áreas Medir o Grau de Depressão Embretson, S. E. and Reise, S. P. (2000). Item response theory for psychologists. New Jersey: Lawrence Erlbaum Associates, Inc., Publishers. Coleman, M. J., Matthysse, S., Levy, D. L., Cook, S., Lo, J. B. Y.,Rubin, D. B. and Holzman, P. S. (2002). Spatial and object working memory impairments in schizophrenia patients: a bayesian item-response theory analysis. Journal of Abnormal Psychology, 111, number 3, 425-435. Dissertação de doutorado em Estatística no IME/USP.

Aplicações da TRI em outras áreas Medir o Grau de Satisfação do Consumidor Costa, M.B.F. (2001). Técnica derivada da teoria da resposta ao item aplicada ao setor de serviços. Dissertação de Mestrado – PPGMUE/UFPR Bayley, S. (2001). Measuring customer satisfaction. Evaluation Journal of Australasia, v. 1, no. 1, 8-16. Bortolotti, S.L.V. (2003). Aplicação de um modelo de desdobramento da teoria da resposta ao item – TRI. Dissertação de Mestrado. EPS/UFSC.

Aplicações da TRI em outras áreas Medir o Grau de Depressão em Idosos Yesavage JA, Brink TL Rose TL et al. (1983). Development and validation of a geriatric depression screening scale: a preliminary report. J Psychiat Res, 17:37-49. UEL – Grupo de pesquisa em psiquiatria: Vargas, H.O., Matsuo, T., Blay, S., Andrade, D.F.

Aplicações da TRI em outras áreas Genética: Medir a predisposição de um indivíduo em relação a uma certa doença Tavares, H. R.; Andrade, D. F.; Pereira, C.A. (2004) Detection of determinant genes and diagnostic via item response theory. Genetics and Molecular Biology, v. 27, n. 4, p. 679-685.