III CONAVE – Congresso Nacional de Avaliação em Educação Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino CME – COORDENAÇÃO DE MEDIDAS EDUCACIONAIS CAEd/UFJF (32)4009-2071 Wellington@caed.ufjf.br

CONTEÚDO 1 – conceitos básicos 2 - Modelos matemáticos da TRI 3 – Interpretação de Resultados 4 – Tendências das avaliações no Brasil

1 - CONCEITOS BÁSICOS UTILIZADOS NA TRI

Fundamentos da TRI O que são itens? 1 - CONCEITOS BÁSICOS Fundamentos da TRI O que são itens? São os elementos que compõem os testes ou questionários O que é proficiência? É a medida que representa um determinado traço latente (aptidão) Teoria da Resposta ao Item (TRI) Grupo de modelos matemáticos e estatísticos que descrevem a associação entre a aptidão de um indivíduo e a probabilidade de uma resposta a um item

PRINCIPAIS PRODUTOS DA TRI 1 - CONCEITOS BÁSICOS PRINCIPAIS PRODUTOS DA TRI - Interpretação pedagógica da escala - Comparabilidade de resultados: - Entre diferentes avaliações em um mesmo período de tempo - Entre diferentes avaliações em diferentes períodos de tempo

Como se calcula a proficiência de um aluno? 1 - CONCEITOS BÁSICOS Como se calcula a proficiência de um aluno? I - AVALIAÇÃO EM LARGA ESCALA II – TEORIA DA RESPOSTA AO ITEM - TRI III – INDICADORES DE DESEMPENHO

I –AVALIAÇÃO EM LARGA ESCALA 1 - CONCEITOS BÁSICOS I –AVALIAÇÃO EM LARGA ESCALA

Como construir uma escala 1 - CONCEITOS BÁSICOS Como construir uma escala

Escala: altura de uma pessoa 1 - CONCEITOS BÁSICOS Escala: altura de uma pessoa Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus? Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada? Item 3 Para conversar com as pessoas, você precisa olhar para baixo?

Respostas do Questionário 1 - CONCEITOS BÁSICOS Respostas do Questionário Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo

Escala: item x medida 1 - CONCEITOS BÁSICOS Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo Carolina Priscila Leonardo 1,5 1,6 1,7 1,8 1,9 Item 1 Item 2 Item 3

Questionário de altura 1 - CONCEITOS BÁSICOS Questionário de altura

3 – estimação dos parâmetros dos itens 1 - CONCEITOS BÁSICOS 3 – estimação dos parâmetros dos itens

Posição dos itens na escala 1 - CONCEITOS BÁSICOS Posição dos itens na escala 1,5 1,6 1,7 1,8 1,9 17 16 9 4 15 7 20 18 12 11 10 14 5 13 6 3 2 19 8 1 Guardar a bagagem Atrás na fila Pés fora da cama

Posição dos itens e pessoas na escala 1 - CONCEITOS BÁSICOS Posição dos itens e pessoas na escala 17 16 9 4 15 7 20 18 12 11 10 14 5 13 6 3 2 19 8 1 1,5 1,6 1,7 1,8 1,9

II – TEORIA DA RESPOSTA AO ITEM - TRI 1 - CONCEITOS BÁSICOS II – TEORIA DA RESPOSTA AO ITEM - TRI HISTÓRICO TRI FUNDAMENTOS – TRI MEDIDAS E ESCALAS

Avaliações em larga escala com a TRI 1 - CONCEITOS BÁSICOS Avaliações em larga escala com a TRI Análise segundo a TRI – Lord (1952) Probabilidade de acerto ao item em função da habilidade Posicionamento dos itens em função da dificuldade na mesma escala da proficiência Década de 1970 Desenvolvimento de testes adaptativos Década de 1980 Desenvolvimento de softwares específicos para TRI Década de 1990 Desenvolvimento de testes informatizados (CBT’s) e testes adaptativos informatizados (CAT’s)

Características das avaliações em larga escala no Brasil 1 - CONCEITOS BÁSICOS Características das avaliações em larga escala no Brasil Até 1993: TCT A partir de 1995: TRI INEP Avaliações estaduais e municipais MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA. 1995 1997 1999 2001 2003 2005 2007 2009 SAEB SAEB e Prova Brasil

Características das avaliações em larga escala no Brasil 1 - CONCEITOS BÁSICOS Características das avaliações em larga escala no Brasil 1° Momento 2° Momento 3° Momento

1 - CONCEITOS BÁSICOS BIB - SAEB ATÉ 2005

1 - CONCEITOS BÁSICOS BIB - A PARTIR DE 2005

MEDIDAS E ESCALAS A ESCALA SAEB CONTRUÇÃO DE TESTES 1 - CONCEITOS BÁSICOS MEDIDAS E ESCALAS A ESCALA SAEB CONTRUÇÃO DE TESTES

1 - CONCEITOS BÁSICOS ESCALA SAEB Matriz de referência Design do teste

ESCALAS DE PROFICIÊNCIA Curva normal 1 - CONCEITOS BÁSICOS ESCALAS DE PROFICIÊNCIA Curva normal

1 - CONCEITOS BÁSICOS ESCALA SAEB

1 - CONCEITOS BÁSICOS ESCALA SAEB

1 - CONCEITOS BÁSICOS 190 250 270 ESCALA SAEB

2 – MODELOS MATEMÁTICOS DA TRI CME – COORDENAÇÃO DE MEDIDAS EDUCACIONAIS CAEd/UFJF (32)4009-2071 Wellington@caed.ufjf.br

2 – MODELOS MATEMÁTICOS DA TRI 1 PL Dicotômico 2 PL 3 PL UIRT Modelo de crédito parcial Politômico Modelo de crédito parcial generalizado Modelo Modelo de resposta ponderada Modelo de resposta nominal Dicotômico MIRT Politômico MODELOS MATEMÁTICOS

2 – MODELOS MATEMÁTICOS DA TRI FUNDAMENTOS DA TRI MÉTODOS DE ESTIMAÇÃO PARÂMETROS DE ITENS MML MMAP SCORES ML MAP EAP MODELO LOGÍSTICO 1LP 2LP 3LP MÉTODOS DE LINKAGENS LINEARES REGRESSÃO LINEAR MÉDIA/SIGMA MÉDIA/MÉDIA CURVA CARACTERÍSTICA NÃO LINEARES CALIBRAÇÃO SIMULTÂNEA PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP Testes Unidimensionais compostos por itens dicotômicos

2 – MODELOS MATEMÁTICOS DA TRI Relação não-linear

2 – MODELOS MATEMÁTICOS DA TRI

2 – MODELOS MATEMÁTICOS DA TRI MODELOS DA TRI – 3PL 2 – MODELOS MATEMÁTICOS DA TRI ITEM PARÂMETROS A B C 1 0,010 250 0,30 1 Probabilidade de Acerto 0,65 0,5 0,3 250 Proficiência

2 – MODELOS MATEMÁTICOS DA TRI MODELOS DA TRI – 3PL 2 – MODELOS MATEMÁTICOS DA TRI ITEM PARÂMETROS A B C 1 0,010 250 0,30 2 0,020 0,5 1 Probabilidade de Acerto 0,3 250 0,65 2 Proficiência

2 – MODELOS MATEMÁTICOS DA TRI MODELOS DA TRI – 3PL 2 – MODELOS MATEMÁTICOS DA TRI ITEM PARÂMETROS A B C 1 0,010 250 0,30 2 0,020 3 350 0,5 1 Probabilidade de Acerto 0,3 250 0,65 2 3 350 Proficiência

2 – MODELOS MATEMÁTICOS DA TRI MODELOS DA TRI – 3PL 2 – MODELOS MATEMÁTICOS DA TRI ITEM PARÂMETROS A B C 1 0,010 250 0,30 2 0,020 3 350 4 0,20 0,5 1 Probabilidade de Acerto 0,3 250 0,65 2 4 3 350 Proficiência

2 – MODELOS MATEMÁTICOS DA TRI ITENS DE UM TESTE

EXEMPLOS DE ITENS – discriminação boa 2 – MODELOS MATEMÁTICOS DA TRI EXEMPLOS DE ITENS – discriminação boa

EXEMPLOS DE ITENS – discriminação ruim 2 – MODELOS MATEMÁTICOS DA TRI EXEMPLOS DE ITENS – discriminação ruim

2 – MODELOS MATEMÁTICOS DA TRI FUNDAMENTOS DA TRI MÉTODOS DE ESTIMAÇÃO PARÂMETROS DE ITENS MML MMAP SCORES ML MAP EAP MODELO LOGÍSTICO 1LP 2LP 3LP MÉTODOS DE LINKAGENS LINEARES REGRESSÃO LINEAR MÉDIA/SIGMA MÉDIA/MÉDIA CURVA CARACTERÍSTICA NÃO LINEARES CALIBRAÇÃO SIMULTÂNEA PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP Testes Unidimensionais compostos por itens dicotômicos

2 – MODELOS MATEMÁTICOS DA TRI Métodos de Estimação Verossimilhança

2 – MODELOS MATEMÁTICOS DA TRI Métodos de Estimação Máxima Verossimilhança - ML Métodos interativos Máxima Verossimilhança Marginal – MML Máxima Verossimilhança Conjunta

2 – MODELOS MATEMÁTICOS DA TRI Métodos de Estimação Métodos Bayesianos Distribuição à posteriori Função de verossimilhança Prioris x - Distribuições utilizadas nas prioris População: normal Parâmetros dos itens a – log-normal b – normal c – beta Máxima Distribuição Marginal à Posteriori – MMAP Máxima à Posteriori – MAP Esperado à Posteriori - EAP

2 – MODELOS MATEMÁTICOS DA TRI FUNDAMENTOS DA TRI MÉTODOS DE ESTIMAÇÃO PARÂMETROS DE ITENS MML MMAP SCORES ML MAP EAP MODELO LOGÍSTICO 1LP 2LP 3LP MÉTODOS DE LINKAGENS LINEARES REGRESSÃO LINEAR MÉDIA/SIGMA MÉDIA/MÉDIA CURVA CARACTERÍSTICA NÃO LINEARES CALIBRAÇÃO SIMULTÂNEA PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP Testes Unidimensionais compostos por itens dicotômicos

MÉTODOS DE LINKAGEM Cultura de uma escala única nacional – SAEB 2 – MODELOS MATEMÁTICOS MÉTODOS DE LINKAGEM Cultura de uma escala única nacional – SAEB Características da avaliação em larga escala de 1995 a 2007

Equalização Vertical Avaliações do SAEB 2 – MODELOS MATEMÁTICOS Equalização Vertical Avaliações do SAEB Testes com conteúdos diferentes Testes com descritores diferentes Populações não equivalentes

Designs ou Delineamentos para coleta de dados 2 – MODELOS MATEMÁTICOS Designs ou Delineamentos para coleta de dados Design para grupos não equivalentes através de itens comuns Forma X Grupo 1 Grupo 2 Itens comunscomum Forma Y

Método adotado: Vertical equating 2 – MODELOS MATEMÁTICOS LINKAGEM Processo para colocar diferentes testes em uma mesma escala (equalização vertical) Método adotado: Vertical equating ITENS COMUNS ENTRE GRUPOS

TRI padrão SAEB 2 – MODELOS MATEMÁTICOS MÉTODOS DE ESTIMAÇÃO PARÂMETROS DE ITENS MML MMAP SCORES ML MAP EAP MODELO LOGÍSTICO 1LP 2LP 3LP MÉTODOS DE LINKAGENS LINEARES REGRESSÃO LINEAR MÉDIA/SIGMA MÉDIA/MÉDIA CURVA CARACTERÍSTICA NÃO LINEARES CALIBRAÇÃO SIMULTÂNEA PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP Testes Unidimensionais compostos por itens dicotômicos

3 – Interpretação de resultados Precisão do teste Ajuste do teste à população Interpretação de escala Indicadores de desempenho

3 – Interpretação de resultados PRECISÃO DO TESTE

AJUSTE DO TESTE COM A POPULAÇÃO TESTE BEM AJUSTADO 3 – Interpretação de resultados AJUSTE DO TESTE COM A POPULAÇÃO TESTE BEM AJUSTADO

AJUSTE DO TESTE COM A POPULAÇÃO TESTE DESAJUSTADO 3 – Interpretação de resultados AJUSTE DO TESTE COM A POPULAÇÃO TESTE DESAJUSTADO

INTERPRETÇÃO DA ESCALA 3 – Interpretação de resultados INTERPRETÇÃO DA ESCALA

Ancoragem dos itens na escala 3 – Interpretação de resultados Ancoragem dos itens na escala Estatística: PONTO DE ANCORAGEM DO ITEM: Proficiência que corresponde a uma probabilidade de acerto de 65% Especialistas pedagógicos: Alocação dos itens na escala por descritor e ponto de ancoragem

INDICADORES DE DESEMPENHO 3 – interpretação de resultados INDICADORES DE DESEMPENHO Interpretação de medidas de desempenho Série histórica SAEB IDEB

Interpretação de medidas de desempenho educacional 3 – Interpretação de resultados Interpretação de medidas de desempenho educacional Posição: média Variação: percentuais por padrão de desempenho

Interpretação de medidas de desempenho educacional 3 – Interpretação de resultados Interpretação de medidas de desempenho educacional Posição: média Variação: percentuais por padrão de desempenho

Interpretação de medidas de desempenho educacional 3 – Interpretação de resultados Interpretação de medidas de desempenho educacional Posição: média Variação: percentuais por padrão de desempenho

Interpretação de medidas de desempenho educacional 3 – Interpretação de resultados Interpretação de medidas de desempenho educacional

3 – Interpretação de resultados Série histórica SAEB – Rede pública LÍNGUA PORTUGUESA

Série histórica SAEB – Rede pública MATEMÁTICA 3 – Interpretação de resultados Série histórica SAEB – Rede pública MATEMÁTICA

3 – Interpretação de resultados IDEB Forma geral do Ideb: IDEB = N . P N = média da proficiência em Língua Portuguesa e Matemática, padronizada para um indicador entre 0 e 10, no exame realizado ao final da etapa de ensino P = indicador de rendimento baseado na taxa de aprovação da etapa de ensino

3 – Interpretação de resultados

Evolução do Ideb - Brasil 3 – Interpretação de resultados Evolução do Ideb - Brasil Rede Pública – Anos Iniciais Ens. Fundamental

Evolução do Ideb - Brasil 3 – Interpretação de resultados Evolução do Ideb - Brasil Rede Pública – Anos Finais Ens. Fundamental

Evolução do Ideb - Brasil 3 – Interpretação de resultados Evolução do Ideb - Brasil Rede Pública – Ensino Médio

Evolução do Ideb - Estados 3 – Interpretação de resultados Evolução do Ideb - Estados Rede Pública – Anos Iniciais Ens. Fundamental

Utilização de itens politômicos Subescalas Criticidade de corretores 4 - Tendências Utilização de itens politômicos Subescalas Criticidade de corretores CAT

Utilização de itens politômicos - Testes de escrita para alfabetização 4 - Tendências Utilização de itens politômicos - Testes de escrita para alfabetização - Redação

Leitura/escrita - Alfabetização 4 - Tendências Subescala Leitura/escrita - Alfabetização Física/Química/Biologia e História/Geografia Ensino médio padrão ENEM

Criticidade de corretores - 3 facetas 4 - Tendências Criticidade de corretores - 3 facetas - consistência e coincidência - BIB de corretores