III CONAVE – Congresso Nacional de Avaliação em Educação

Apresentação em tema: "III CONAVE – Congresso Nacional de Avaliação em Educação"— Transcrição da apresentação:

1 III CONAVE – Congresso Nacional de Avaliação em Educação
Produção de Medidas de Desempenho Educacional pela Teoria da Resposta ao Item e sua utilização para a melhoria da qualidade de ensino CME – COORDENAÇÃO DE MEDIDAS EDUCACIONAIS CAEd/UFJF (32)

2 CONTEÚDO 1 – conceitos básicos 2 - Modelos matemáticos da TRI
3 – Interpretação de Resultados 4 – Tendências das avaliações no Brasil

3 1 - CONCEITOS BÁSICOS UTILIZADOS NA TRI

4 Fundamentos da TRI O que são itens?
1 - CONCEITOS BÁSICOS Fundamentos da TRI O que são itens? São os elementos que compõem os testes ou questionários O que é proficiência? É a medida que representa um determinado traço latente (aptidão) Teoria da Resposta ao Item (TRI) Grupo de modelos matemáticos e estatísticos que descrevem a associação entre a aptidão de um indivíduo e a probabilidade de uma resposta a um item

5 PRINCIPAIS PRODUTOS DA TRI
1 - CONCEITOS BÁSICOS PRINCIPAIS PRODUTOS DA TRI - Interpretação pedagógica da escala - Comparabilidade de resultados: - Entre diferentes avaliações em um mesmo período de tempo - Entre diferentes avaliações em diferentes períodos de tempo

6 Como se calcula a proficiência de um aluno?
1 - CONCEITOS BÁSICOS Como se calcula a proficiência de um aluno? I - AVALIAÇÃO EM LARGA ESCALA II – TEORIA DA RESPOSTA AO ITEM - TRI III – INDICADORES DE DESEMPENHO

7 I –AVALIAÇÃO EM LARGA ESCALA
1 - CONCEITOS BÁSICOS I –AVALIAÇÃO EM LARGA ESCALA

8 Como construir uma escala
1 - CONCEITOS BÁSICOS Como construir uma escala

9 Escala: altura de uma pessoa
1 - CONCEITOS BÁSICOS Escala: altura de uma pessoa Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus? Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada? Item 3 Para conversar com as pessoas, você precisa olhar para baixo?

10 Respostas do Questionário
1 - CONCEITOS BÁSICOS Respostas do Questionário Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo

11 Escala: item x medida 1 - CONCEITOS BÁSICOS Nome Item 1 Item 2 Item 3
Carolina Sim Não Priscila Leonardo Carolina Priscila Leonardo 1,5 1,6 1,7 1,8 1,9 Item 1 Item 2 Item 3

12 Questionário de altura
1 - CONCEITOS BÁSICOS Questionário de altura

13 3 – estimação dos parâmetros dos itens
1 - CONCEITOS BÁSICOS 3 – estimação dos parâmetros dos itens

14 Posição dos itens na escala
1 - CONCEITOS BÁSICOS Posição dos itens na escala 1,5 1,6 1,7 1,8 1,9 17 16 9 4 15 7 20 18 12 11 10 14 5 13 6 3 2 19 8 1 Guardar a bagagem Atrás na fila Pés fora da cama

15 Posição dos itens e pessoas na escala
1 - CONCEITOS BÁSICOS Posição dos itens e pessoas na escala 17 16 9 4 15 7 20 18 12 11 10 14 5 13 6 3 2 19 8 1 1,5 1,6 1,7 1,8 1,9

16 II – TEORIA DA RESPOSTA AO ITEM - TRI
1 - CONCEITOS BÁSICOS II – TEORIA DA RESPOSTA AO ITEM - TRI HISTÓRICO TRI FUNDAMENTOS – TRI MEDIDAS E ESCALAS

17 Avaliações em larga escala com a TRI
1 - CONCEITOS BÁSICOS Avaliações em larga escala com a TRI Análise segundo a TRI – Lord (1952) Probabilidade de acerto ao item em função da habilidade Posicionamento dos itens em função da dificuldade na mesma escala da proficiência Década de 1970 Desenvolvimento de testes adaptativos Década de 1980 Desenvolvimento de softwares específicos para TRI Década de 1990 Desenvolvimento de testes informatizados (CBT’s) e testes adaptativos informatizados (CAT’s)

18 Características das avaliações em larga escala no Brasil
1 - CONCEITOS BÁSICOS Características das avaliações em larga escala no Brasil Até 1993: TCT A partir de 1995: TRI INEP Avaliações estaduais e municipais MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA. SAEB SAEB e Prova Brasil

19 Características das avaliações em larga escala no Brasil
1 - CONCEITOS BÁSICOS Características das avaliações em larga escala no Brasil 1° Momento 2° Momento 3° Momento

20 1 - CONCEITOS BÁSICOS BIB - SAEB ATÉ 2005

21 1 - CONCEITOS BÁSICOS BIB - A PARTIR DE 2005

22 MEDIDAS E ESCALAS A ESCALA SAEB CONTRUÇÃO DE TESTES
1 - CONCEITOS BÁSICOS MEDIDAS E ESCALAS A ESCALA SAEB CONTRUÇÃO DE TESTES

23 1 - CONCEITOS BÁSICOS ESCALA SAEB Matriz de referência Design do teste

24 ESCALAS DE PROFICIÊNCIA Curva normal
1 - CONCEITOS BÁSICOS ESCALAS DE PROFICIÊNCIA Curva normal

25 1 - CONCEITOS BÁSICOS ESCALA SAEB

26 1 - CONCEITOS BÁSICOS ESCALA SAEB

27 1 - CONCEITOS BÁSICOS 190 250 270 ESCALA SAEB

28 2 – MODELOS MATEMÁTICOS DA TRI
CME – COORDENAÇÃO DE MEDIDAS EDUCACIONAIS CAEd/UFJF (32)

29 2 – MODELOS MATEMÁTICOS DA TRI
1 PL Dicotômico 2 PL 3 PL UIRT Modelo de crédito parcial Politômico Modelo de crédito parcial generalizado Modelo Modelo de resposta ponderada Modelo de resposta nominal Dicotômico MIRT Politômico MODELOS MATEMÁTICOS

30 2 – MODELOS MATEMÁTICOS DA TRI
FUNDAMENTOS DA TRI MÉTODOS DE ESTIMAÇÃO PARÂMETROS DE ITENS MML MMAP SCORES ML MAP EAP MODELO LOGÍSTICO 1LP 2LP 3LP MÉTODOS DE LINKAGENS LINEARES REGRESSÃO LINEAR MÉDIA/SIGMA MÉDIA/MÉDIA CURVA CARACTERÍSTICA NÃO LINEARES CALIBRAÇÃO SIMULTÂNEA PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP Testes Unidimensionais compostos por itens dicotômicos

31 2 – MODELOS MATEMÁTICOS DA TRI
Relação não-linear

32 2 – MODELOS MATEMÁTICOS DA TRI

33 2 – MODELOS MATEMÁTICOS DA TRI
MODELOS DA TRI – 3PL 2 – MODELOS MATEMÁTICOS DA TRI ITEM PARÂMETROS A B C 1 0,010 250 0,30 1 Probabilidade de Acerto 0,65 0,5 0,3 250 Proficiência

34 2 – MODELOS MATEMÁTICOS DA TRI
MODELOS DA TRI – 3PL 2 – MODELOS MATEMÁTICOS DA TRI ITEM PARÂMETROS A B C 1 0,010 250 0,30 2 0,020 0,5 1 Probabilidade de Acerto 0,3 250 0,65 2 Proficiência

35 2 – MODELOS MATEMÁTICOS DA TRI
MODELOS DA TRI – 3PL 2 – MODELOS MATEMÁTICOS DA TRI ITEM PARÂMETROS A B C 1 0,010 250 0,30 2 0,020 3 350 0,5 1 Probabilidade de Acerto 0,3 250 0,65 2 3 350 Proficiência

36 2 – MODELOS MATEMÁTICOS DA TRI
MODELOS DA TRI – 3PL 2 – MODELOS MATEMÁTICOS DA TRI ITEM PARÂMETROS A B C 1 0,010 250 0,30 2 0,020 3 350 4 0,20 0,5 1 Probabilidade de Acerto 0,3 250 0,65 2 4 3 350 Proficiência

37 2 – MODELOS MATEMÁTICOS DA TRI
ITENS DE UM TESTE

38 EXEMPLOS DE ITENS – discriminação boa
2 – MODELOS MATEMÁTICOS DA TRI EXEMPLOS DE ITENS – discriminação boa

39 EXEMPLOS DE ITENS – discriminação ruim
2 – MODELOS MATEMÁTICOS DA TRI EXEMPLOS DE ITENS – discriminação ruim

40 2 – MODELOS MATEMÁTICOS DA TRI
FUNDAMENTOS DA TRI MÉTODOS DE ESTIMAÇÃO PARÂMETROS DE ITENS MML MMAP SCORES ML MAP EAP MODELO LOGÍSTICO 1LP 2LP 3LP MÉTODOS DE LINKAGENS LINEARES REGRESSÃO LINEAR MÉDIA/SIGMA MÉDIA/MÉDIA CURVA CARACTERÍSTICA NÃO LINEARES CALIBRAÇÃO SIMULTÂNEA PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP Testes Unidimensionais compostos por itens dicotômicos

41 2 – MODELOS MATEMÁTICOS DA TRI
Métodos de Estimação Verossimilhança

42 2 – MODELOS MATEMÁTICOS DA TRI
Métodos de Estimação Máxima Verossimilhança - ML Métodos interativos Máxima Verossimilhança Marginal – MML Máxima Verossimilhança Conjunta

43 2 – MODELOS MATEMÁTICOS DA TRI
Métodos de Estimação Métodos Bayesianos Distribuição à posteriori Função de verossimilhança Prioris x - Distribuições utilizadas nas prioris População: normal Parâmetros dos itens a – log-normal b – normal c – beta Máxima Distribuição Marginal à Posteriori – MMAP Máxima à Posteriori – MAP Esperado à Posteriori - EAP

44 2 – MODELOS MATEMÁTICOS DA TRI
FUNDAMENTOS DA TRI MÉTODOS DE ESTIMAÇÃO PARÂMETROS DE ITENS MML MMAP SCORES ML MAP EAP MODELO LOGÍSTICO 1LP 2LP 3LP MÉTODOS DE LINKAGENS LINEARES REGRESSÃO LINEAR MÉDIA/SIGMA MÉDIA/MÉDIA CURVA CARACTERÍSTICA NÃO LINEARES CALIBRAÇÃO SIMULTÂNEA PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP Testes Unidimensionais compostos por itens dicotômicos

45 MÉTODOS DE LINKAGEM Cultura de uma escala única nacional – SAEB
2 – MODELOS MATEMÁTICOS MÉTODOS DE LINKAGEM Cultura de uma escala única nacional – SAEB Características da avaliação em larga escala de 1995 a 2007

46 Equalização Vertical Avaliações do SAEB
2 – MODELOS MATEMÁTICOS Equalização Vertical Avaliações do SAEB Testes com conteúdos diferentes Testes com descritores diferentes Populações não equivalentes

47 Designs ou Delineamentos para coleta de dados
2 – MODELOS MATEMÁTICOS Designs ou Delineamentos para coleta de dados Design para grupos não equivalentes através de itens comuns Forma X Grupo 1 Grupo 2 Itens comunscomum Forma Y

48 Método adotado: Vertical equating
2 – MODELOS MATEMÁTICOS LINKAGEM Processo para colocar diferentes testes em uma mesma escala (equalização vertical) Método adotado: Vertical equating ITENS COMUNS ENTRE GRUPOS

49 TRI padrão SAEB 2 – MODELOS MATEMÁTICOS
MÉTODOS DE ESTIMAÇÃO PARÂMETROS DE ITENS MML MMAP SCORES ML MAP EAP MODELO LOGÍSTICO 1LP 2LP 3LP MÉTODOS DE LINKAGENS LINEARES REGRESSÃO LINEAR MÉDIA/SIGMA MÉDIA/MÉDIA CURVA CARACTERÍSTICA NÃO LINEARES CALIBRAÇÃO SIMULTÂNEA PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP Testes Unidimensionais compostos por itens dicotômicos

50 3 – Interpretação de resultados
Precisão do teste Ajuste do teste à população Interpretação de escala Indicadores de desempenho

51 3 – Interpretação de resultados
PRECISÃO DO TESTE

52 AJUSTE DO TESTE COM A POPULAÇÃO TESTE BEM AJUSTADO
3 – Interpretação de resultados AJUSTE DO TESTE COM A POPULAÇÃO TESTE BEM AJUSTADO

53 AJUSTE DO TESTE COM A POPULAÇÃO TESTE DESAJUSTADO
3 – Interpretação de resultados AJUSTE DO TESTE COM A POPULAÇÃO TESTE DESAJUSTADO

54 INTERPRETÇÃO DA ESCALA
3 – Interpretação de resultados INTERPRETÇÃO DA ESCALA

55 Ancoragem dos itens na escala
3 – Interpretação de resultados Ancoragem dos itens na escala Estatística: PONTO DE ANCORAGEM DO ITEM: Proficiência que corresponde a uma probabilidade de acerto de 65% Especialistas pedagógicos: Alocação dos itens na escala por descritor e ponto de ancoragem

56 INDICADORES DE DESEMPENHO
3 – interpretação de resultados INDICADORES DE DESEMPENHO Interpretação de medidas de desempenho Série histórica SAEB IDEB

57 Interpretação de medidas de desempenho educacional
3 – Interpretação de resultados Interpretação de medidas de desempenho educacional Posição: média Variação: percentuais por padrão de desempenho

58 Interpretação de medidas de desempenho educacional
3 – Interpretação de resultados Interpretação de medidas de desempenho educacional Posição: média Variação: percentuais por padrão de desempenho

59 Interpretação de medidas de desempenho educacional
3 – Interpretação de resultados Interpretação de medidas de desempenho educacional Posição: média Variação: percentuais por padrão de desempenho

60 Interpretação de medidas de desempenho educacional
3 – Interpretação de resultados Interpretação de medidas de desempenho educacional

61 3 – Interpretação de resultados
Série histórica SAEB – Rede pública LÍNGUA PORTUGUESA

62 Série histórica SAEB – Rede pública MATEMÁTICA
3 – Interpretação de resultados Série histórica SAEB – Rede pública MATEMÁTICA

63 3 – Interpretação de resultados
IDEB Forma geral do Ideb: IDEB = N . P N = média da proficiência em Língua Portuguesa e Matemática, padronizada para um indicador entre 0 e 10, no exame realizado ao final da etapa de ensino P = indicador de rendimento baseado na taxa de aprovação da etapa de ensino

64 3 – Interpretação de resultados

65 Evolução do Ideb - Brasil
3 – Interpretação de resultados Evolução do Ideb - Brasil Rede Pública – Anos Iniciais Ens. Fundamental

66 Evolução do Ideb - Brasil
3 – Interpretação de resultados Evolução do Ideb - Brasil Rede Pública – Anos Finais Ens. Fundamental

67 Evolução do Ideb - Brasil
3 – Interpretação de resultados Evolução do Ideb - Brasil Rede Pública – Ensino Médio

68 Evolução do Ideb - Estados
3 – Interpretação de resultados Evolução do Ideb - Estados Rede Pública – Anos Iniciais Ens. Fundamental

69 Utilização de itens politômicos Subescalas Criticidade de corretores
4 - Tendências Utilização de itens politômicos Subescalas Criticidade de corretores CAT

70 Utilização de itens politômicos - Testes de escrita para alfabetização
4 - Tendências Utilização de itens politômicos - Testes de escrita para alfabetização - Redação

71 Leitura/escrita - Alfabetização
4 - Tendências Subescala Leitura/escrita - Alfabetização Física/Química/Biologia e História/Geografia Ensino médio padrão ENEM

72 Criticidade de corretores - 3 facetas
4 - Tendências Criticidade de corretores - 3 facetas - consistência e coincidência - BIB de corretores