Formação Continuada Aprofundamento TRI

Apresentação em tema: "Formação Continuada Aprofundamento TRI"— Transcrição da apresentação:

1 Formação Continuada Aprofundamento TRI
SIMARE 2014

2 MÓDULO 1 Estatística Aplicada à Teoria de Resposta ao Item (TRI)
COORDENAÇÃO DE MEDIDAS EDUCACIONAIS |

3 Qualidade na educação Ferramentas de qualidade de Deming e Juran
Normas de Qualidade ISO 9000 Qualidade nas escolas

4 Interpretação por item pela TCT
Realizada de forma intuitiva Cálculo do percentual de alunos que acertam cada item do teste Quanto maior a nota maior a chance de acertar os itens mais difíceis

5 Interpretação por item pela TCT
Realizada por meio de modelagem matemática Cálculo de parâmetros de itens CCI

6 ESTATÍSTICA DESCRITIVA

7 Estatística Descritiva
É composta por ferramentas que permitem organizar e resumir um conjunto de dados auxiliando a descrição dos atributos de um grupo ou de uma população; As ferramentas da estatística descritiva podem ser utilizadas na análise e interpretação de dados de diversas áreas.

8 Estatística Descritiva
1ª Etapa: organizar e resumir os dados com o objetivo de conhecê-los, detectar informações importantes e valores atípicos. FERRAMENTAS: Tabelas, gráficos e medidas. Dados brutos: são apresentados em tabelas, através de variáveis. Não obtemos muita informação por meio deles. Normalmente não são apresentados nas publicações.

9 Estatística descritiva: Gráficos
Gráfico de barras: adotado para representações de dados qualitativos.

10 Estatística descritiva: Gráficos
Histograma: barras justapostas Serve para a visualização da forma da distribuição da variável estudada; Dispersão; Assimetria; Curtose.

11 Estatística descritiva: Medidas
Medidas de Tendência Central Notas de prova de 45 alunos de uma turma. Primeiro, ordenamos os dados. 10,0 6,7 5,9 4,6 4,1 3,3 1,7 4,3 8,5 6,5 3,0 5,0 7,0 5,2 8,3 5,4 3,9 2,8 2,2 6,1 8,0 6,3 7,2 3,5 2,4 7,5 1,7 2,8 3,5 4,1 4,6 5,2 5,9 6,5 7,5 2,2 3 3,9 4,3 6,1 6,7 8 3,3 5 5,4 6,3 7 8,3 2,4 8,5 7,2 10

12 Estatística descritiva: Medidas
Medidas de Tendência Central Moda: Temos cinco modas ► 4,1;4,3;4,6;5,2 e 5,9. Média: 228,2/45=5,1 Mediana: Número ímpar de observações (45+1)/2=23 A mediana é a observação da 23ª posição. Mediana = 5 Com essas medidas e o histograma, visto anteriormente, percebemos que os dados têm uma pequena assimetria à direita.

13 Tipos de variáveis em Base de Dados
Nominal Ordinal Intervalar De razão

14 Tipos de variáveis Exemplo no SPSS

15 Construção de gráficos
EQUAÇÃO DA RETA Y = aX + b a =1 e b=2 Y = X + 2

16 Construção de gráficos

17 Curva Característica do Item (CCI)

18 TCT x TRI

19 Itens de um Teste

20 Interpretação de medidas de desempenho educacional
Posição: média Variação: percentuais por Padrão de Desempenho ESCOLA MÉDIA A 50 B C

21 Interpretação de medidas de desempenho educacional
Posição: média Variação: percentuais por Padrão de Desempenho ESCOLA MÉDIA NOTA DO ALUNO 1 2 3 4 A 50 100 B C 80 20

22 Interpretação de medidas de desempenho educacional
Posição: média Variação: percentuais por Padrão de Desempenho ESCOLA MÉDIA NOTA DO ALUNO DESVIO PADRÃO 1 2 3 4 A 50 100 57,7 B 0,0 C 80 20 34,6

23 Módulo 2 Conceitos Básicos Utilizados na TRI
COORDENAÇÃO DE MEDIDAS EDUCACIONAIS |

24 Fundamentos da TRI O que são itens?
São os elementos que compõem os testes ou questionários O que é proficiência? É a medida que representa um determinado traço latente (aptidão) Teoria da Resposta ao Item (TRI) Grupo de modelos matemáticos e estatísticos que descrevem a associação entre a aptidão de um indivíduo e a probabilidade de uma resposta a um item

25 Principais produtos da TRI
Interpretação pedagógica da escala - Comparabilidade de resultados: - Entre diferentes avaliações em um mesmo período de tempo - Entre diferentes avaliações em diferentes períodos de tempo

26 Qualidade na educação Ferramentas de qualidade de Deming e Juran
Normas de Qualidade ISSO 9000 Qualidade nas escolas

27 Interpretação por item pela TCT
Realizada de forma intuitiva Cálculo do percentual de alunos que acertam cada item do teste Quanto maior a nota maior a chance de acertar os itens mais difíceis

28 Interpretação por item pela TCT
Realizada por meio de modelagem matemática Cálculo de parâmetros de itens CCI

29 Estatística Descritiva
1ª Etapa: organizar e resumir os dados com o objetivo de conhecê-los, detectar informações importantes e valores atípicos. FERRAMENTAS: Tabelas, gráficos e medidas. Dados brutos: são apresentados em tabelas, através de variáveis. Não obtemos muita informação por meio deles. Normalmente não são apresentados nas publicações.

30 Como se calcula a proficiência de um aluno?
I - AVALIAÇÃO EM LARGA ESCALA II – TEORIA DA RESPOSTA AO ITEM - TRI III – INDICADORES DE DESEMPENHO

31 Avaliação em larga escala
Definição da Matriz de Referência Construção dos Itens e dos Testes Aplicação Processamento Análise Estatística Resultados

32 Como construir uma escala

33 Escala: altura de uma pessoa
Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus? Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada? Item 3 Para conversar com as pessoas, você precisa olhar para baixo?

34 Respostas do questionário
Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo

35 Escala: altura de uma pessoa
Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo Carolina Priscila Leonardo 1,5 1,6 1,7 1,8 1,9 Item 1 Item 2 Item 3

36 Questionário de altura

37 3 – estimação dos parâmetros dos itens

38 Posição dos itens na escala
17 16 9 4 15 7 20 18 12 11 10 14 5 13 6 3 2 19 8 1 Guardar a bagagem Atrás na fila Pés fora da cama

39 Posição dos itens e pessoas na escala
17 16 9 4 15 7 20 18 12 11 10 14 5 13 6 3 2 19 8 1 1,5 1,6 1,7 1,8 1,9

40 II – Teoria da Resposta ao Item (TRI)
HISTÓRICO TRI FUNDAMENTOS – TRI MEDIDAS E ESCALAS

41 Avaliações em larga escala com a TRI
Análise segundo a TRI – Lord (1952) Probabilidade de acerto ao item em função da habilidade Posicionamento dos itens em função da dificuldade na mesma escala da proficiência Década de 1970 Desenvolvimento de testes adaptativos Década de 1980 Desenvolvimento de softwares específicos para TRI Década de 1990 Desenvolvimento de testes informatizados (CBT’s) e testes adaptativos informatizados (CAT’s)

42 Características das avaliações em larga escala no Brasil
Até 1993: TCT A partir de 1995: TRI INEP Avaliações estaduais e municipais MG (2000), CE (1992), RS, RJ, PE, SP, ES, BA. SAEB SAEB e Prova Brasil

43 Características das avaliações em larga escala no Brasil

44 BIB - SAEB ATÉ 2005 COORDENAÇÃO DE MEDIDAS EDUCACIONAIS |

45 BIB - A PARTIR DE 2005

46 Principais produtos da TRI
Interpretação pedagógica da escala Comparabilidade de resultados: Entre diferentes avaliações em um mesmo período de tempo Entre diferentes avaliações em diferentes períodos de tempo

47 Medidas e Escalas A ESCALA SAEB CONTRUÇÃO DE TESTES

48 ESCALA SAEB Matriz de referência Design do teste

49 ESCALAS DE PROFICIÊNCIA Curva normal

50 Escala: altura de uma pessoa
Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus? Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada? Item 3 Para conversar com as pessoas, você precisa olhar para baixo?

51 ESCALA SAEB

52 ESCALA SAEB

53 ESCALA SAEB 190 250 270

54 Transformação de Escala
K = C + 273 C / 5 = (F - 32) / 9

55 Transformação de Escala
FATOR DE TRANSFORMAÇÃO ESCALA X (0,1) ESCALA SAEB (250,50)

56 PRECISÃO DO TESTE AJUSTE DA POPULAÇÃO AO TESTE
Construção de testes PRECISÃO DO TESTE AJUSTE DA POPULAÇÃO AO TESTE

57 Precisão do teste

58 AJUSTE DO TESTE COM A POPULAÇÃO TESTE BEM AJUSTADO

59 AJUSTE DO TESTE COM A POPULAÇÃO TESTE DESAJUSTADO

60 INTERPRETAÇÃO DA ESCALA

61 Ancoragem dos itens na escala
Estatística: PONTO DE ANCORAGEM DO ITEM: Proficiência que corresponde a uma probabilidade de acerto de 65% Especialistas pedagógicos: Alocação dos itens na escala por descritor e ponto de ancoragem

62 III – INDICADORES DE DESEMPENHO
BOLETIM DE RESULTADOS CAEd SÉRIE HISTÓRICA SAEB IDEB

63 Interpretação de medidas de desempenho educacional

64 III – INDICADORES DE DESEMPENHO
Série histórica SAEB – Rede pública LÍNGUA PORTUGUESA

65 IDEB Forma geral do Ideb: IDEB = N . P
N = média da proficiência em Língua Portuguesa e Matemática, padronizada para um indicador entre 0 e 10, no exame realizado ao final da etapa de ensino P = indicador de rendimento baseado na taxa de aprovação da etapa de ensino

66

67 Evolução do Ideb - Brasil
Rede Pública – Anos Iniciais Ens. Fundamental

68 Evolução do Ideb - Brasil
Rede Pública – Anos Finais Ens. Fundamental

69 Evolução do Ideb - Brasil

70 Evolução do Ideb - Estados
Rede Pública – Anos Iniciais Ens. Fundamental

71 Módulo 3 MODELOS MATEMÁTICOS DA TRI
COORDENAÇÃO DE MEDIDAS EDUCACIONAIS |

72 MODELOS MATEMÁTICOS 1 PL Dicotômico 2 PL 3 PL UIRT
Modelo de crédito parcial Politômico Modelo de crédito parcial generalizado Modelo de resposta ponderada Modelo de resposta nominal Dicotômico MIRT Politômico MODELOS MATEMÁTICOS

73 Fundamentos da TRI Testes Unidimensionais compostos por itens
MÉTODOS DE ESTIMAÇÃO PARÂMETROS DE ITENS MML MMAP SCORES ML MAP EAP MODELO LOGÍSTICO 1LP 2LP 3LP MÉTODOS DE LINKAGENS LINEARES REGRESSÃO LINEAR MÉDIA/SIGMA MÉDIA/MÉDIA CURVA CARACTERÍSTICA NÃO LINEARES CALIBRAÇÃO SIMULTÂNEA PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP Testes Unidimensionais compostos por itens dicotômicos

74 Relação não-linear

75

76 Probabilidade de Acerto
MODELOS DA TRI – 3PL ITEM PARÂMETROS A B C 1 0,010 250 0,30 1 Probabilidade de Acerto 0,65 0,5 0,3 250 Proficiência

77 Probabilidade de Acerto
MODELOS DA TRI – 3PL ITEM PARÂMETROS A B C 1 0,010 250 0,30 2 0,020 0,5 1 Probabilidade de Acerto 0,3 250 0,65 2 Proficiência

78 Probabilidade de Acerto
MODELOS DA TRI – 3PL ITEM PARÂMETROS A B C 1 0,010 250 0,30 2 0,020 3 350 0,5 1 Probabilidade de Acerto 0,3 250 0,65 2 3 350 Proficiência

79 Probabilidade de Acerto
MODELOS DA TRI – 3PL ITEM PARÂMETROS A B C 1 0,010 250 0,30 2 0,020 3 350 4 0,20 0,5 1 Probabilidade de Acerto 0,3 250 0,65 2 4 3 350 Proficiência

80 ITENS DE UM TESTE

81 EXEMPLOS DE ITENS – discriminação boa

82 FUNDAMENTOS DA TRI Testes Unidimensionais compostos por itens
MÉTODOS DE ESTIMAÇÃO PARÂMETROS DE ITENS MML MMAP SCORES ML MAP EAP MODELO LOGÍSTICO 1LP 2LP 3LP MÉTODOS DE LINKAGENS LINEARES REGRESSÃO LINEAR MÉDIA/SIGMA MÉDIA/MÉDIA CURVA CARACTERÍSTICA NÃO LINEARES CALIBRAÇÃO SIMULTÂNEA PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP Testes Unidimensionais compostos por itens dicotômicos

83 Métodos de Estimação Verossimilhança

84 Métodos de Estimação Máxima Verossimilhança - ML
Métodos interativos Máxima Verossimilhança Marginal – MML Máxima Verossimilhança Conjunta

85 Máxima Distribuição Marginal à Posteriori – MMAP
Métodos de Estimação Métodos Bayesianos Distribuição à posteriori Função de verossimilhança Prioris x - Distribuições utilizadas nas prioris População: normal Parâmetros dos itens a – log-normal b – normal c – beta Máxima Distribuição Marginal à Posteriori – MMAP Máxima à Posteriori – MAP Esperado à Posteriori - EAP

86 Fundamentos da TRI Testes Unidimensionais compostos por itens
MÉTODOS DE ESTIMAÇÃO PARÂMETROS DE ITENS MML MMAP SCORES ML MAP EAP MODELO LOGÍSTICO 1LP 2LP 3LP MÉTODOS DE LINKAGENS LINEARES REGRESSÃO LINEAR MÉDIA/SIGMA MÉDIA/MÉDIA CURVA CARACTERÍSTICA NÃO LINEARES CALIBRAÇÃO SIMULTÂNEA PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP Testes Unidimensionais compostos por itens dicotômicos

87 MÉTODOS DE LINKAGEM Cultura de uma escala única nacional – SAEB
Características da avaliação em larga escala de 1995 a 2007

88 Equalização Vertical Avaliações do SAEB
Testes com conteúdos diferentes Testes com descritores diferentes Populações não equivalentes

89 Designs ou Delineamentos para coleta de dados
Forma X Grupo 1 Grupo 2 Itens comunscomum Forma Y Design para grupos não equivalentes através de itens comuns

90 Linkagem Método adotado: Vertical equating
Processo para colocar diferentes testes em uma mesma escala (equalização vertical) Método adotado: Vertical equating ITENS COMUNS ENTRE GRUPOS

91 TRI padrão SAEB Testes Unidimensionais compostos por itens dicotômicos
MÉTODOS DE ESTIMAÇÃO PARÂMETROS DE ITENS MML MMAP SCORES ML MAP EAP MODELO LOGÍSTICO 1LP 2LP 3LP MÉTODOS DE LINKAGENS LINEARES REGRESSÃO LINEAR MÉDIA/SIGMA MÉDIA/MÉDIA CURVA CARACTERÍSTICA NÃO LINEARES CALIBRAÇÃO SIMULTÂNEA PRÉ-FIXAÇÃO DE PARÂMETROS - FPIP Testes Unidimensionais compostos por itens dicotômicos

92 Introdução ao Bilogmg Método de equalização Sintaxe Arquivo dat Fase 1
Arquivo de parâmetros Arquivo de proficiências

93 Fase 1: Medidas Clássicas
Análise dos Itens Percentual de acerto Correlação bisserial Comportamento do item em relação ao teste Melhores respondentes devem acertar

94 Fase 1: Medidas Clássicas
Medidas Produzidas Número de pontos no teste Percentual de acertos no teste

95 Fase 1: Medidas Clássicas
Ponto de Controle 1 Bisseriais podem indicar problemas Verificação de gabaritos (CIA) Problemas na ordem dos itens *

96