Padronização Psicometria – Mestrado e Doutorado em Avaliação Psicológica Universidade São Francisco Dr. Ricardo Primi.

Apresentação em tema: "Padronização Psicometria – Mestrado e Doutorado em Avaliação Psicológica Universidade São Francisco Dr. Ricardo Primi."— Transcrição da apresentação:

1 Padronização Psicometria – Mestrado e Doutorado em Avaliação Psicológica Universidade São Francisco Dr. Ricardo Primi

2 Definição clássica de precisão
“Na ausência de dados adicionais que apóiem a interpretação, um escore bruto em um teste psicológico é sem sentido” Anastasi & Urbina (1997). Quais dados adicionais ? (veja o gráfico) Padronização X Normatização

3 Métodos de atribuição de significado aos escores
A referência à norma compara os escores obtidos por um sujeito com os escores obtidos por um grupo de referência (grupo normativo) e indica a posição relativa desse escore frente ao grupo. A referência ao conteúdo é utilizada quando o conjunto de problemas presente no instrumento pode ser considerado uma amostra representativa do universo de problemas de um determinado conteúdo ou domínio. Nessas condições interpreta-se o escore nas tarefas (amostra) diretamente como uma estimativa do escore que o sujeito teria se respondesse a todos os problemas do universo (população). A referência ao critério compara o escore relacionando-o a alguma outra medida que se queira prever, chamada critério externo. Indica-se para cada nível no teste qual a expectativa de desempenho no critério externo. Referência no item .... TRI ...mais tarde veremos

4 Tipos de dados adicionais

5 Procedimentos Resultado bruto (significado da escala numérica dependente dos itens) » Transformação (linear e não linear) » Resultado padronizado (significado escala numérica independente dos itens) Quais referências estão “embutidas” nas escalas e tornam os números interpretáveis ? Conceitos estatísticos: Distribuição de notas Freqüência acumulada e percentil Escore padronizado “z” Curva normal teórica, probabilidades esperadas Métodos de transformação para padronização de notas

6 Escore Padronizado “z”
Varia geralmente de -4 a + 4 Média em 0 e Desvio Padrão 1

7 Curva Normal Teórica

8 Diferentes Métodos de Normatização
Normas desenvolvimentais Idade mental (Binet) QI de Razão QI = (IM/IC) X 100 Normas por série escolar (equivalentes às séries escolares “grade equivalents”). Normas ordinais (padrões sequenciais, diferente de normas por idade) Problemas: QI de razão a inconstância da unidade de medida da escala de Idade Mental em razão progressão da idade cronológica (analogia com altura). 6/5 = 12/10 = 18/15 = 120 A idade cronológica cresce regularmente mas a idade mental não Normas, normas equivalentes às séries: como interpretar os escores sem incorrer no erro de supor uma escala absoluta ligada às séries? (Ex: Criança da primeira série com escores em matemática acima da média de seu grupo equivalentes à quantidade de acertos da criança média da terceira série).

9 Diferentes Métodos de Normatização
Normas intra-grupo Compara-se a nota do indivíduo com a nota média de grupos mais próximos a ele. O problema dos Percentis Escore Padrão “z” Transformações lineares Não alteram a distribuição Transformações não lineares (escore padrão normalizado) Altera a distribuição fazendo-a semelhante à normal teórica. Curva normal teórica > para cada z > uma proporção X Curva normal “imperfeita” > para cada z > proporção diferente de X Proporção observada > descobre-se o z da curva teórica associada aquela proporção Procedimento: estima-se a frequencia acumulada dos escores, busca-se o valor de z na curva normal equivalente aquela proporção e atribui-se àquele z ao escore bruto QI de desvio

10 Exercício Arquivo da prova BPR-5i (infantil)
Crie uma tabela de conversão dos escores da prova RA para percentil Crie uma tabela de conversão para escores RA do teste para escores “z” Crie uma tabela para escores RA de QI de Desvio Crie uma tabela que transforme os escores de RA para escores padrão normalizados

11 Referência ao Critério
O que é Validade de Critério Relações teste-critério Estatísticas bivariadas Se o critério é uma variável dicotômica: distribuição para os dois níveis do critério, expectativa para cada grupo Estabelecer expectativas dos valores do critério para cada nível dos escores do teste

12 Baixa Performance no Trab. Alta Baixo Escore no Teste “A” Alto
Teste “A” não é válido Validade de 0,0 Baixa Performance no Trab. Alta Baixo Escore no Teste “A” Alto

13 Baixa Performance no Trab. Alta Baixo Escore no Teste “B” Alto
Teste “B” é Valido Validade de 0,75 Teste “A” não é Valido Validade de 0,0 Teste “C” tem validade menor que o teste “B” Validade de 0,45 Baixa Performance no Trab. Alta Baixo Escore no Teste “B” Alto

14 Quais chances de decisão correta temos na seleção?
Entrevista Estruturada Valida Entrevista Falso Positivos Decisão Correta negativos Baixa Performance no Trab. Alta Baixo Escore no Teste Alto

15 Estudos realizados no LabAPE da Universidade São Francisco
V. O. Baumgartl & R. Primi (2004) realizaram um estudo buscando evidências de validade de critério dos testes BPR-5, BFM-1, PMK e MSCEIT. Refs: Baumgartl, V. O. (2004). Evidências de validade do BPR-5, BFM-1 e PMK em eletricitários. Dissertação de Mestrado. Programa de Pós Graduação Stricto Sensu em Psicologia, Itatiba: Unversidade São Francisco Baumgartl, V. O. & Primi, R. (2004). Evidências de Validade da Bateria de Provas de Raciocínio (BPR-5) para Seleção de Pessoal. Manuscrito submetido para publicação. Sujeitos:79 eletricitários que trabalhavam em “linha viva” de 19 a 45 anos com tempo na função de 1 a 24 anos. Materiais: BPR-5: RV, RA, RE, RM e RN BFM-1: Atenção Difusa, Concentrada e Discriminativa PMK: Oito Fatores MSCEIT: Mayer-Salovey-Caruso Emotional Intelligence Test, percepção de emoções, facilitação, conhecimento e regulação emocional. Medidas de critério: acidentes de trabalho, produtividade e avaliação de desempenho e acidentes de trânsito

16 Resultados Principais: Acidentes de Trânsito
Foram calculadas 66 correlações e somente 3 (4,5%) foram significativas ?!: Medidas de Atenção (BFM-1): ns Medidas de Inteligência Emocional (MSCEIT): ns Medidas de Inteligência (BPR-5): Raciocínio Verbal para funcionários com mais de cinco anos de exercício na função (r=-0,33, N=43, p <0,04 ) Medidas de Personalidade PMK: Fator 8 que combina indicadores de Emotividade e Predomínio Tensional em funcionários com menos experiência na função (r=-0,41!!, N=34, p<0,01) Fator 6 que agrupa indicadores de reação vivencial intra/extratensão com funcionários com mais de cinco anos de exercício na função (r=0,35, N=38, p<0,03) O que isso significa em termos práticos?

17 Resultados: BPR-5

18 Resultados: PMK