Validade dos testes AULA 08 Igor Menezes Princípios de Psicometria.

Apresentação em tema: "Validade dos testes AULA 08 Igor Menezes Princípios de Psicometria."— Transcrição da apresentação:

1 Validade dos testes AULA 08 Igor Menezes Princípios de Psicometria

2 Principais Definições - Validade
“Um acordo entre dois esforços para medir a mesma coisa com diferentes métodos” (Campbell e Fiske, 1987). “Grau de proximidade da realidade”(Johnston and Pennypacker, 1980). “Quando um instrumento mede o que se propõe medir”. (Black and Champion, 1980) Igor Menezes Princípios de Psicometria

3 Definições - Validade “A validade diz respeito ao aspecto de a medida ser congruente com a propriedade medida dos objetos e não com a exatidão com que a mensuração, que descreve esta propriedade do objeto, é feita” (Pasquali, 1997). “A validade de um teste refere-se àquilo que o teste mede e o quão bem ele faz isso” (Anastasi, 2000). Igor Menezes Princípios de Psicometria

4 Validade – Aspectos Gerais
Um instrumento é válido quando as diferenças de resultados obtidas com o instrumento refletem, necessariamente, diferenças reais entre indivíduos ou entre o mesmo indivíduo em ocasiões diferentes. É a validade que permitirá realizar as inferências e interpretações corretas das pontuações que são obtidas ao se aplicar um teste e estabelecer a relação com o construto que se pretende medir. Igor Menezes Princípios de Psicometria

5 Teoria Clássica dos Testes (TCT)
Validade dos Testes A Validade para a Teoria Clássica dos Testes (TCT) Igor Menezes Princípios de Psicometria

6 História do Parâmetro da Validade
Três Períodos: 1º Período: : predomínio da validade de conteúdo 2º Período: : predomínio da validade de critério 3º Período: 1970-presente: predomínio da validade de construto Igor Menezes Princípios de Psicometria

7 História do Parâmetro da Validade
Construct Validity in Psychological Tests (1955) Validação do Construto Tríade: Conteúdo, Construto, Critério Lee Cronbach ( ) Igor Menezes Princípios de Psicometria

8 História do Parâmetro da Validade
Critério Conteúdo Construto Construto VALIDADE Critério Conteúdo Igor Menezes Princípios de Psicometria

9 Tipos de Validade Validade de Conteúdo Validade Relacionada a Conteúdo
Validade Aparente Validade Concorrente Validade Preditiva Validade Relacionada a Critério Validade Relacionada a Construto Validade Convergente Validade Discriminante Igor Menezes Princípios de Psicometria

10 Validade Relacionada a Conteúdo
Exame sistemático do conteúdo do teste, para determinar se os itens cobrem uma amostra representativa do universo do comportamento a ser medido e para determinar se a escolha dos itens é apropriada e relevante. A validade relacionada a conteúdo é um procedimento global, não-estatístico, relacionado ao exame sistemático do conteúdo do teste, com a finalidade de determinar se os itens desenvolvidos para avaliar um construto estão de acordo com os critérios adotados para sua elaboração (comportamental, objetividade, simplicidade, clareza, relevância, precisão, variedade, modalidade, tipicidade e credibilidade). Igor Menezes Princípios de Psicometria

11 Validade Relacionada a Conteúdo
Análise de Juízes: é uma consulta feita a expertises (peritos, especialistas na área de investigação) na área do construto avaliado, os quais irão analisar a representatividade dos itens em relação à literatura (teoria sobre o construto) e à relevância dos objetivos a medir. Utilizam-se, em média, de 6 a 8 juízes para essa etapa. Espera-se, geralmente, uma concordância, de no mínimo, 80% entre os juízes, os quais deverão avaliar a pertinência de cada item em relação ao construto avaliado, além de auxiliar na adequação dos itens ao público-alvo. Igor Menezes Princípios de Psicometria

12 Validade Relacionada a Conteúdo
Embora não exista somente um modelo para análise de juízes, é comum que, para escalas graduadas, sejam perguntados aos expertises três questões gerais acerca da avaliação de cada item: 1ª) O item refere-se ao construto avaliado? (1-Sim ou 2-não) 2ª) A qual fator o item pertence? 3ª) Os itens estão adequados aos critérios de elaboração? Solicita-se finalmente que apontem sugestões ou observações para a melhoria de cada item. Igor Menezes Princípios de Psicometria

13 Validade Relacionada a Conteúdo
Análise Semântica: é a aplicação da versão inicial do instrumento a alguns sujeitos (público-alvo) para os quais o instrumento foi desenvolvido. Esse procedimento busca verificar se os itens estão sendo bem compreendidos pelo público-alvo e se não há itens formulados de maneira deselegante ou que não se adequem bem ao nível sócio-cultural do sujeito. Diferentes técnicas podem ser adotadas para análise semântica. São duas as técnicas mais utilizadas: 1ª) são dispostos, em média, 30 sujeitos em uma sala ou 2ª) são compostos pequenos grupos de sujeitos (3 ou 4 sujeitos), do estrato mais baixo ao estrato mais elevado. Igor Menezes Princípios de Psicometria

14 Validade Relacionada a Conteúdo
A validade de conteúdo também pode ser identificada pelo tipo e quantidade de erros cometidos em um teste. A validade de conteúdo pode ser demonstrada estatisticamente, mediante a análise de itens (níveis de dificuldade e discriminação dos itens). Igor Menezes Princípios de Psicometria

15 Procedimentos de Validação do Conteúdo
Definição dos Objetivos do Teste; Seleção do universo de comportamentos que aparentam medir o construto (pool of items). Criação dos Itens; Análise dos Itens; Escolha dos Itens Adequados ao Teste (Conteúdo). Igor Menezes Princípios de Psicometria

16 Validade Aparente (de Face)
Refere-se ao que o teste mede aparentemente. Diz respeito à linguagem; à forma como o conteúdo está sendo apresentado. O teste deve “parecer válido” para os examinandos que o realizam. Igor Menezes Princípios de Psicometria

17 Validade Relacionada a Critério
Aborda a qualidade da escala ou teste de funcionar como um preditor presente ou futuro de outra variável, operacionalmente independente, chamada critério. A noção básica subjacente à validade relacionada a critério é que, se um instrumento desenvolvido para avaliar uma característica psicológica realmente avalia adequadamente tal atributo, ele deverá se correlacionar positivamente com as outras formas de avaliação desse construto. Por exemplo, se uma pessoa apresenta elevada aptidão em um teste que mede raciocínio numérico, é coerente que ela demonstre bom desempenho acadêmico em uma faculdade de engenharia, estatística, física, etc. Igor Menezes Princípios de Psicometria

18 Validade Relacionada a Critério
Esse critério dependerá do tipo de construto avaliado, mas, de um modo geral, poderá ser um comportamento exibido em uma situação experimental ou não-experimental, uma entrevista, uma dinâmica de grupo, um desempenho futuro dentro de uma determinada área ou profissão ou outro instrumento já validado e que avalie o mesmo construto. O critério é, assim, um padrão no qual um julgamento ou decisão pode ser baseado. Igor Menezes Princípios de Psicometria

19 Validade Relacionada a Critério
Grau de eficácia que um teste tem em predizer um desempenho específico de um sujeito. Uso de técnicas estatísticas: correlação entre os resultados do teste e as condutas subseqüentes tomadas como critério. As decisões relacionadas ao critério dependem dos objetivos do teste e do momento presente ou futuro para o qual seus escores permitem ser comparados. Igor Menezes Princípios de Psicometria

20 Tipos de Validade de Critério
Validade Concorrente (simultânea) Na validação concorrente se obtém a medida do critério no momento em que se obtém o resultado do teste. Envolve a determinação do status atual de uma pessoa em relação a algum esquema classificatório, como categorias diagnósticas ou níveis de desempenho. Igor Menezes Princípios de Psicometria

21 Tipos de Validade de Critério
Validade Concorrente (simultânea) A expressão “validade de critério” é comumente utilizada quando: - adota-se um teste psicológico como critério, para comparar o diagnóstico realizado mediante entrevista ou outro tipo de observação; - observa-se uma superdotação ou retardo mental severo em uma pessoa e aplica-se um teste como critério para identificar tal característica; e - busca-se detectar características psicológicas desejáveis para um sujeito ocupar um determinado cargo. Igor Menezes Princípios de Psicometria

22 Tipos de Validade de Critério
Validade Preditiva Na validade preditiva obtém-se a medida do critério após a obtenção do resultado do teste. Sendo assim, envolve a predição de um desempenho ou comportamento futuro. A expressão “validade preditiva” é comumente utilizada quando se deseja adotar testes para predizer o desempenho no contexto ocupacional e educacional. Embora o termo validade preditiva tenha um caráter de busca de predição de comportamentos futuros, toda e qualquer informação que se tem do sujeito é a informação do seu status atual no momento da testagem.

23 Tipos de Validade de Critério
Validade Preditiva A diferença fundamental entre a validade concorrente e a validade preditiva não reside necessariamente no critério temporal, mas na finalidade da testagem. Se a finalidade do teste utilizado estiver direcionada à predição de um critério futuro, caracteriza-se tal procedimento como validade preditiva. Caso os fins de testagem sejam diagnosticar comportamentos do momento atual, utiliza-se como descrição de tal procedimento a expressão validade concorrente.

24 Validade Concorrente e Preditiva: interpretação
Tipos de Validade de Critério Validade Concorrente e Preditiva Validade Concorrente e Preditiva: interpretação +1,0 -1,0 Menor a correlação Maior a correlação Parâmetro Ideal: r ≥ +0,50 Igor Menezes Princípios de Psicometria

25 Validade de Critério – aspectos gerais
A diferença fundamental entre a validade concorrente e a validade preditiva não reside necessariamente no critério temporal, mas na finalidade da testagem. Validade Preditiva Validade Concorrente Tempo e Objetivo Prediz Comportamentos Diagnostica Igor Menezes Princípios de Psicometria

26 Validade Relacionada a Construto
É a extensão em que podemos dizer que o teste mede um construto teórico ou um traço. Pela validade de construto infere-se o grau em que uma pessoa possui determinada característica a partir das definições operacionais do construto. As falhas no processo de validação podem assim advir não somente do instrumento ou da sua administração, mas pode estar na teoria sobre a qual a validade se apoiou. Igor Menezes Princípios de Psicometria

27 Validade Relacionada a Construto
Validade Convergente Quando se detectam correlações positivas fortes entre os itens de um instrumento que mensura um determinado construto com itens de outro instrumento, que também avalia o mesmo construto. Confusão conceitual: validade convergente (resultados) x validade de critério (técnica). Não obstante tal distinção, é importante lembrar que sempre a validade de critério é parte da validade de construto, pois o objetivo final dos estudos de validação é garantir a legítima representação do construto investigado. Igor Menezes Princípios de Psicometria

28 Elevada Correlação Positiva
Validade Relacionada a Construto Validade Convergente Escore A Escore B Teste QI - A Momento 1 Elevada Correlação Positiva QI - B Igor Menezes Princípios de Psicometria

29 Validade Convergente: interpretação
Validade Relacionada a Construto Validade Convergente Validade Convergente: interpretação +1,0 -1,0 Menor a correlação Maior a correlação Parâmetro Ideal: r ≥ +0,50 Igor Menezes Princípios de Psicometria

30 Validade Relacionada a Construto
Validade Discriminante Quando se detectam correlações muito baixas ou negativas entre os itens de um determinado fator com fatores que, teoricamente, não deveriam estar correlacionados (investigando-se o mesmo construto) Quando se detectam correlações muito baixas ou negativas entre os itens de um construto com itens de outros construtos. Para tanto, deseja-se encontrar uma correlação baixa ou negativa (ou não significativa) entre os descritores de diferentes construtos. A validade discriminante pode ser referir ainda à capacidade de um instrumento discriminar grupos de sujeitos que apresentam elevada magnitude no atributo avaliado de sujeitos que possuem baixa magnitude ou não possuem. Igor Menezes Princípios de Psicometria

31 Baixa Correlação Positiva ou Correlação Negativa
Validade Relacionada a Construto Validade Discriminante Escore A Escore B Teste QI Momento 1 Baixa Correlação Positiva ou Correlação Negativa IFP Igor Menezes Princípios de Psicometria

32 Validade Preditiva: interpretação
Validade Relacionada a Construto Validade Discriminante Validade Preditiva: interpretação +1,0 -1,0 Menor a correlação Maior a correlação Parâmetro Ideal: r < 0,30 Igor Menezes Princípios de Psicometria

33 Técnicas Estatísticas para o Estudo da Validade de Construto pela TCT
Validade Relacionada a Construto Técnicas Estatísticas para o Estudo da Validade de Construto pela TCT Correlações com outros testes; Análise Fatorial; Consistência Interna. Igor Menezes Princípios de Psicometria

34 Correlações com Outros Testes
Escore A Escore B Teste QI - A Momento 1 Cálculo da correlação QI - B Momento 2 Igor Menezes Princípios de Psicometria

35 Correlações com outros testes: interpretação
+1,0 -1,0 Menor a correlação Maior a correlação Parâmetro Ideal: r ≥ +0,50 Igor Menezes Princípios de Psicometria

36 Análise Fatorial PRÓXIMA AULA Igor Menezes Princípios de Psicometria

37 Consistência Interna O critério é o escore total do próprio teste.
Procedimentos – 1º tipo: 1º) Selecionam-se grupos extremos com base no escore total do teste. 2º) O desempenho do grupo de critério superior em cada item de teste é comparado com o desempenho do grupo inferior. 3º) Os itens que não mostram uma proporção significativamente maior de “acertos” (respostas solucionadas) no grupo superior do que no inferior são considerado inválidos, e são eliminados ou revisados. Igor Menezes Princípios de Psicometria

38 Cálculo da correlação (bisserial)
Consistência Interna Modelo – 1º tipo: Cálculo da correlação (bisserial) Escore Total “acerto-erro” Escores Item A1 Item A2 Item A3 Item A4 : Item AN Teste Igor Menezes Princípios de Psicometria

39 Consistência Interna: interpretação
Modelo – 1º tipo: Consistência Interna: interpretação Parâmetro Ideal: Os itens que não mostram uma proporção significativamente maior de “acertos” (respostas solucionadas) no grupo superior do que no inferior são considerado inválidos, e são eliminados ou revisados. Igor Menezes Princípios de Psicometria

40 Consistência Interna Procedimentos – 2º tipo:
1º) Correlacionam-se os escores de subtestes com o escore total. 2º) Qualquer subteste que obtiver uma baixa correlação com o escore total é eliminado. Igor Menezes Princípios de Psicometria

41 Consistência Interna Escore Total Escores Modelo – 2º tipo:
Cálculo da correlação Escore Total Escores Teste Igor Menezes Princípios de Psicometria

42 Consistência Interna (2º Tipo): interpretação
Modelo – 2º tipo: Consistência Interna (2º Tipo): interpretação +1,0 -1,0 Menor a correlação Maior a correlação Parâmetro Ideal: r ≥ +0,50 Igor Menezes Princípios de Psicometria

43 Os itens são elaborados por parecerem cobrir o atributo a ser medido.
Validação no Processo de Construção do Teste pela TCT Os itens são elaborados por parecerem cobrir o atributo a ser medido. São realizadas análises empíricas dos itens, com a seleção dos itens mais efetivos, ou válidos, do conjunto inicial de itens. Análises internas: análises estatísticas de agrupamentos de itens ou subtestes. Validação de vários escores e combinações interpretativas dos escores por meio de análises estatísticas em comparação com critérios externos, da vida real. Igor Menezes Princípios de Psicometria

44 Teoria de Resposta ao Item (TRI)
Validade dos Testes A Validade para a Teoria de Resposta ao Item (TRI) Igor Menezes Princípios de Psicometria

45 Validade Relacionada a Conteúdo
Não somente é adequada, como também recomendável para qualquer tipo de teste, escala ou inventário. A validade de conteúdo, pela TRI, é inserida no teste desde o começo, dado que buscam-se formular definições detalhadas do traço ou do construto, derivadas da teoria psicológica, de pesquisas prévias ou observação e análises sistemáticas do domínio comportamental relevante. O estudo da dimensionalidade do construto, mediante a operacionalização da teoria que fundamentará a construção do teste, e a criteriosa elaboração de descritores é o principal elemento que atestará a validade de conteúdo. Para tanto é que é desenvolvida a matriz de especificações do teste. Princípios de Psicometria

46 Validade Relacionada a Conteúdo
Em um segundo momento, considerando os procedimentos teóricos de validação do conteúdo de um teste pela TRI, deve-se realizar a análise de juízes e a análise semântica. A validade de conteúdo realizada pela TRI não busca desenvolver itens de forma intuitiva, mas de forma sistemática e embasada em descritores. A validade deixa assim de ser aparente, para ser aceita como uma validade real. Todos os demais cuidados tomados para a elaboração de itens pela TCT são mantidos na TRI. Igor Menezes Princípios de Psicometria

47 Procedimentos de Validação do Conteúdo
Definição dos Objetivos do Teste; Levantamento das definições operacionais do construto (estudo da dimensionalidade). Elaboração da matriz de especificações (dimensões e descritores) Criação dos Itens; Análise dos Itens; Escolha dos Itens Adequados ao Teste (Conteúdo). Igor Menezes Princípios de Psicometria

48 Validade Relacionada a Critério
Embora não seja muito comum na literatura a adoção de procedimentos estatísticos pela TRI para o estudo da validade de critério, uma das principais contribuições da Psicometria Moderna para tal tipo de validade consiste no emprego de correlações não- lineares (eta ou tetracórica) entre o teste e o critério selecionado. Essa solução é potencialmente mais precisa a depender do tipo de distribuição observada e da forma como as variáveis se comportam. Da mesma maneira, o critério poderá ser o desempenho no comportamento avaliado, a teoria sob investigação ou um outro instrumento, desde que este seja válido e fidedigno. Igor Menezes Princípios de Psicometria

49 Técnicas Estatísticas para o Estudo da Validade de Construto pela TRI
Validade Relacionada a Construto Técnicas Estatísticas para o Estudo da Validade de Construto pela TRI Análise Fatorial Full Information (FIFA); Curva de Informação do Teste; Modelagem por Equações Estruturais (SEM). Igor Menezes Princípios de Psicometria

50 Análise Fatorial Full Information
A Análise Fatorial Full Information (FIFA) é a técnica mais moderna para o estudo da unidimensionalidade do construto. A FIFA não requer o cálculo de intercorrelações entre os itens, pois trabalha com informações completas em lugar dos métodos de informação limitada ou sumarizada pela correlações. Igor Menezes Princípios de Psicometria

51 Análise Fatorial Full Information
PRESSUPOSTOS DA TRI: UNIDIMENSIONALIDADE E INDEPENDÊNCIA LOCAL Unidimensionalidade: o grupo de itens deve medir uma mesma variável ou construto latente; todos os itens devem se referir a um mesmo traço latente. A unidimensionalidade dos itens de um teste é uma condição necessária para analisar qualquer característica ulterior de um item, tais como dificuldade e discriminação. Igor Menezes Princípios de Psicometria

52 Análise Fatorial Full Information
PRESSUPOSTOS DA TRI: UNIDIMENSIONALIDADE E INDEPENDÊNCIA LOCAL Independência Local: para um sujeito com determinado valor na variável unidimensional, sua resposta a um item não vem influenciada por suas respostas a outros itens. Se a unidimensionalidade é cumprida, disto deriva, matematicamente, a independência local entre os itens, dado que os dois conceitos são equivalentes. Igor Menezes Princípios de Psicometria

53 Análise Fatorial Full Information
A FIFA trabalha com padrões distintos de resposta ao item e tem como vantagens (Pasquali, 2003): 1ª) Levar em conta toda a informação empírica da aplicação do teste, não somente informações sintetizadas, como é o caso na Análise Fatorial que utiliza as correlações entre variáveis; 2ª) Conseguir trabalhar o acerto dado o acaso; e 3ª) Conseguir tratar os dados omissos. Igor Menezes Princípios de Psicometria

54 Análise Fatorial Full Information
Para atestar a unidimensionalidade do construto, a FIFA trabalha com a técnica de rotação oblíqua, geralmente a PROMAX, com a extração de dois fatores. Por esse método são extraídos dois fatores, com o intuito de verificar se são correlacionados ou não. A presença de uma alta correlação entre ambos os fatores indica que, mesmo que haja um fator de segunda ordem, avalia-se somente um traço latente, pelo que se assume o pressuposto de unidimensionalidade. Sendo assim, um dos principais resultados desejados pela FIFA é encontrar uma forte correlação positiva entre os dois primeiros fatores. Igor Menezes Princípios de Psicometria

55 Análises no software TESTFACT Correlação entre fatores
Análise Fatorial Full Information Análises no software TESTFACT Correlação entre fatores

56 Análise Fatorial Full Information: interpretação
Parâmetro Ideal: Para a garantia da unidimensionalidade, a FIFA deverá ser realizada de maneira que se atendam a três critérios: 1º) Grande parte dos itens possua elevadas cargas fatoriais em um único fator. Não haver cargas fatoriais nulas ou negativas. 2º) A existência de um único fator (ou uma alta correlação entre o 1º fator e o fator de 2ª ordem). 3º) Correlação aceitável entre fatores: r  0,30.

57 Curva de Informação do Teste
Além do estudo das cargas fatoriais do item, a TRI trabalha a validade de um instrumento mediante o conhecimento da Curva de Informação do Teste. A Curva de Informação do Teste mostra para que faixa de níveis de teta o teste é particularmente válido e para que faixas ele não o é. Compara a informação média da prova com a informação média esperada, considerando o conjunto dos dados. Mostra para qual faixa de teta (aptidão dos candidatos) a prova mostra-se particularmente válida: Faixa de Validade. Igor Menezes Princípios de Psicometria

58 Curva de Informação do Teste
A Curva de Informação do Teste permite um ajuste entre a amplitude do parâmetro de dificuldade do conjunto de itens e o teta dos sujeitos, detectando possíveis itens que se encontram fora da faixa de validade. Itens acima da faixa de validade são demasiadamente difíceis para os respondentes e abaixo da faixa, fáceis em excesso. Igor Menezes Princípios de Psicometria

59 Curva de Informação do Teste
Exemplo: Itens muito difíceis Acima de 1,5 Abaixo de - 1,4 Itens muito fáceis

60 Curva de Informação do Teste
Curva de Informação do Teste: interpretação Faixa de Validade Acima Abaixo Itens muito fáceis Itens muito difíceis Parâmetro Ideal: Itens dentro da Faixa de Validade Igor Menezes Princípios de Psicometria