Validade Interna Capítulo 2

Apresentação em tema: "Validade Interna Capítulo 2"— Transcrição da apresentação:

1 Validade Interna Capítulo 2
Capítulo 2 – Shadish , Cook e Campbell (2002) Pp

2 Definições A covariação entre A e B reflete uma relação causal de A para B na forma como as variáveis foram manipuladas ou mensuradas? A deve preceder B A deve covariar com B Inexistência de hipóteses alternativas Termo livre de confusões proposto por Campbell (1986): VALIDADE CAUSAL MOLAR LOCAL Refere-se às inferências causais Os experimentos são pacotes complexos constituídos por muitos componentes Limitação da conclusão ao contexto do treinamento

3 Ameaças à Validade Interna
“Tipicamente, nós inferimos um efeito a partir de uma causa por meio da eliminação de outras possíveis causas” (Mackie, 1974), tais como: Precedência temporal ambígua Seleção História Maturação Regressão Desgaste Testagem Instrumentação Efeitos Aditivos e Interativos das Ameaças

4 Ameaças à Validade Interna
Precedência temporal ambígua Especialmente em estudos correlacionais, a relação temporal entre A e B pode ser confusa. O fato de A ocorrer antes de B não justifica que A causa B. Seleção As diferenças entre os grupos experimentais e de comparação (ou de controle), em algumas vezes, podem ser responsáveis por diferentes resultados na implementação do programa. A característica chave desta ameaça é a confusão dos efeitos do tratamento com diferenças existentes na população pesquisada.

5 Ameaças à Validade Interna
História Qualquer evento ocorrido entre o início do tratamento e o pós-teste e que pode ter produzido os efeitos observados na ausência do tratamento. Maturação Alterações naturais que podem ocorrer mesmo na ausência do tratamento. Podem constituir-se em ameaça se produzirem os resultados atribuíveis ao tratamento.

6 Ameaças à Validade Interna
Regressão Comum quando os participantes são selecionados a partir de escores extremos, os quais tendem a não ser tão extremos em outras mensurações (regressão para a média). Mortalidade Refere-se à perda de sujeitos ou participantes da pesquisa. Essa perda pode provocar diferenças entre pessoas que permanecerem em um e em outro grupo ou condição (controle, tratamento).

7 Ameaças à Validade Interna
Teste Influência exercida por um teste sobre os resultados da aplicação do mesmo teste em outra situação. Apesar de preocupante, esta ameaça é menor quando o intervalo de tempo entre uma e outra aplicação de um teste é razoável. Instrumentação Uma alteração no instrumento pode ocorrer ao longo do tempo mesmo na ausência do tratamento, simulando, assim, o efeito do tratamento. Difere da ameaça referente à testagem, pois reflete uma mudança no instrumento, e não no participante. Comum em estudos sobre o desenvolvimento infantil, em que as medidas são alteradas ao longo do tempo.

8 Ameaças à Validade Interna
Efeitos Aditivos Várias ameaças podem ocorrer conjuntamente. A rede de ameaças será maior ou menor, dependendo da direção e da magnitude do efeito de cada viés e da forma como essas variáveis atuam conjuntamente (aditivamente ou interativamente); Inferências causais imprecisas são mais prováveis quanto há muitas ameaças operando simultaneamente na mesma direção.

9 Reduzindo as ameaças Em delineamentos quase-experimentais:
Modificar as características do desenho da pesquisa ou tornar as ameaças explícitas e, então, eliminá-las uma por uma. Intervenção: Cobrança de 20 centavos por ligação para o diretório local de assistência. Análise das ameaças à validade: Regressão: improvável, pois a série anterior à intervenção relata um alto número de ligações por muitos anos; Seleção: improvável, pois a população usuária do serviço não sofreu mudanças atípicas nos meses anteriores e posteriores à intervenção; Mortalidade: improvável, pois é difícil imaginar que grande parte dos usuários tenham desconectado seus telefones em resposta à cobrança; Testagem: no caso, o teste é a conta do usuário, a qual não sofreu alteração alguma nos períodos analisados; História: plausível somente se outro evento ocorrido simultaneamente com a cobrança tivesse gerado efeito tão drástico, o que parece improvável. cobrança 3000 2500 Número de Ligações 2000 1500 1000 500 62 64 66 68 70 72 74 Ano

10 Validade da conclusão estatística:
Questões relevantes: As variáveis independentes e dependentes estão de fato correlacionadas? O efeito da VI sobre a VD foi estatisticamente significativo? Possíveis ameaças: baixo poder estatístico (amostras pequenas ou testes com baixo poder para testar o efeito); violação de pressupostos estatísticos; instrumentos pouco válidos; heterogeneidade dos sujeitos nas condições; uso de muitos testes estatísticos para testar efeitos; baixa confiabilidade do experimento ou condições de pesquisa; ocorrências imprevistas durante o experimento.

11 Validade interna Questões importantes: O que causou os efeitos?
O tratamento sozinho produziu os resultados? Há explicações alternativas para os efeitos? Quais são elas? Até que ponto (quanto e em que direção) essas variáveis externas afetaram os resultados? Ameaças: história (ocorrências alheias ao experimento); maturação (alterações nos participantes ocorridas entre o pré e o pós-teste); instrumentação e testagem, regressão à média, interação da seleção de sujeitos com o tratamento gerando grupos não equivalentes; difusão ou imitação; equalização compensatória dos grupos; rivalidade compensatória entre grupos (controle e tratamento); desmotivação ressentida de um ou mais grupos.

12 Validade de constructo
Questões importantes: O que significam os resultados? Como os conceitos foram definidos? As definições e operacionalizações estão alinhadas entre si? As medidas são válidas (representativas do constructo que se propõem a medir?) e precisas (avaliam apenas o que estão se propondo a medir? Ameaças: Explicações imprecisas dos constructos; Distorção causada pela mono-operacionalização (uma medida para um constructo); Distorção causada pelo mono-método (mesmo método ou método similar); Sujeitos da pesquisa com conhecimento das hipóteses experimentais; Confusão entre conceitos; Expectativas do a avaliador. Dificuldade de generalização dos achados em função da definição e medidas adotadas.

13 Validade Externa: Questão relevante:
Os achados da pesquisa podem ser generalizados para outras pessoas, contextos e épocas? Ameaças: - amostras de conveniência impedem ou dificultam a generalização; - interações com variáveis externas.

14 Delineamentos e controle de ameaças
Fonte: Meneses, 2007

15 Delineamentos e controle de ameaças
Fonte: Meneses, 2007

16 Delineamentos e controle de ameaças
Fonte: Meneses, 2007

17 Delineamentos e controle de ameaças
Fonte: Meneses, 2007