Desenhos Quase-Experimentais Sem Grupo Controle e Sem Pré-Teste Capítulo 4 Shadish, Cook e Campbell (2002) Páginas: 103 a 115.

Objetivo do Capítulo Mostrar os custos à validade interna associados ao uso de desenhos de pesquisa nos quais o pesquisador fica submetido quando utiliza desenhos sem grupo controle ou sem pré-teste, em função de outras prioridades ou dificuldades (investimentos na validação de construto e na validade externa, necessidades práticas impostas por agências de fomento, questões éticas ou administrativas ou logísticas). Mostrar por meio de exemplos reais como analisar criticamente as ameaças à validade interna Apresentar elementos estruturais comuns a todos os desenhos experimentais, de modo que os pesquisadores possam escolher desenho mais fortes e menos suscetíveis a falhas na validade interna.

A Lógica do Quase-Experimento Os desenhos quase-experimentais são experimentos que não realizam a distribuição aleatória das unidades nas condições, porém possuem os mesmos propósitos e atributos estruturais dos experimentos. A inferência causal de um quase experimento também deve a tender os três requisitos básicos de todas as relações causais: A causa deve preceder o efeito. A causa deve covariar com o efeito. As explicações causais alternativas não são plausíveis.

A Lógica do Quase-Experimento Diferença entre experimentos e quase experimentos: No experimento as explicações alternativas tornam-se pouco plausíveis porque o delineamento assegura que essas explicações alternativas estejam distribuídas aleatoriamente nas condições. No quase experimento, como não é feita distribuição aleatória de unidades nas condições, são usados outros princípios para mostrar que explicações alternativas não são plausíveis.

Princípios para assegurar a implausibilidade de explicações alternativas em quase-experimentos Identificação e estudo prévio das ameaças (plausíveis) à validade interna da pesquisa. Primazia do controle pelo desenho (“evitar” o controle estatístico). Padrão coerente de igualação. (inclusão de variáveis não equivalentes e interações para verificar se explicações alternativas produzem o mesmo padrão obtido pelo tratamento).

Desenhos Sem Grupo-Controle Um grupo com apenas 1 pós-teste: X O1 Um grupo com pós-testes múltiplos: X1 (O1a, O1b ...O1N) Um grupo com pré e pós-teste: O1 X O2 Um grupo com pré e pós (dois prés): O1 O2 X O3 Um grupo com pré e pós e VD não equivalente: (O1A O1B) X (O2A O2B) Tratamento removido: O1 X O2 O3 X O4 Tratamento Repetido: O1 X O2 X O3 X O5

Delineamento com um grupo e um pós-teste Ausência do pré-teste: dificulta sabermos se a mudança ocorreu. Ausência de grupo controle: torna difícil sabermos se o efeito ocorreria ou não sem o tratamento. Ambigüidade sobre precedência temporal entre causa e efeito também pode ocorrer. Esse desenho tem mérito quando existem conhecimentos específicos sobre como a variável dependente se comporta (ou vem se comportando) Ex: Conhecimentos de alunos sobre cálculo são reconhecidamente baixos e estáveis. Não são aprendidos no cotidiano. Explicações alternativas sobre ganhos de aprendizagem em cálculo não são plausíveis, pois não estão disponíveis no dia-a-dia do aluno Para que as inferências sejam válidas sobre o efeito do tratamento (curso), é preciso que o efeito seja grande sobre a VD.

Um grupo, um pré-teste e múltiplos pós-testes Os resultados obtidos através desse delineamento são mais interpretáveis quando há uma “teoria” chamada padrão de igualação ou comparação ou de coerência. Usado quando o efeito é conhecido, a causa é desconhecida e procurada retrospectivamente. Ex. 1: detetives investigando crimes. Efeito: corpo de um morto Causa (assassino): inferida a partir de padrões de dicas (múltiplos pós-testes) sobre quando e como ocorreu morte. Explicações alternativas: obtida por meio da ligação entre as dicas sobre o modus operandi de cada criminoso. As dicas assumem o papel de pós-testes múltiplos, onde cada medida pós-teste refere-se a um construto diferente que será comparado aos padrões de efeitos (modus operandi) geradas por diferentes causas possíveis (assassinos) . Ex. 2: médicos investigando causa de uma morte. Efeito: pessoa morta. Causa (doença) inferida a partir de um padrão de dados: o tempo desde a morte, as características do corpo, o contexto etc.) e da comparação desses padrões com outros similares (explicações alternativas).

Um grupo com pré e 1 pós-teste Sem grupo controle: ameaça da história ou maturação. Usado quando as hipóteses alternativas não são plausíveis Ex: redução de fezes de cães nas ruas de uma cidade após campanha publicitária não é devida: ao período ano – inverno em que há uma redução dessa ocorrência, ao pré-teste, que ensina o que fazer, à perda de sujeitos do pré para o pós-teste, ao tamanho reduzido de amostra, que diminui o poder estatístico dos testes, aplicação do pré e do pós pelas mesmas pessoas pode reduzir a validade de construto. Raramente é possível produzir conhecimento confiável sobre causalidade com esse tipo de desenho, a menos que os resultados sejam particularmente bem conhecidos e o intervalo de tempo entre pré e pós-testes seja pequeno.

Um grupo com 2 pré-testes e 1 pós-teste Usado para reduzir a ameaça da maturação e da regressão à média. Ex: Campanha anti-tabagista Primeiro pré-teste : 1986 (O1) Segundo pré-teste: 1987 (O2) Pós-teste:1988 (O3) Resultados mostraram que os níveis de informação depois da campanha (O3) eram maiores do que os obtidos antes dela (O2) e também maiores do que os mensurados entre ) O1 e O2 (período de maturação).

Tratamento Removido O objetivo é mostrar que os resultados aumentam na presença e diminuem na ausência de um dado tratamento. Usado apenas quando os efeitos do tratamento se dissipam quando ele é removido. Ameaças: presença de outlier (necessária utilização de amostras grandes e medidas confiáveis), remoção do tratamento pode ser anti-ético e/ou gerar frustração Ex: Abandono espontâneo do tratamento anti-drogas por pessoas viciadas em drogas é oportunidade para aplicar o delineamento sem causar dano aos envolvidos. É interpretável quando o efeito da retirada do tratamento é grande. Realizar as observações dos resultados em intervalos regulares de tempo é recomendável.

Tratamento Repetido É usado em situações em que é possível introduzir, remover e re-introduzir um tratamento (X) para estudar como o tratamento e os resultados (O) covariam. São poucas as ameaças a este tipo delineamento de pesquisa. Ex: pesquisas sobre uso de narcóticos Uso de narcóticos antes da aplicação de metadona (O1) Uso de narcóticos após a aplicação (X) de metadona (O2) Uso de narcóticos após a remoção (X) da metadona (O3) Uso de narcóticos após a re-introdução (X) da metadona (O4) Resultados mostraram que o uso de narcóticos diminuiu drasticamente após a aplicação da metadona (de O1 para O2), aumentou quando a metadona foi removida (de O2 para O3)e voltou a diminuir quando a metadona foi re-introduzida (de O3 para O4).

Tratamento Repetido Ameaças à validade interna: maturação cíclica (ciclos de aumento e diminuição sazonal de um efeito), Ameaças à validade externa e estatística – ex: estudos de Hawthorne feitos com uma maioria de mulheres e amostras pequenas. Ameaças à validade de constructo ocorrem quando os sujeitos percebem as operações de introdução, remoção e re-introdução do tratamento. Pessoas podem gerar hipóteses sobre essas variações no tratamento e se comportar de acordo com elas. Pode haver sentimento de rejeição, ressentimento. Esse desenho é melhor aplicado quando os efeitos são transitórios, o tratamento é inclusivo (não obstrutivo), o intervalo entre o tratamento inicial e a sua re-introdução é longo, e não há ciclos temporais que confundem os efeitos do tratamento.

Uso de pré-testes retrospectivos em delineamentos de Tratamento Repetido Usado para avaliar retrospectivamente os efeitos da aplicação de metadona entre viciados em heroína, que passaram por múltiplos episódios de tratamento no passado. Auto-relatos podem ser comparados a outras outras medidas para verificar a sua validade. Auto-relatos retrospectivos não devem ser utilizados sozinhos para inferir causalidade. Devem ser associados a outros métodos.