Metodologia da Pesquisa em Ensino de Ciências I Aula III – Pesquisa empírica com intervenção: questões de validade e generalidade.

Algumas definições População alvo da pesquisa Amostra Caso Grupo de pessoas para as quais queremos que nossos resultados de pesquisa sejam válidos e aplicáveis; Amostra Parte da população que escolhemos para ser o grupo que estudaremos: a amostra é uma parte da população constituída por parte dos sujeitos da população; Caso Um elemento de um conjunto de elementos. Importante: caso  amostra. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

O que é o delineamento de uma pesquisa? Delinear uma pesquisa é estabelecer a forma pela qual a pesquisa será executada. Seleção da amostra ou caso População Forma de coleta de dados Delineamento Cronograma Forma de análise dos dados paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Tipos de delineamentos Experimentais Não Experimentais Com controle de variáveis Sem controle de variáveis Análise quantitativa dos dados Análise qualitativa dos dados Quantitativos Qualitativos paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Pesquisa Empírica vs Pesquisa Não Empírica Pesquisa empírica: vamos a campo, no local onde o evento acontece; Pesquisa não empírica: estudamos o evento a partir de fontes indiretas (relatos, por exemplo). Exemplo de delineamento não empírico Exemplo de delineamento empírico Pesquisa bibliográfica Observação participante paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Pesquisa Quantitativa vs Pesquisa Qualitativa Pesquisa quantitativa: variáveis quantificáveis analisadas usando ferramentas estatísticas Pesquisa qualitativa: técnicas de análise privilegiam a interpretação. Exemplo de pesquisa qualitativa Exemplo de pesquisa quantitativa Pesquisas com grupo de controle Pesquisa participante paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Pesquisa Experimental vs Pesquisa Não Experimental Pesquisa experimental: controle estrito de variáveis Pesquisa não experimental: abdicamos de controlar variáveis Exemplo de delineamento não experimental Exemplo de delineamento experimental Pesquisas com grupo de controle Estudo de Caso paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Um diagrama: o espaço da pesquisa Pesquisa qualitativa Pesquisa não empírica P2 P1 Pesquisa não experimental Pesquisa experimental P3 P4 Pesquisa empírica Pesquisa quantitativa paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Pesquisa empírica experimental É empírica pois é realizada no local em que o evento ocorre É experimental pois o pesquisador tenta controlar variáveis Pesquisa Empírica Experimental É com intervenção pois o pesquisador altera as condições nas quais os indivíduos vivem. É quantitativa quando faz uso de ferramentas da Estatística Inferencial É qualitativa quando utiliza técnicas interpretativas paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Um exemplo Um pesquisador deseja testar uma nova metodologia de ensino de certo conteúdo: vai usar uma simulação em computador. Então, toma uma turma que vai estudar o conteúdo usando a nova metodologia e outra que terá aulas tradicionais (aula expositiva, por exemplo). No final, aplica um teste a ambas as turmas e compara os escores obtidos pelos alunos com base em algum teste estatístico (teste t de Student, por exemplo). paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Características dessa pesquisa O pesquisador tenta controlar as variáveis de modo que apenas uma seja modificada (o método de ensino); O pesquisador intervém na realidade ao introduzir uma nova metodologia; O pesquisador trabalha com duas amostras da população; O pesquisador utiliza ferramentas da estatística para analisar a influência do método escolhido. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Questões de validade e fidedignidade Validade está ligada à seguinte pergunta: até que ponto a pesquisa é válida, ou seja, os resultados da pesquisa podem ser generalizados para toda a população? Fidedignidade está relacionada com a seguinte questão: se repetida sob as mesmas condições a pesquisa ainda daria os mesmos resultados? paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Fatores que afetam a fidedignidade Testagem História Regressão Interação entre múltiplos fatores Validade Interna Instrumentação Maturação Mortalidade Seleção paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Validade da pesquisa A validade da pesquisa tem a ver com duas questões: O resultado da pesquisa é generalizável? A pesquisa e seus instrumentos avaliam o que pretendem avaliar? paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Validade de um experimento Fatores de validade são aqueles que influenciam um experimento, limitando as asserções de conhecimento que podem ser feitas ou o grau de generalização obtido. Fatores de validade interna Fatores de validade externa paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Validade externa- tipologia Validade de População Validade Ecológica paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Validade de população Falamos de Validade de População quando lidamos com fatores ligados à generalização dos resultados a populações de sujeitos, das quais a amostra foi retirada. (Que tipo de sujeito pode ser esperado comportar-se do mesmo modo como o fez a amostra experimental?) paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

População experimentalmente acessível vs. população alvo A generalização da população de sujeitos que é disponível ao experimentador (a população acessível) para uma população de sujeitos sobre a qual ele está interessado (a população alvo) exige um conhecimento detalhado das características de ambas. Os resultados de um experimento podem aplicar-se somente para aqueles tipos especiais de pessoas das quais os sujeitos pertencentes ao grupo experimental foram selecionados e não a uma população qualquer. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Interação de variáveis pessoais e efeitos do tratamento Se a superioridade de um tratamento experimental sobre outro puder ser revertida quando sujeitos em diferentes níveis de alguma variável descritiva forem expostos ao tratamento, então existe uma interação dos efeitos do tratamento com variáveis de caráter pessoal. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Validade Ecológica Este tipo de validade lida com variáveis ligadas ao ambiente do experimento. Sobre quais condições, isto é, parâmetros, tratamentos, experimentadores, variáveis dependentes, etc., podem os mesmos resultados ser esperados? paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Descrição explícita da variável independente A generalização e repetição do experimento e seus resultados pressupõe um conhecimento completo de todos os aspectos do tratamento e condições experimentais. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Interferência de múltiplos tratamentos Quando dois ou mais tratamentos são administrados consecutivamente às mesmas pessoas dentro do mesmo ou de diferentes estudos, é difícil, se não mesmo impossível algumas vezes, identificar as causas dos resultados experimentais ou generalizar os resultados a condições nas quais somente um dos tratamentos está presente. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Interação sujeito – experimento (Efeito Hawthorne) O comportamento do sujeito pode ser influenciado parcialmente por sua percepção do experimento e de como ele poderia responder aos estímulos experimentais. Sua consciência de participação em um experimento pode precipitar comportamentos os quais não ocorreriam em condições não percebidas como experimentais. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Fatores novidade e mudança Os resultados experimentais podem ser parcialmente devidos ao entusiasmo ou quebra da rotina gerados pela novidade do tratamento. O efeito de algum programa novo em condições onde variações são comuns pode ser muito diferente do efeito em condições onde muito poucas variações são experimentadas. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Influência do experimentador O comportamento dos sujeitos pode ser influenciado não intencionalmente por certas características ou comportamentos do experimentador. As expectativas do experimentador podem também influenciar a aplicação do tratamento e as observações do comportamento dos sujeitos. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Sensibilização devido ao pré-teste Quando um pré-teste foi administrado, os resultados experimentais podem parcialmente ser resultado da sensibilização ao conteúdo do tratamento. Os resultados do experimento podem não ser aplicáveis a um segundo grupo de sujeitos que não foram pré-testados. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Sensibilização devido ao pós-teste Efeitos do tratamento podem ser latentes ou incompletos e aparecer somente quando um teste pós-experimental for aplicado. O pós-teste pode clarear alguns pontos. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Interação entre História e Tratamento Os resultados podem ser unicamente devidos a eventos estranhos ao tratamento que ocorreram paralelamente à aplicação do mesmo. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Medidas da variável dependente A generalização dos resultados depende da clara identificação das variáveis dependentes e da seleção dos instrumentos para medir estas variáveis. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Interação entre o tempo de medida e o tratamento Medidas da variável dependente em dois instantes de tempo diferentes podem produzir resultados diferentes. Certo efeito do tratamento observado imediatamente após sua aplicação pode não ser observado algum tempo depois, e vice-versa. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Interação entre a seleção e o tratamento Se estivéssemos conduzindo um experimento dentro de uma escola específica, usando distribuição aleatória dos sujeitos entre os grupos experimental e de controle, poderíamos não nos preocupar muito com o efeito principal: a própria escola. Se, por outro lado, existissem características da escola que influenciassem o tratamento experimental de modo que esse fosse mais ou menos efetivo do que o seria quando aplicado em outra população alvo pertencente a outra escola, isto poderia ser um problema sério para a generalização dos resultados obtidos. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Interação entre a instrumentação e o tratamento São aqueles efeitos associados à influência da instrumentação de medida sobre os resultados do tratamento. Por exemplo, a análise de uma entrevista clínica sabendo-se se o sujeito era do grupo experimental ou de controle. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Interações estatísticas Interações estatísticas não são aquelas entre indivíduos ou grupos, mas são aquelas entre variáveis independentes. Questões sobre a generalidade dos resultados podem ser vistas como questões sobre os efeitos de interação. Por exemplo, a presença de interação entre o tratamento (isto é, a variável independente primária) e o que o experimentador espera como resultado do tratamento é evidência de falta de possibilidade de generalização do estudo. Validade externa exige a ausência de interações entre a principal variável independente do estudo e as condições de pesquisa na variável dependente. Interações estatísticas não são aquelas entre indivíduos ou grupos, mas são aquelas entre variáveis independentes. Questões sobre a generalidade dos resultados podem ser vistas como questões sobre os efeitos de interação. Por exemplo, a presença de interação entre o tratamento (isto é, a variável independente primária) e o que o experimentador espera como resultado do tratamento é evidência de falta de possibilidade de generalização do estudo. Validade externa exige a ausência de interações entre a principal variável independente do estudo e as condições de pesquisa na variável dependente. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Formas de validar externamente um experimento Pela validação dos instrumentos usados para obter os dados. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Validade de conteúdo Um instrumento tem validade de conteúdo na medida em que se constitui em uma amostra representativa do conteúdo (conhecimentos e comportamentos) do que está sendo medido. É também chamada validade curricular, amostral ou lógica. Não é determinada estatisticamente, mas resulta do julgamento de diferentes examinadores que analisam a representatividade dos itens em relação às áreas de conteúdo e à relevância dos objetivos a medir. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Validade concorrente Um instrumento apresenta esse tipo de validade quando os resultados de sua aplicação se correlacionam com os de outro instrumento já validado e que mede a mesma coisa. É o mesmo que validade congruente. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Validade preditiva Se o instrumento tem esse tipo de validade isso significa que o pesquisador usou resultados obtidos com esse instrumento para fazer predições sobre o comportamento futuro dos respondentes e essas predições foram confirmadas. Ou seja, há uma alta correlação entre os escores do teste cuja validade se está argumentando e os escores no desempenho futuro, segundo algum critério, obtido independentemente. É também conhecida como validade empírica ou relativa ao critério. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Sugestões de leitura (os textos podem ser encontrados na área Textos de Apoio) Uma análise sobre o rigor da pesquisa em Educação pode ser encontrada em André, M. Pesquisa em Educação: buscando rigor e qualidade. Cadernos de Pesquisa 113, 2001. p:51-64. Um texto que faz uma comparação entre pesquisa qualitativa e pesquisa quantitativa é o texto de Portela, G. L. Abordagens teórico-metodológicas: Pesquisa quantitativa ou qualitativa ? Eis a questão. Outro texto que aborda a comparação entre pesquisa qualitativa e pesquisa quantitativa é o texto: Dias, C. Pesquisa Qualitativa: características gerais e referências. paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Fim da aula 3 paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

História Fatos que acontecem durante o experimento podem influenciar os resultados obtidos. Exemplo: Durante uma pesquisa sobre um novo método para ensinar astronomia ocorre um evento astronômico importante As pessoas envolvidas procurarão informações sobre astronomia, a mídia irá tratar do assunto, as pessoas conversarão sobre o evento. Qual, então, o efeito real do novo método sobre a aprendizagem de astronomia? Voltar paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Testagem O teste usado pode afetar o desempenho dos sujeitos pesquisados posteriormente. Exemplo: Durante uma pesquisa sobre um novo método para ensinar métodos anticoncepcionais a adolescentes um teste é aplicado para saber o que meninas de 14 anos sabem sobre sexo. As meninas podem ter sua curiosidade despertada e procurarem informação sobre o assunto. Qual, então, o efeito real do novo método sobre a aprendizagem de métodos anticoncepcionais? Voltar paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Regressão O grupo sujeito da pesquisa é selecionado por ser extremo em algum teste (grupo superior ou inferior). Exemplo: Alunos são selecionados para participarem de uma nova metodologia de recuperação de alunos com problemas de aprendizagem em Química. A média do grupo em um teste convergirá para a média da população, independente do efeito da nova metodologia. Qual, então, o efeito real do novo método sobre a aprendizagem de conceitos em Química? Voltar paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Instrumentação Os testes usados não são adequados ou equivalentes. Exemplo: Dois testes são aplicados, um antes outro depois de um curso baseado em uma nova metodologia para despertar a percepção ambiental de um grupo de alunos. O primeiro é um teste escrito e o segundo de múltipla escolha. Os dois testes podem medem variáveis diferentes. Qual ,então, o efeito real do novo método sobre a percepção ambiental? Se os testes mostrarem que após o curso com a nova metodologia, será que eles estão medindo as mesmas coisas? Voltar paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Mortalidade Ocorre abandono de participantes da pesquisa, causando viés nos resultados. Exemplo: Em uma pesquisa, os alunos melhor classificados em algum teste abandonam a pesquisa. Ao aplicarmos um outro teste no final estaremos apenas com alunos que foram mal no teste inicial. A tendência é obtermos um resultado com viés pela ausência dos alunos que foram melhor classificados no primeiro teste. Voltar paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Seleção O grupo da pesquisa é selecionado com alguma característica que influencia a pesquisa. Exemplo: Em uma pesquisa sobre um novo método para ensinar os alunos a comerem mais peixe o grupo escolhido é formado por filhos de pescadores de Corumbá. O resultado é influenciado pelo fato de que os alunos já são pessoas predispostas a comer peixe. Voltar paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Maturação O grupo da pesquisa “envelhece” ao longo da pesquisa. Exemplo: Em uma pesquisa é estudado um novo método para ensinar as meninas cuidados anticoncepcionais. O resultado é influenciado pelo fato de que as meninas menstruam ao longo do estudo. Este fato pode influenciar a maneira como elas lidam com a própria sexualidade. Voltar paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Interação entre múltiplos fatores Todos fatores anteriores podem atuar conjuntamente para mascarar os resultados da pesquisa. Exemplo: Em uma pesquisa é estudado um novo método para ensinar as meninas cuidados anticoncepcionais são selecionadas alunas de uma escola que já engravidaram. A pesquisa é desenvolvida durante dois anos. Fatores de seleção e maturação podem interagir e mascarar o resultado da pesquisa. Voltar paulo.rosa@ufms.br Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS