Projeto de Experimentos Científicos Análise de Sistemas por Usuários

Apresentação em tema: "Projeto de Experimentos Científicos Análise de Sistemas por Usuários"— Transcrição da apresentação:

1 Projeto de Experimentos Científicos Análise de Sistemas por Usuários
Marcelo da Silva Hounsell Avanilde Kemczinski Maio/2008

2 Objetivo de uma Pesquisa
O que ? Conhecer um fenômeno Como ? Através de um experimento O que nos interessa observar Resultado é a expectativa/tendência

3 Supõe-se que o Tema, Objetivo e Teminologias já tenham sido tratados antes
Estes normalmente aparecem na introdução e fundamentação do trabalho

4 Qual é o formato de pesquisa mais comum em Ciência da Computação?
Experimental Exploratória Quais técnicas são as mais usadas?

5 Pesquisa Experimental
Manipula variáveis relacionadas com o objeto de estudo com objetivo de identificar causa/efeito procurando evitar a interferência de variáveis intervenientes Interfere-se na variável independente e observa-se o que acontece com a dependente. Tendências, Regressão

6 Pesquisa Exploratória
Visa descobrir a relação existente entre as variáveis de interesse, principalmente quando há pouco conhecimento sobre o problema a ser estudado para, então, aumentar o entendimento sobre este Associação, Correlação

7 Roteiro (M&L) O Problema Hipóteses Variáveis Público Estratégia
Coleta de Dados e Tabulação Tratamento e Análise de Dados

8 O Problema Como comparar o uso de dois sistemas computacionais ? Uso
Avaliar resultado/performance Avaliar satisfação

9 Hipóteses Muitas vezes estas não ficam explícitas no texto
É uma suposta resposta ao objetivo e que será aceita ou refutada ao final da pesquisa.

10 Qual a hipótese do seu trabalho ?
Qual a resposta que se supõe será obtida ?

11 Hipóteses Exemplos Uma interface de RA aumenta o aprendizado da inspeção de focos da dengue Uma interface com RA não influencia na avaliação do Controle Motor O uso de recursos computacionais aumentam o aprendizado da programação de robôs

12 Variáveis do Experimento
Características que podem ser observadas/medidas

13 Variáveis Tipos Formas Dependentes Independentes Intervenientes
Quantitativas Qualitativas

14 Tipos de Variáveis (CBS: 78)
Independentes (X) Causa ou fator determinante Não podem ser controlados Dependentes (Y) Fatores a serem observados/coletados São afetadas pela var. independentes Resultam da manipulação das v.ind. Intervenientes (w) Modificam a v.d. sem que tenha havido modificação na v.i.

15 Exemplo (CBS: 78) Alunos da escola pública e de particulares (X) têm notas (y) diferentes no vestibular pelo nervosismo de uns ou de outros (w)

16 Variáveis Independentes (M&L:140)
É preciso avaliar a real importância de ... Gênero (M/F) (influencia mesmo ?) Idade (Faixa etária) Ambiente do Experimento (Univ., Casa, Trab.) Estado Emocional/Atenção (horário) Escolaridade Estilo Cognitivo Familiaridade com o Computador Familiaridade ou Conhecimento Específico Em RV/RA Em Dengue Com Jogos 3D

17 Formas das Variáveis (B:30)
Quantitativas Cardinais Numéricas Tempo de Serviço, Altura, ... Qualitativas Ordinais Quando há uma relação de ordem entre elas Ex: básico|médio|avançado; Categóricas Sem relação de ordem Ex: regiões do país, estado civil

18

19 Variáveis Dependentes
Quantitativas/Objetivas Tempo, Altura Acertos/Erros Repetições/Re-começos Paradas/Retornos Qualitativas/Subjetivas Conhecimento Fadiga/stress Preferência/gosto

20 Qual usar ?

21 Selecionando as variáveis (B:30)
Em termos do trabalho que você exerce na empresa, você se sente: Muito satisfeito, Pouco satisfeito Insatisfeito Dê uma nota de 0 a 10, relativa ao seu nível de satisfação com o trabalho que você exerce na empresa. Nota: ____

22 “a pesquisa quantitativa tende a ser mais precisa e confiável” (CMC:115)

23 No caso da comparação de sistemas........
(Hounsell, 2008)

24 Dados qualitativos são indicativos da satisfação do usuário e devem ser confrontados com dados quantitativos de performance Idealmente, um sistema deve ser bom para o usuário e promover boa performance

25 Roteiro (M&L) O Problema Hipóteses Variáveis Público Estratégia
Coleta de Dados e Tabulação Tratamento e Análise de Dados

26 Público: Universo Universo/Público-alvo
São as pessoas as quais queremos que os resultados se apliquem (B:27) Quem são, quais as características do Universo ? Como identifica-lo dentre toda a população do planeta (rever variáveis independentes) Quantas são as pessoas que estão relacionadas com este experimento ?

27 Quem é o Universo do seu experimento ?

28 Exemplos Pacientes pós-AVC, com gravidade abaixo de severa.
Crianças de 4a a 8a séries Interessados em Programação de Robôs

29 Público: Amostra Amostra Impossível avaliar Todo o Universo (Ideal).
É mesmo representativa do Universo ? Quais os critérios para selecionar a amostra do universo ? Porque ? Quantos indivíduos são necessários para se obter uma resposta confiável ?

30 Amostragem Amostragem Sistemática Amostragem Aleatória Simples
Quando se conhece algumas características da população Ex: se população=70% mulher, na amostra isso tem que ocorrer. Amostragem Aleatória Simples

31 Tamanho da Amostra Depende da área também !!!

32 Análise do Controle Motor
Eder = 53 (45 indivíduos pós hemiplégicos, -  8 indivíduos sem deficiência motora) Dose = 53 (35 pessoas esquizofrênicas (medicadas com calmantes), 18 pessoas saudáveis) Sanches = (28 mulheres com fibromialgia, 3 tarefas com 10 tentativas cada) Subramanian = 23x20x24 (15 pacientes com hemiparesia,  8 sem deficiência motora, 20 tentativas por alvo, 3 blocos de 24 tentativas cada) Viau = 15x6 (8 indivíduos saudáveis, 7 adultos com hemiparesia, 6 tentativas em cada ambiente (real e virtual) Luo = 3x30 (3 homens com AVC usando sistemas diferentes, Cada um interagiu com 15 objetos virtuais, seguidos de 15 objetos reais) Tanaka = (8 indivíduos com SNU (Síndrome da Negligência Unilateral) Broeren = (5 indivíduos pós-AVC e hemiparéticos em fase crônica,  Número pequeno da população não validou o estudo)

33 Tamanho da Amostra (B:58)
Para populações grandes, o tamanho da amostra é definido pelo Erro Amostral (ea) na = 1 / ea2 Assim, 25 pessoas equivale a um ea de 20% Se a população é pequena, o cálculo é outro.

34 Público: Amostra 1 indivíduo = estudo de caso
Alguns indivíduos = “estimativa” Muitos indivíduos = quase certeza Por uma questão de probabilidade, para que se tenha confiança, Quanto mais, melhor (CMC:128)

35 Roteiro (M&L) O Problema Hipóteses Variáveis Público Estratégia
Coleta de Dados e Tabulação Tratamento e Análise de Dados

36 Estratégia de Experimentação
Software 1 Software 2 Grupo de N pessoas

37 Estratégia de Experimentação
Basicamente são duas: (1G2S) UM grupo avalia os DOIS softwares (2g1S) O grupo é DIVIDIDO e avalia UM software em separado

38 Brainstorm Quais seriam as vantagens das abordagens 1G2S e 2g1S ?

39 1G2S:Vantagens Pode-se fazer a comparação direta e obter “o melhor”
Tamanho do grupo é menor Pode-se obter clareza em quais partes/itens um é melhor que o outro se for feito questionamentos por partes

40 2g1S: Vantagens Experimento individual é mais rápido
Cada um avalia o seu sem ser influenciado pela existência do outro Os dois sistemas podem ser bons – conclui-se que não há diferença

41 Brainstorm Quais seriam os problemas das abordagens 1G2S e 2g1S ?

42 1G2S: Problemas Qual a seqüência (pode influenciar no resultado final ?) O usuário aprende com o experimento (isso influencia no resultado ?) O objetivo real do teste deve ser omitido ? Duração do experimento é maior Pode gerar cansaço/fadiga devido a repetição ? Faz tudo no mesmo dia, dá intervalo de descanço, quanto ?

43 2g1S: Problemas A comparação é indireta
Uma avaliação ótima de um, pode ocorrer até pela ignorância do quão bom é o outro Como manter o perfil dos dois grupos parecido ? Precisa de mais indivíduos para se ter dois grupos de tamanho “aceitável” Variáveis de gênero e idade podem levar a que o grupo dividido seja menor ainda se elas influenciam no resultado

44 Análise Se o objetivo é saber quem é O melhor, 1G2S é direto
Se o objetivo é identificar diferenças, 1G2S Se os dois podem ser bons, 2g1s parece mais adequado

45 2o dia....

46 Roteiro (M&L) O Problema Hipóteses Variáveis Público Estratégia
Coleta de Dados e Tabulação Tratamento e Análise de Dados

47 Coleta de Dados Coleta é executar o experimento e fazer as anotações individuais conforme o especificado. É um processo que ocorre antes, durante e depois do experimento propriamente dito.

48 “a única coisa realmente previsível na coleta de dados é o fato de que ela toma sempre mais tempo do que se espera” (CMC:183)

49 Coleta de Dados Idealmente, faz-se primeiro um pré-teste para ter melhor clareza de como será a coleta, quanto tempo levará cada indivíduo, clareza das tarefas e perguntas, outros problemas de ordem práticas

50 Tratamento dos Dados Tratar os dados significa aplicar procedimentos estatísticos para segmentar/agrupar dados (por variável independente)

51 Tratamento dos Dados O que se quer saber das variáveis ? Prevê-las !!!
No mínimo se quer tendência (expectativa) e dispersão (confiança)

52 Análise dos Dados Através dos dados, evidencia-se a relação causal entre as variáveis dependentes e independentes para atender as hipóteses (:170) Interpretar/Percepção o que se entende pelos números obtidos? Explicar/Proposição porque essa relação ocorreu ? Especificar/Delimitar alcance até onde esta relação ocorre ?

53 Análise dos Dados Estatísticos
70% das escolas públicas de ensino médio não têm acesso à web ! Que isso significa ?

54 Omissões A) Das 150 mil escolas públicas de EM do país, 80 mil estão em áreas rurais onde só 1% dispõem de Telefone/Web. B) As escolas rurais têm menos alunos por sala e menos salas que as urbanas, de forma que dos 30 milhões de alunos do EM, 80% estão nas áreas urbanas

55 Então A) desprezando o 1% para facilitar os cálculos, tem-se que mil, correspondentes a 53,3%, de escolas sem web são da zona rural e os outros 17,7% (para completar os 70%) são da zona urbana. B) tem-se 24 milhões de alunos na zona urbana e 6 milhões na rural sendo 6,0 mi na rural não tem acesso a web e 17,7 % dos 24 mi, ou seja, 4,25 mi na urbana não tem acesso a web

56 Concluindo (4,25 + 6,0) milhões de alunos não tem acesso a web e os demais 19,75 têm! Resumindo, 66% de alunos das escolas públicas de EM têm acesso a web 70% das escolas públicas de EM não têm acesso à web

57 Escrita É a fase final onde se vai colocar todos os itens anteriores em uma ordem lógica, em formatos adequados e atrativos Acabou !

58 Rudimentos de Estatística

59 O quanto de estatística tenho que conhecer para desenvolver uma pesquisa científica ?

60 “se não é necessário um conhecimento profundo de estatística, ainda assim o pesquisador deve ter a ´visão estatística´ do problema” (CMC:122)

61 Tratamento Estatístico de Dados (Adaptado de B:109; CMC:126)
Análise Univariada Qualitativas Quantitativas Análise Bivariada Duas Quantitativas Uma Quantitativa e Uma Qualitativa Duas Qualitativas

62 Tratamento Estatítico de Dados
Análise Univariada Qualitativas Distribuição (tabelas, gráficos) Percentagens (gráficos de pizza) Quantitativas Distribuição (histograma) Tendência/Medidas de Posição Dispersão Máximos e Mínimos Desvio Padrão

63 Tratamento Estatístico de Dados
Análise Bivariada Duas Quantitativas Correlação Regressão Uma Quantitativa e Uma Qualitativa Diferença de Médias Duas Qualitativas Categóricas – Tabela de Contingências Ordinais – Correlação de Ordem

64 Análise Univariada

65 Univariada.Distribuição (Tabelas e Gráficos)

66 Univariada.Distribuição (Histograma)
1, , , , , , , , ,25

67 O Problema da Média Ao longo do dia, a temperatura média no deserto do Saara é agradável (24 C). Durante o dia chega a 44 C Durante a noite cai a 4 C

68 Qual cálculo consegue definir a expectativa de um valor, a tendência de uma variável ?

69 Tendência – Expectativa (B:101)
Média Valor Típico Muito afetada por valores extremos Moda Valor de maior freqüência para variáveis discretas Mediana Valor que divide os dados ordenados no meio Menos sensível a valores muito extremados Mais adequada que a média quando a distribuição de valores não é uniforme/simétrica Diferença grande entre Média e Mediana indica a distribuição não uniforme dos dados

70 Cálculo da Média Média Aritmética Média Para Dados Agrupados

71 Média>Mediana>Moda

72 Média=Mediana=Moda

73 Desvio Padrão (dp) É a média de quanto as variáveis observadas se distanciam da média geral dp = Para comparar duas variáveis quantitativas (quaisquer) quanto a sua dispersão calcula-se o coeficiente de variação cv = dp / média * 100% Influencia na probabilidade de se obter valores próximos a média geral

74 Distribuição Normal

75

76 Associação (B:227) Entre variáveis qualitativas (ordinais ou categóricas) Indica a “probabilidade” de se prever uma variável pelo conhecimento de outra Obtido pelo teste do qui-quadrado Ex: clima (quente) -> ir a praia (maior) Ex: sexo (masculino) -> fumante (sim)

77 Correlação (B:251) Indica a associação entre duas variáveis quantitativas pareadas (x,y) Exemplo Altura e peso são positivamente correlacionadas Número de membros da familia e renda familiar estão negativamente correlacionados

78 Regressão (B:267) Dada uma correlação, a regressão estabelece como é o comportamento da correlação (aumenta, diminui, constante) Resulta numa reta de relação entre as variáveis

79 Regressão

80 Referências (M&L) Marconi & Lakatos. Fundamentos da Metodologia Científica. 6a. Edição, 2005 (B) Barbetta, P. A. Estatística Aplicada às Ciências Sociais. 6a ed. Editora da UFSC (CBS) Cervo, Bervian e Da Silva, Metodologia Científica, 6a ed, Pearson Prentice Hall, 2007 (CMC) Castro, C de M. A Prática da Pesquisa. 2a ed, Pearson Prentice Hall, 2006.