A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Projeto de Experimentos Científicos Análise de Sistemas por Usuários Marcelo da Silva Hounsell Avanilde Kemczinski Maio/2008.

Apresentações semelhantes


Apresentação em tema: "Projeto de Experimentos Científicos Análise de Sistemas por Usuários Marcelo da Silva Hounsell Avanilde Kemczinski Maio/2008."— Transcrição da apresentação:

1 Projeto de Experimentos Científicos Análise de Sistemas por Usuários Marcelo da Silva Hounsell Avanilde Kemczinski Maio/2008

2 Objetivo de uma Pesquisa O que ? –Conhecer um fenômeno Como ? –Através de um experimento O que nos interessa observar Resultado é a expectativa/tendência

3 Supõe-se que o Tema, Objetivo e Teminologias já tenham sido tratados antes Estes normalmente aparecem na introdução e fundamentação do trabalho

4 Qual é o formato de pesquisa mais comum em Ciência da Computação? –Experimental –Exploratória Quais técnicas são as mais usadas?

5 Pesquisa Experimental Manipula variáveis relacionadas com o objeto de estudo com objetivo de identificar causa/efeito procurando evitar a interferência de variáveis intervenientes Interfere-se na variável independente e observa-se o que acontece com a dependente. Tendências, Regressão

6 Pesquisa Exploratória Visa descobrir a relação existente entre as variáveis de interesse, principalmente quando há pouco conhecimento sobre o problema a ser estudado para, então, aumentar o entendimento sobre este Associação, Correlação

7 Roteiro (M&L) O Problema Hipóteses Variáveis Público Estratégia Coleta de Dados e Tabulação Tratamento e Análise de Dados

8 O Problema Como comparar o uso de dois sistemas computacionais ? Uso –Avaliar resultado/performance –Avaliar satisfação

9 Hipóteses Muitas vezes estas não ficam explícitas no texto É uma suposta resposta ao objetivo e que será aceita ou refutada ao final da pesquisa.

10 Qual a hipótese do seu trabalho ? Qual a resposta que se supõe será obtida ?

11 Hipóteses Exemplos –Uma interface de RA aumenta o aprendizado da inspeção de focos da dengue –Uma interface com RA não influencia na avaliação do Controle Motor –O uso de recursos computacionais aumentam o aprendizado da programação de robôs

12 Variáveis do Experimento Características que podem ser observadas/medidas

13 Variáveis Tipos –Dependentes –Independentes –Intervenientes Formas –Quantitativas –Qualitativas

14 Tipos de Variáveis (CBS: 78) Independentes (X) –Causa ou fator determinante –Não podem ser controlados Dependentes (Y) –Fatores a serem observados/coletados –São afetadas pela var. independentes –Resultam da manipulação das v.ind. Intervenientes (w) –Modificam a v.d. sem que tenha havido modificação na v.i.

15 Exemplo (CBS: 78) –Alunos da escola pública e de particulares (X) têm notas (y) diferentes no vestibular pelo nervosismo de uns ou de outros (w)

16 Variáveis Independentes (M&L:140) É preciso avaliar a real importância de... –Gênero (M/F) (influencia mesmo ?) –Idade (Faixa etária) –Ambiente do Experimento (Univ., Casa, Trab.) –Estado Emocional/Atenção (horário) –Escolaridade –Estilo Cognitivo –Familiaridade com o Computador –Familiaridade ou Conhecimento Específico Em RV/RA Em Dengue Com Jogos 3D

17 Formas das Variáveis (B:30) Quantitativas –Cardinais Numéricas Tempo de Serviço, Altura,... Qualitativas –Ordinais Quando há uma relação de ordem entre elas Ex: básico|médio|avançado; –Categóricas Sem relação de ordem Ex: regiões do país, estado civil

18

19 Variáveis Dependentes Quantitativas/Objetivas –Tempo, Altura –Acertos/Erros –Repetições/Re-começos –Paradas/Retornos Qualitativas/Subjetivas –Conhecimento –Fadiga/stress –Preferência/gosto

20 Qual usar ?

21 Selecionando as variáveis (B:30) Em termos do trabalho que você exerce na empresa, você se sente: –Muito satisfeito, –Pouco satisfeito –Insatisfeito Dê uma nota de 0 a 10, relativa ao seu nível de satisfação com o trabalho que você exerce na empresa. Nota: ____

22 a pesquisa quantitativa tende a ser mais precisa e confiável (CMC:115)

23 No caso da comparação de sistemas (Hounsell, 2008)

24 Dados qualitativos são indicativos da satisfação do usuário e devem ser confrontados com dados quantitativos de performance Idealmente, um sistema deve ser bom para o usuário e promover boa performance

25 Roteiro (M&L) O Problema Hipóteses Variáveis Público Estratégia Coleta de Dados e Tabulação Tratamento e Análise de Dados

26 Público: Universo Universo/Público-alvo –São as pessoas as quais queremos que os resultados se apliquem (B:27) –Quem são, quais as características do Universo ? –Como identifica-lo dentre toda a população do planeta (rever variáveis independentes) –Quantas são as pessoas que estão relacionadas com este experimento ?

27 Quem é o Universo do seu experimento ?

28 Exemplos Pacientes pós-AVC, com gravidade abaixo de severa. Crianças de 4a a 8a séries Interessados em Programação de Robôs

29 Público: Amostra Amostra –Impossível avaliar Todo o Universo (Ideal). –É mesmo representativa do Universo ? –Quais os critérios para selecionar a amostra do universo ? Porque ? –Quantos indivíduos são necessários para se obter uma resposta confiável ?

30 Amostragem Amostragem Sistemática –Quando se conhece algumas características da população –Ex: se população=70% mulher, na amostra isso tem que ocorrer. Amostragem Aleatória Simples

31 Tamanho da Amostra Depende da área também !!!

32 Análise do Controle Motor Eder = 53 (45 indivíduos pós hemiplégicos, - 8 indivíduos sem deficiência motora) Dose = 53 (35 pessoas esquizofrênicas (medicadas com calmantes), 18 pessoas saudáveis) Sanches = (28 mulheres com fibromialgia, 3 tarefas com 10 tentativas cada) Subramanian = 23x20x24 ( 15 pacientes com hemiparesia, 8 sem deficiência motora, 20 tentativas por alvo, 3 blocos de 24 tentativas cada) Viau = 15x6 ( 8 indivíduos saudáveis, 7 adultos com hemiparesia, 6 tentativas em cada ambiente (real e virtual) Luo = 3x30 ( 3 homens com AVC usando sistemas diferentes, Cada um interagiu com 15 objetos virtuais, seguidos de 15 objetos reais) Tanaka = ( 8 indivíduos com SNU (Síndrome da Negligência Unilateral) Broeren = (5 indivíduos pós-AVC e hemiparéticos em fase crônica, Número pequeno da população não validou o estudo)

33 Tamanho da Amostra (B:58) Para populações grandes, o tamanho da amostra é definido pelo Erro Amostral (ea) –na = 1 / ea 2 –Assim, 25 pessoas equivale a um ea de 20% Se a população é pequena, o cálculo é outro.

34 Público: Amostra 1 indivíduo = estudo de caso Alguns indivíduos = estimativa Muitos indivíduos = quase certeza Por uma questão de probabilidade, para que se tenha confiança, Quanto mais, melhor (CMC:128)

35 Roteiro (M&L) O Problema Hipóteses Variáveis Público Estratégia Coleta de Dados e Tabulação Tratamento e Análise de Dados

36 Estratégia de Experimentação Software 1 Software 2 Grupo de N pessoas

37 Estratégia de Experimentação Basicamente são duas: (1G2S) UM grupo avalia os DOIS softwares (2g1S) O grupo é DIVIDIDO e avalia UM software em separado

38 Brainstorm Quais seriam as vantagens das abordagens 1G2S e 2g1S ?

39 1G2S:Vantagens Pode-se fazer a comparação direta e obter o melhor Tamanho do grupo é menor Pode-se obter clareza em quais partes/itens um é melhor que o outro se for feito questionamentos por partes

40 2g1S: Vantagens Experimento individual é mais rápido Cada um avalia o seu sem ser influenciado pela existência do outro Os dois sistemas podem ser bons – conclui-se que não há diferença

41 Brainstorm Quais seriam os problemas das abordagens 1G2S e 2g1S ?

42 1G2S: Problemas Qual a seqüência (pode influenciar no resultado final ?) O usuário aprende com o experimento (isso influencia no resultado ?) O objetivo real do teste deve ser omitido ? Duração do experimento é maior Pode gerar cansaço/fadiga devido a repetição ? Faz tudo no mesmo dia, dá intervalo de descanço, quanto ?

43 2g1S: Problemas A comparação é indireta Uma avaliação ótima de um, pode ocorrer até pela ignorância do quão bom é o outro Como manter o perfil dos dois grupos parecido ? Precisa de mais indivíduos para se ter dois grupos de tamanho aceitável Variáveis de gênero e idade podem levar a que o grupo dividido seja menor ainda se elas influenciam no resultado

44 Análise Se o objetivo é saber quem é O melhor, 1G2S é direto Se o objetivo é identificar diferenças, 1G2S Se os dois podem ser bons, 2g1s parece mais adequado

45 2o dia....

46 Roteiro (M&L) O Problema Hipóteses Variáveis Público Estratégia Coleta de Dados e Tabulação Tratamento e Análise de Dados

47 Coleta de Dados Coleta é executar o experimento e fazer as anotações individuais conforme o especificado. É um processo que ocorre antes, durante e depois do experimento propriamente dito.

48 a única coisa realmente previsível na coleta de dados é o fato de que ela toma sempre mais tempo do que se espera (CMC:183)

49 Coleta de Dados Idealmente, faz-se primeiro um pré- teste para ter melhor clareza de –como será a coleta, –quanto tempo levará cada indivíduo, –clareza das tarefas e perguntas, –outros problemas de ordem práticas

50 Tratamento dos Dados Tratar os dados significa aplicar procedimentos estatísticos para segmentar/agrupar dados (por variável independente)

51 Tratamento dos Dados O que se quer saber das variáveis ? Prevê-las !!! No mínimo se quer tendência (expectativa) e dispersão (confiança)

52 Análise dos Dados Através dos dados, evidencia-se a relação causal entre as variáveis dependentes e independentes para atender as hipóteses (:170) Interpretar/Percepção –o que se entende pelos números obtidos? Explicar/Proposição –porque essa relação ocorreu ? Especificar/Delimitar alcance –até onde esta relação ocorre ?

53 Análise dos Dados Estatísticos 70% das escolas públicas de ensino médio não têm acesso à web ! Que isso significa ?

54 Omissões A) Das 150 mil escolas públicas de EM do país, 80 mil estão em áreas rurais onde só 1% dispõem de Telefone/Web. B) As escolas rurais têm menos alunos por sala e menos salas que as urbanas, de forma que dos 30 milhões de alunos do EM, 80% estão nas áreas urbanas

55 Então A) desprezando o 1% para facilitar os cálculos, tem-se que mil, correspondentes a 53,3%, de escolas sem web são da zona rural e os outros 17,7% (para completar os 70%) são da zona urbana. B) tem-se 24 milhões de alunos na zona urbana e 6 milhões na rural sendo –6,0 mi na rural não tem acesso a web e –17,7 % dos 24 mi, ou seja, 4,25 mi na urbana não tem acesso a web

56 Concluindo (4,25 + 6,0) milhões de alunos não tem acesso a web e os demais 19,75 têm! Resumindo, 66% de alunos das escolas públicas de EM têm acesso a web 70% das escolas públicas de EM não têm acesso à web

57 Escrita É a fase final onde se vai colocar todos os itens anteriores em uma ordem lógica, em formatos adequados e atrativos Acabou !

58 Rudimentos de Estatística

59 O quanto de estatística tenho que conhecer para desenvolver uma pesquisa científica ?

60 se não é necessário um conhecimento profundo de estatística, ainda assim o pesquisador deve ter a ´visão estatística´ do problema (CMC:122)

61 Tratamento Estatístico de Dados (Adaptado de B:109; CMC:126) Análise Univariada –Qualitativas –Quantitativas Análise Bivariada –Duas Quantitativas –Uma Quantitativa e Uma Qualitativa –Duas Qualitativas

62 Tratamento Estatítico de Dados Análise Univariada –Qualitativas Distribuição (tabelas, gráficos) Percentagens (gráficos de pizza) –Quantitativas Distribuição (histograma) Tendência/Medidas de Posição Dispersão –Máximos e Mínimos –Desvio Padrão

63 Tratamento Estatístico de Dados Análise Bivariada –Duas Quantitativas Correlação Regressão –Uma Quantitativa e Uma Qualitativa Diferença de Médias –Duas Qualitativas Categóricas – Tabela de Contingências Ordinais – Correlação de Ordem

64 Análise Univariada

65 Univariada.Distribuição (Tabelas e Gráficos)

66 Univariada.Distribuição (Histograma) 1,25 1,75 2,25 2,75 3,25 3,75 4,25 4,75 5,25

67 O Problema da Média Ao longo do dia, a temperatura média no deserto do Saara é agradável (24 C). –Durante o dia chega a 44 C –Durante a noite cai a 4 C

68 Qual cálculo consegue definir a expectativa de um valor, a tendência de uma variável ?

69 Tendência – Expectativa (B:101) Média –Valor Típico –Muito afetada por valores extremos Moda –Valor de maior freqüência para variáveis discretas Mediana –Valor que divide os dados ordenados no meio –Menos sensível a valores muito extremados –Mais adequada que a média quando a distribuição de valores não é uniforme/simétrica –Diferença grande entre Média e Mediana indica a distribuição não uniforme dos dados

70 Cálculo da Média Média Aritmética Média Para Dados Agrupados

71 Média>Mediana>Moda

72 Média=Mediana=Moda

73 Desvio Padrão (dp) É a média de quanto as variáveis observadas se distanciam da média geral – dp = Para comparar duas variáveis quantitativas (quaisquer) quanto a sua dispersão calcula- se o coeficiente de variação –cv = dp / média * 100% Influencia na probabilidade de se obter valores próximos a média geral

74 Distribuição Normal

75

76 Associação (B:227) Entre variáveis qualitativas (ordinais ou categóricas) Indica a probabilidade de se prever uma variável pelo conhecimento de outra Obtido pelo teste do qui-quadrado –Ex: clima (quente) -> ir a praia (maior) –Ex: sexo (masculino) -> fumante (sim)

77 Correlação (B:251) Indica a associação entre duas variáveis quantitativas pareadas (x,y) Exemplo –Altura e peso são positivamente correlacionadas –Número de membros da familia e renda familiar estão negativamente correlacionados

78 Regressão (B:267) Dada uma correlação, a regressão estabelece como é o comportamento da correlação (aumenta, diminui, constante) Resulta numa reta de relação entre as variáveis

79 Regressão

80 Referências (M&L) Marconi & Lakatos. Fundamentos da Metodologia Científica. 6a. Edição, 2005 (B) Barbetta, P. A. Estatística Aplicada às Ciências Sociais. 6a ed. Editora da UFSC (CBS) Cervo, Bervian e Da Silva, Metodologia Científica, 6a ed, Pearson Prentice Hall, 2007 (CMC) Castro, C de M. A Prática da Pesquisa. 2a ed, Pearson Prentice Hall, 2006.


Carregar ppt "Projeto de Experimentos Científicos Análise de Sistemas por Usuários Marcelo da Silva Hounsell Avanilde Kemczinski Maio/2008."

Apresentações semelhantes


Anúncios Google