A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Capítulo 7 Conhecendo os Dados Técnicas para extrair informações e gerar conhecimento de conjuntos de dados.

Apresentações semelhantes


Apresentação em tema: "Capítulo 7 Conhecendo os Dados Técnicas para extrair informações e gerar conhecimento de conjuntos de dados."— Transcrição da apresentação:

1

2 Capítulo 7 Conhecendo os Dados

3 Técnicas para extrair informações e gerar conhecimento de conjuntos de dados

4 Conhecendo os Dados O objetivo da análise exploratória de dados é examinar a estrutura subjacente dos dados e aprender sobre os relacionamentos sistemáticos entre muitas variáveis. A análise exploratória de dados inclui um conjunto de ferramentas gráficas e descritivas, para explorar os dados, como pré-requisito para uma análise de dados mais formal (Predição e Testes de Hipóteses), e como parte integral formal da construção de modelos.

5 A AEA facilita a descoberta de conhecimentos não esperados, como também ajuda a confirmar o esperado. Como uma importante etapa em Data Mining, a AED emprega técnicas estatísticas descritivas e gráficas para estudar um conjunto de dados, detectando outliers e anomalias, e testando as suposições do modelo. A AED é um importante pré-requisito para se alcançar o sucesso em qualquer projeto de data mining.

6 Distribuições de Freqüências l organização dos dados de acordo com as ocorrências dos diferentes resultados observados. –Pode ser apresentada:em tabela ou em gráfico; –com freqüências absolutas, relativas ou porcentagens.

7 Exemplo (com variável qualitativa) Códigos: 1 - nenhum grau de instrução completo, 2 - primeiro grau completo e 3 - segundo grau completo. Resultados observados em cada família:

8 Distribuição de Freqüências Grau de instrução (Conj. Resid. Monte Verde). Grau de InstruçãoFreqüênciaPercentagem nenhum primeiro grau segundo grau ,0 27,5 57,5 Total 40100,0

9 Gráfico de Barras nenhum primeiro grau segundo grau número de famílias Grau de Instrução do Chefe da Casa

10 Gráfico de Barras nenhum primeiro grau segundo grau número de famílias Grau de Instrução do Chefe da Casa

11 Gráfico em colunas

12 Gráfico de Setores (Proporções) Grau de Instrução do Chefe da Casa nenhum (15,0 %) primeiro grau (27,5 %) segundo grau (57,5 %)

13 Gráfico de Setores Multivariado

14 Gráfico de Barras Multivariado

15 Exemplo (com variável discreta) l Numa rede de computadores, a quantidade de máquinas que costumam estar ligadas, por dia

16 Distribuição de Freqüências Máquinas em uso Total Freqüência (absoluta) Proporção (%) 0,10 (10%) 0,20 (20%) 0,30 (30%) 0,25 (25%) 0,10 (10%) 0,00 (0,0%) 0,05 ( 5%) 1,00 (100%)

17 Gráfico de colunas

18 5,2 6,4 5,7 8,3 7,0 5,4 4,8 9,1 5,5 6,2 4,9 5,7 6,3 5,1 8,4 6,2 8,9 7,3 5,4 4,8 5,6 6,8 5,0 6,7 8,2 7,1 4,9 5,0 8,2 9,9 5,4 5,6 5,7 6,2 4,9 5,1 6,0 4,7 18,1 5,3 4,9 5,0 5,7 6,3 6,0 6,8 7,3 6,9 6,5 5,9 Tempo (em segundos) para carga de um aplicativo num sistema compartilhado (50 observações): Exemplo (com variável contínua)

19 5,2 6,4 5,7 8,3 7,0 5,4 4,8 9,1 5,5 6,2 4,9 5,7 6,3 5,1 8,4 6,2 8,9 7,3 5,4 4,8 5,6 6,8 5,0 6,7 8,2 7,1 4,9 5,0 8,2 9,9 5,4 5,6 5,7 6,2 4,9 5,1 6,0 4,7 18,1 5,3 4,9 5,0 5,7 6,3 6,0 6,8 7,3 6,9 6,5 5,9 DADOS: 4,718,

20 Histograma do tempo (em segundos) para carga de um aplicativo num sistema compartilhado (50 observações).

21

22 Conjunto de dados: são 92 observações relativas à preços de automóveis.

23 Verificar a variabilidade outliers OUTLIERS: OU

24 Conjunto de dados: preços de fechamento de ações da telebrás

25 Série temporal

26 Medidas Descritivas l Existem medidas quantitativas que servem para descrever, resumidamente, características das distribuições. l As mais utilizadas são a média e o desvio padrão.

27 Média (X) l A média aritmética simples ( X ) é a soma dos valores dividida pelo número de observações. X = X n

28 Exemplo l Deseja-se estudar o número de falhas no envio de mensagens, considerando três algoritmos diferentes para o envio dos pacotes: Algoritmo A (8 observações) Algoritmo B (8 observações) Algoritmo C(7 observações)

29 Exemplo l Número de falhas a cada mensagens enviadas. A: B: C:

30 Comparação dos três algoritmos pela média algoritmo falhas média A B C

31 ABCABC Número de falhas Diagramas de Pontos Algoritmo

32 Média Geométrica A média geométrica é apropriada para médias de taxas ou números índices. Por exemplo: 1) estimar a taxa média de retorno após três anos de investimento, sendo 10% no primeiro, 50% no segundo e 30% no terceiro ano;

33 Exemplo Média de relações: Relação média entre capital e dívida é:

34 Exemplo Média de taxas de variação: Um investidor aplicou em 2001, R$ 500,00. Após um ano o saldo é de R$ 550,00. Reaplicou esta quantia e, ao final de mais um ano, o montante era de R$ 590,00. Qual a taxa média de aumento?

35 Medidas Robustas de Locação Média Winsorized: a média winsorized compensa a presença de valores extremos no cálculo da média, atribuindo a estes, o valor de um determinado percentil da distribuição. Por exemplo: estimando a média winsorized de 95%, os 2,5% dos valores menores corresponderão ao 2,5 percentil da distribuição, enquanto os 2,5% dos valores maiores receberão o valor do 97,5 percentil da distribuição. Média aparada (Trimmed): a média aparada é calculada excluindo-se uma dada percentagem dos valores mais baixos e mais altos e, então, fazer a média com os valores restantes. Por exemplo, excluindo os 2,5% dos valores inferiores e superiores e usando os dados remanescentes, temos a média aparada de 5%. A média aparada não é afetada por valores discrepantes (outliers) como a média aritmética. A média aparada é usada, por exemplo, em classificação em esportes para minimizar as classificações extremas, possivelmente causadas por julgamentos tendenciosos.

36 Exemplo Medidas da variável IDADE de funcionários de um empresa: Média aparada: Média winzored:

37 Como medir a dispersão? Exemplo: A ( ) distância (desvio) em relação à média

38 Desvios ValoresX MédiaX22 Desvios(X - X)

39 Desvios Desvios: Soma = 0

40 Desvios Quadráticos Soma ValoresX MédiaX22- DesviosX - X Desvios quadráticos (X-X)

41 Variância (S 2 ) l A variância (S 2 ) é uma média dos desvios quadráticos. Por conveniência, usa-se (n-1) no denominador ao invés de n.

42 Exemplo l No exemplo apresentado (algoritmo A), a variância é: S 2 = 7 12 = 1,71

43 Desvio Padrão (S) l O desvio padrão (S) é a raiz quadrada da variância. S = S 2

44 Exemplo l No exemplo apresentado (algoritmo A), o desvio padrão é: S = 1,71 = 1,31

45 Comparação dos três algoritmos pela média e desvio padrão Algoritmo falhas XS A ,31 B ,00 C ,16

46 Número de falhas Algoritmo A (S = 1,31) Algoritmo B (S = 4,00) Algoritmo C (S = 3,16) Diagramas de pontos e valores de S

47 TABELAMedidas descritivas das notas finais dos alunos de três turmas TurmaNúmero de alunos MédiaDesvio padrão A B C ,0 8,0 9,0 3,3 1,5 2,6

48 Medida relativa de dispersão l Coeficiente de variação: desvio padrão média

49 Medida relativa de dispersão - - Exemplo X1:123X1:123 X 2 : X 3 : média = 2 desvio padrão = 1 coeficiente de variação = 0,5 média = 101 desvio padrão = 1 coeficiente de variação = 0,01 média = 200 desvio padrão = 100 coeficiente de variação = 0,5

50 25% Medidas baseadas na ordenação dos dados Q I Quartil inferior M d mediana Q S Quartil superior

51 Dados: {2, 0, 5, 7, 9, 1, 3, 4, 6, 8} M d = 4, Cálculo da mediana n = 10;(n + 1) / 2 = 5,5

52 Q i = 2Q s = M d = 4,5 Cálculo dos quartis E i = 0 E s = 9

53 Dados: {2, 0, 5, 7, 9, 1, 3, 4, 6, 8, 100} M d = Exercício: Cálculo da mediana n = 11;(n + 1) / 2 = 6

54 Q i = 2,5Q s = 7,5 Exercício: Cálculo dos quartis E i = 0 M d = E s = 100

55 Medida de dispersão: Distância interquartílica O desvio inter-quartílico é uma medida robusta de dispersão. Ele é calculado por: Onde Q 3 é o percentil 75, também chamado de quartil superior, e o Q 1 é o percentil 25, também chamado de quartil inferior. Ele é uma boa medida de dispersão para distribuições assimétricas. Para dados normalmente distribuídos, o desvio inter-quartílico é aproximadamente igual a 1,35 vezes o desvio padrão. Medidas da variável IDADE de funcionários de um empresa, setor tecidos:

56 Distribuição da variável IDADE de funcionários de um empresa,seção: tecidos:

57 M d = 22,5 X = 24,7 50% dos valores Média e mediana

58

59 Diagrama em caixas (Box Plot) 25%

60 Diagrama em caixas Monte Verde Encosta do Morro Renda familiar (sal. mín.) outlier

61 Cálculo dos outliers: Onde Q I é o quartil inferior ou primeiro quartil da distribuição; Q S é o quartil superior ou terceiro quartil da distribuição. O valor 1,5 pode ser alterado.

62 Gráfico Normal de Probabilidade (Normal Probability Plot) Verificar assimetria (assimétrico à direita) Normalidade da distribuição Presença de outliers Se há falta de ajuste, e os dados apresentar um padrão (forma de S), então a variável deve ser transformada (log).

63 Gráfico Normal de Probabilidades: Os valores de z j para o j-ésimo valor (rank, posto) de uma variável com N observações, é calculado por: zj = -1 [(3 j-1)/(3 N+1)] Onde -1 converte os valores de probabilidade, p, em valores de z. Exemplo: para o arquivo de dados de automóveis, onde N=92 observações.

64 Erro Padrão e Intervalos de Confiança Erro padrão: erro padrão é o desvio padrão da distribuição amostral de uma dada estatística. Erro padrão mostra a quantidade de flutuação amostral que existe nas estatísticas estimadas em repetidas amostragens. O erro padrão de uma estatística depende do tamanho da amostra. Em geral, quanto maior o tamanho da amostra, menor é o erro padrão. Intervalo de confiança: o intervalo de confiança fornece uma faixa(amplitude) de valores, dentro da qual esperamos que o valor de um parâmetro desconhecido esteja incluído. Se amostras independentes são tomadas repetidamente de uma mesma população, e o intervalo de confiança é calculado para cada amostra, então, uma alta percentagem dos intervalos irão incluir o parâmetro desconhecido. A amplitude do intervalo fornece uma idéia sobre a incerteza da estimativa do parâmetro. Um intervalo com grande amplitude indica que mais dados devem ser coletados antes de se fazer inferências sobre o parâmetro.

65 Erro padrão e intervalo de confiança de 95% da variável IDADE de funcionários de um empresa, setor tecidos: Erro padrão e intervalo de confiança para uma média t=2,015368

66 Transformações Vários procedimentos estatísticos e as redes neurais, são baseados na suposição de que os dados provêm de uma distribuição normal ou, então, mais ou menos simétrica (redes neurais funcionam melhor para distribuições simétricas). Porém, em muitas situações práticas, a distribuição dos dados da amostra é assimétrica e pode conter valores discrepantes. Pode-se realizar uma transformação nos dados, de forma a se obter uma distribuição mais simétrica. Uma família de transformação freqüentemente utilizada é:

67 Na prática, o que se faz é experimentar uma série de valores p, na seqüência:..., -3,-2,-1,-1/2,-1/3,-1/4,0,1/4,1/3,1/2,1,2,3,... e para cada valor de p obtemos gráficos apropriados (histogramas, box plot, etc.) para os dados originais e transformados, de modo a escolhermos o valor mais adequado de p. Para distribuições assimétricas à direita, a transformação acima com 0 1.

68 Exemplo: consideremos os dados da variável idade dos funcionários de uma empresa, cujo histograma fica: Distribuição assimétrica à direita, tentar valores de p entre 0 e 1.

69 Vamos considerar os seguintes valores de p: 0 (transformação logarítmica), ¼, 1/3(transformação raíz cúbica), ½ (transformação raíz quadrada)

70 Análise de Associação Geralmente estamos interessados em analisar o comportamento conjunto de duas ou mais variáveis. Os dados aparecem em forma de matriz, onde nas colunas temos as variáveis (campos) e nas linhas as observações (registros).

71 Objetivo: analisar as relações entre as colunas (variáveis), ou algumas vezes entre linhas (observações). O estudo das distribuições conjuntas é um poderoso instrumento para o entendimento do comportamento dos dados. Estas relações ou associações podem ser detectadas por meio de representações gráficas e medidas numéricas. Variáveis Qualitativas Exemplo: desejamos analisar o comportamento conjunto das variáveis sexo do funcionário e setor em que trabalha. A distribuição de freqüência conjunta é apresentada na tabela a seguir.

72 Existem três possibilidades de expressarmos as proporções das caselas: em relação ao total geral em relação ao total de cada linha em relação ao total de cada coluna A escolha é feita de acordo com os Objetivos do trabalho

73 Interpretação (foi fixado o total de colunas em 100%): podemos dizer que, entre os funcionários do sexo feminino, 47,76% trabalham as seção de tecidos e 38,81% trabalham na seção de presentes, calçados e confecções e, apenas 1,49% trabalham na seção de tapetes e cristais. Entre os funcionários do sexo masculino, 39,39% trabalham na seção de tecidos e 30,30% trabalham na seção de lustres, ferramentas e brinquedos e, 18,18% trabalham na seção de presentes, calçados e confecções.

74 Interpretação: parece que estas duas variáveis estão pouco associadas. 1=feminino 2= masculino

75 Medida de associação: Coeficiente de Contingência Onde: n ij = número de elementos observados pertencentes à i-ésima categoria de X e j- ésima categoria de Y; r = número de linhas e s = n o. de colunas da tabela. n ij * = número de elementos esperados pertencentes à i-ésima categoria de X e j- ésima categoria de Y. O valor de C está entre 0 e 1 (porém, para alcançar o valor 1 precisa de uma correção). O valor de 2 varia de 0 até o infinito.

76 Freqüências esperadas considerando as variáveis como sendo não associadas Cálculo da freqüência esperada

77 Este valor apresenta uma grandeza considerável. O valor de C deveria variar de 0 a 1. Porém isso não acontece. Para evitar este inconveniente, costuma-se fazer uma correção no valor de C, o qual fica: Onde t é o mínimo entre o r e o s

78 Interpretação: podemos considerar que as variáveis estão medianamente associadas. Variáveis Quantitativas Gráfico de dispersão: indicado para estudar a associação entre duas variáveis quantitativas. Exemplo: consideremos os dados da variável X:idade e Y: tempo de profissão do funcionário, do setor de tecidos. O gráfico de dispersão está na figura a seguir.

79 Vemos que, parece haver uma associação direta (positiva) entre idade e tempo de serviço. A medida que aumenta a idade, aumenta o tempo como balconista.

80 Medida de correlação: Coeficiente de Correlação Para o exemplo, o coeficiente de correlação vale: R=0,66 Portanto, as duas variáveis estão correlacionadas. Esta correlação é de grau mediano para forte. Cálculo no próximo slide. O coeficiente de correlação varia na faixa de: -1 r 1

81

82 Matriz de correlação

83 Variáveis Quantitativas e Qualitativas Esta análise pode ser conduzida por meio de medidas descritivas (média, mediana, desvio padrão, desvio inter-quartílico), polígonos de freqüências múltiplo, box-plot. Exemplo: consideremos os dados da variável qualitativa:tipo de carro e a variável quantitativa Y: preço. A representação gráfica, através de box plot múltiplo está na figura a seguir.

84 O gráfico sugere uma dependência entre tipo de carro e preço dos automóveis. Os preços aumentam do tamanho pequeno (small), após vem os compactos e esportivos e finalmente os grandes, as vans e médios.

85 Medida de associação: Coeficiente de determinação Sem usar a informação da variável categorizada(tipo de carro), a variância calculada para a variável quantitativa para todos os dados mede a dispersão dos dados globalmente. Se a variância dentro de cada categoria for pequena e menor do que a global, significa que a variável qualitativa melhora a capacidade de previsão da quantitativa e, portanto, existe uma relação entre as duas variáveis.

86 Observe na tabela que temos uma categoria (Midsize) com variância maior do que a global e cinco categorias com variância menor do que a global. Parece que a variável qualitativa (tipo de carro) melhora a capacidade preditiva da variável quantitativa (preço). Cálculo da variância entre as categorias da variável qualitativa Onde k é o número de categorias (no nosso exemplo k=6) e var i denota a variância dentro da categoria i, onde i=1,2,...,k.

87 No exemplo, temos: Podemos definir o grau de associação através do cálculo do coeficiente de determinação, dado por: O coeficiente de determinação varia na faixa de: 0 R 2 1

88 Exemplo: o coeficiente de determinação para o exemplo vale: Podemos dizer que 36,08% da variação dos preços dos automóveis é explicada pelo tipo de carro.

89 Exemplo: vamos considerar as variáveis: Eficiência no consumo (MPG), Origem e os Preços. Vamos separar os preços por eficiência e origem. Observamos que para eficiência alta, os preços são similares, tanto para carros domésticos como para estrangeiros. Para eficiência baixa e origem doméstica, têm- se os carros com os maiores preços (porcentagem baixa, apenas 2%).

90 Diagrama de dispersão tridimensional

91

92 Existem diversos softwares especializados em visualização de dados no mercado, com enfâse em data mining, entre eles: MineSet InfoZoon


Carregar ppt "Capítulo 7 Conhecendo os Dados Técnicas para extrair informações e gerar conhecimento de conjuntos de dados."

Apresentações semelhantes


Anúncios Google