A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Análise Exploratória de Dados R – 03 de junho de 2008.

Apresentações semelhantes


Apresentação em tema: "Análise Exploratória de Dados R – 03 de junho de 2008."— Transcrição da apresentação:

1 Análise Exploratória de Dados R – 03 de junho de 2008

2 Objetivos representar graficamente as duas variáveis combinadas; representar graficamente as duas variáveis combinadas; definir e calcular uma medida de associação entre as variáveis. definir e calcular uma medida de associação entre as variáveis. Análise bivariada: uma variável qualitativa e uma quantitativa :

3 Exemplo 1 Os dados referem-se ao exemplo 2.1 do livro-texto (Bussab e Morettin, pag. 11) Os dados referem-se ao exemplo 2.1 do livro-texto (Bussab e Morettin, pag. 11) Arquivo: ciaMB.txt Arquivo: ciaMB.txt Conteúdo: informações sobre estado civil, grau de instrução, número de filhos, salário (expresso como fração do salário mínimo), idade (medida em anos e meses) e procedência de 36 empregados da seção de orçamentos da Companhia MB. Conteúdo: informações sobre estado civil, grau de instrução, número de filhos, salário (expresso como fração do salário mínimo), idade (medida em anos e meses) e procedência de 36 empregados da seção de orçamentos da Companhia MB.

4 Exemplo 1: nomes das variáveis no arquivo ecivil: variável nominal cujos níveis são solteiro ou casado. ecivil: variável nominal cujos níveis são solteiro ou casado. instrucao: variável ordinal cujos níveis são F(Ensino Fundamental), M(Ensino Médio) e S(Ensino Superior). instrucao: variável ordinal cujos níveis são F(Ensino Fundamental), M(Ensino Médio) e S(Ensino Superior). nfilhos: número de filhos (apenas para os funcionários casados), entre os solteiros a informação está como NA. nfilhos: número de filhos (apenas para os funcionários casados), entre os solteiros a informação está como NA.

5 Exemplo 1: nomes das variáveis no arquivo sal: salário expresso como fração do salário mínimo sal: salário expresso como fração do salário mínimo idadea: idade em anos completos idadea: idade em anos completos idadem: meses idadem: meses rp: região de procedência (interior, capital e outros). rp: região de procedência (interior, capital e outros).

6 Exemplo 1:salário versus nível de instrução Suponha que estejamos interessados em analisar o comportamento dos salários dentro de cada nível de instrução, ou seja, investigar o comportamento conjunto das variáveis sal e instrucao. Suponha que estejamos interessados em analisar o comportamento dos salários dentro de cada nível de instrução, ou seja, investigar o comportamento conjunto das variáveis sal e instrucao. Para facilitar, vamos primeiro ordenar os dados numa nova base (dadosord) pela variável instrução. Para facilitar, vamos primeiro ordenar os dados numa nova base (dadosord) pela variável instrução.

7 Ordenando por instrução dados=read.table(http://www.im.ufrj.br/~flavia/aed06/ciaMB.txt,header=T) dados=read.table(http://www.im.ufrj.br/~flavia/aed06/ciaMB.txt,header=T) indice=order(dados$instrucao) indice=order(dados$instrucao) dadosord=dados[indice,] dadosord=dados[indice,] table(dados$instrucao) table(dados$instrucao) F M S 12 18 6 Logo, em dadosord as observações de 1 a 12 são de empregados com Ensino Fundamental, de 13 a 30 com Ensino Médio e de 31 a 36 com Ensino Superior.

8 ecivil instrucao filhos sal idadea idadem rp 1 solteiro F NA 4.00 26 3 interior 2 casado F 1 4.56 32 10 capital 3 casado F 2 5.25 36 5 capital 5 solteiro F NA 6.26 40 7 outra 6 casado F 0 6.66 28 0 interior 7 solteiro F NA 6.86 41 0 interior 8 solteiro F NA 7.39 43 4 capital 12 solteiro F NA 8.46 27 11 capital 14 casado F 3 8.95 44 2 outra 18 casado F 2 9.80 39 7 outra 23 solteiro F NA 12.00 41 0 outra 27 solteiro F NA 13.85 46 7 outra 4 solteiro M NA 5.73 20 10 outra 9 casado M 1 7.59 34 10 capital 10 solteiro M NA 7.44 23 6 outra 11 casado M 2 8.12 33 6 interior 13 solteiro M NA 8.74 37 5 outra 15 casado M 0 9.13 30 5 interior 16 solteiro M NA 9.35 38 8 outra 17 casado M 1 9.77 31 7 capital 20 solteiro M NA 10.76 37 4 interior 21 casado M 1 11.06 30 9 outra 22 solteiro M NA 11.59 34 2 capital 25 casado M 2 13.23 32 5 interior 26 casado M 2 13.60 35 0 outra 28 casado M 0 14.69 29 8 interior 29 casado M 5 14.71 40 6 interior 30 casado M 2 15.99 35 10 capital 32 casado M 1 16.61 36 4 interior 35 casado M 2 19.40 48 11 capital 19 solteiro S NA 10.53 25 8 interior 24 casado S 0 12.79 26 1 outra 31 solteiro S NA 16.22 31 5 outra 33 casado S 3 17.26 43 7 capital 34 solteiro S NA 18.75 33 7 capital 36 casado S 3 23.30 42 0 interior dadosord observações de 1 a 12 em dadosord observações de 13 a 30 em dadosord observações de 31 a 36 em dadosord

9 Medidas resumo por nível de instrução Vamos começar descrevendo o comportamento dos salários por nível de instrução, a partir das estatísticas resumo dentro de cada nível. sink(a:\\relatorio1.txt) #gera um relatório no disquete Comportamento de salários para Ensino Fundamental summary(dadosord$sal[1:12]) Desvio-padrão: sd(dados$sal[1:12]) Comportamento de salários para Ensino Médio summary(dadosordsal[13:30]) Desvio-padrão: sd(dadosord$sal[13:30]) Comportamento de salários para Ensino Superior summary(dadosord$sal[31:36]) Desvio-padrão: sd(dadosord$sal[31:36]) sink() #fecha o relatório

10 Lista de comandos source(http://www.im.ufrj.br/~flavia/aed06/instrusal.txt) source(http://www.im.ufrj.br/~flavia/aed06/instrusal.txt) O conteúdo será gravado no arquivo relatorio1.txt no disquete no drive A O conteúdo será gravado no arquivo relatorio1.txt no disquete no drive A Se você preferir, edite o arquivo instrusal.txt e na primeira linha altere o endereço e/ou o nome do arquivo que conterá os resultados. Se você preferir, edite o arquivo instrusal.txt e na primeira linha altere o endereço e/ou o nome do arquivo que conterá os resultados.

11 [1] "Comportamento de salários para Ensino Fundamental" Min. 1st Qu. Median Mean 3rd Qu. Max. 4.000 6.008 7.125 7.837 9.163 13.850 desvio-padrão: 2.956464 [1] "Comportamento de salários para Ensino Médio" Min. 1st Qu. Median Mean 3rd Qu. Max. 5.730 8.838 10.910 11.530 14.420 19.400 desvio-padrão: 3.715144 [1] "Comportamento de salários para Ensino Superior" Min. 1st Qu. Median Mean 3rd Qu. Max. 10.53 13.65 16.74 16.47 18.38 23.30 desvio-padrão: 4.502438

12 ResumindoResumindo nível fundamentalmédiosuperior mínimo 4,005,7310,53 Q1 6,018,8413,65 Q2 7,1210,9116,74 Q3 9,1614,4218,38 máximo 13,8519,4023,30 média 7,8411,5316,47 desvio padrão 2,963,724,50 Percebe-se claramente que as medidas de posição crescem conforme aumenta o nível de instrução.

13 Gráfico de salário versus nível de instrução Quando se dispõe de um par de variáveis, para o qual uma é qualitativa e outra é quantitativa, é comum representar o comportamento conjunto delas usando-se boxplots das distribuições das variáveis quantitativas, segundo as respostas da variável qualitativa. No R podemos usar a função já conhecida plot indicando primeiro o vetor que contém a variável qualitativa.

14 Gráfico de salário versus nível de instrução (1) plot(dados$instrucao,dados$sal,main="Box-plots de salário segundo o nível de instrução")

15 Comportamento dos salários sem discriminar por nível de instrução (todos) summary(dadosord$sal) Min. 1st Qu. Median Mean 3rd Qu. Max. 4.000 7.553 10.160 11.120 14.060 23.300 sd(dados$sal) [1] 4.587458 nível todos fundamentalmédiosuperior mínimo 4,00 4,005,7310,53 Q1 7,55 6,018,8413,65 Q2 10,16 7,1210,9116,74 Q3 14,06 9,1614,4218,38 máximo 23,30 13,8519,4023,30 média 11,12 7,8411,5316,47 desvio padrão 4,59 2,963,724,50 Ver tabela 2

16 boxplot(dados$sal,dadosord$sal[1:12],dadosord$sal[13:30], dadosord$sal[31:36],names=c("Todos","F","M","S"))

17 Comentário É possível perceber, a partir destes dados e gráficos, uma dependência entre salário e nível de instrução: É possível perceber, a partir destes dados e gráficos, uma dependência entre salário e nível de instrução: o salário tende a ser maior conforme é maior a escolaridade do empregado.

18 Exemplo 2: salário versus região de procedência Vamos agora analisar o comportamento dos salários dentro de cada região de procedência, ou seja, investigar o comportamento conjunto das variáveis cujos nomes na base de dados são sal e rp. Vamos agora analisar o comportamento dos salários dentro de cada região de procedência, ou seja, investigar o comportamento conjunto das variáveis cujos nomes na base de dados são sal e rp. Para facilitar, vamos primeiro ordenar os dados numa nova base (dadosrp) pela variável rp. Para facilitar, vamos primeiro ordenar os dados numa nova base (dadosrp) pela variável rp.

19 Ordenando por Região de Procedência indice=order(dados$rp) indice=order(dados$rp) dadosrp=dados[indice,] dadosrp=dados[indice,] table(dados$rp) table(dados$rp) capital interior outra 11 12 13 Logo, em dadosrp as observações de 1 a 11 são de empregados cuja procedência é a capital, de 12 a 23 é o interior e de 24 a 36 são outras regiões.

20 Medidas resumo por região de procedência sink(a:\\relatoriorp.txt) #abre arquivo que conterá os resultados Comportamento de salários para Capital summary(dadosrp$sal[1:11]) Desvio-padrão: sd(dadosrp$sal[1:11]) Comportamento de salários para Interior summary(dadosrp$sal[12:23]) Desvio-padrão: sd(dadosrp$sal[12:23]) Comportamento de salários para Outras summary(dadosrp$sal[24:36]) Desvio-padrão: sd(dadosrp$sal[24:36]) sink() # fecha arquivo

21 Lista de comandos source(http://www.im.ufrj.br/~flavia/aed06/rpsal.txt) source(http://www.im.ufrj.br/~flavia/aed06/rpsal.txt) O conteúdo será gravado no arquivo relatoriorp.txt no disquete no drive A O conteúdo será gravado no arquivo relatoriorp.txt no disquete no drive A Se você preferir, edite o arquivo rpsal.txt e na primeira linha altere o endereço e/ou o nome do arquivo que conterá os resultados. Se você preferir, edite o arquivo rpsal.txt e na primeira linha altere o endereço e/ou o nome do arquivo que conterá os resultados.

22 [1] "Comportamento de salários para Capital" Min. 1st Qu. Median Mean 3rd Qu. Max. 4.56 7.49 9.77 11.46 16.63 19.40 desvio-padrão: 5.476653 [1] "Comportamento de salários para Interior" Min. 1st Qu. Median Mean 3rd Qu. Max. 4.000 7.805 10.650 11.550 14.700 23.300 desvio-padrão: 5.296055 [1] "Comportamento de salários para Outras" Min. 1st Qu. Median Mean 3rd Qu. Max. 5.73 8.74 9.80 10.45 12.79 16.22 desvio-padrão: 3.145453

23 Resumindo: salário versus região de procedência regiãotodosCapitalInteriorOutros mínimo 4,004,564,005,73 Q17,55 7,497,818,74 Q210,16 9,7710,659,80 Q314,06 16,6314,7012,79 máximo23,30 19,4023,3016,22 média11,12 11,4611,5510,45 desvio-padrão4,59 5,485,303,14 Volta

24 Gráfico de salário versus região de procedência plot(dados$rp,dados$sal,main="Box-plots de salário segundo a região de procedência")

25 Comportamento dos salários sem discriminar por nível de instrução (todos) boxplot(dados$sal,dadosrp$sal[1:11],dadosrp$sal[12:23], dadosrp$sal[24:36],names=c("Todos",Capital",Interior, Outras"))

26 Comentário É possível perceber, a partir destes dados e gráficos que não há uma relação bem definida entre salário e região de procedência. É possível perceber, a partir destes dados e gráficos que não há uma relação bem definida entre salário e região de procedência. Os salários parecem estar mais relacionados com o nível de instrução do que com a região de procedência. Os salários parecem estar mais relacionados com o nível de instrução do que com a região de procedência.

27 Problema Como quantificar a dependência entre estas variáveis? Como quantificar a dependência entre estas variáveis? No caso de duas variáveis quantitativas usa-se a correlação. No caso de duas variáveis quantitativas usa-se a correlação. No caso de duas variáveis qualitativas usa-se o qui-quadrado. No caso de duas variáveis qualitativas usa-se o qui-quadrado. O que usar no caso de uma variável qualitativa e uma quantitiativa? O que usar no caso de uma variável qualitativa e uma quantitiativa?

28 Medida de dependência: uma variável qualitativa e uma quantitativa Vamos usar as variâncias dentro de cada categoria de resposta da variável qualitativa e a variância global, para definir uma medida de associação entre uma variável qualitativa e uma quantitativa. Vamos usar as variâncias dentro de cada categoria de resposta da variável qualitativa e a variância global, para definir uma medida de associação entre uma variável qualitativa e uma quantitativa.

29 Medida de dependência: uma variável qualitativa e uma quantitativa (1) Se a variância dentro de cada categoria de resposta for pequena e menor do que a global, significa que a variável qualitativa melhora a capacidade de previsão da variável quantitativa e, portanto, existe uma relação entre as duas variáveis. Se a variância dentro de cada categoria de resposta for pequena e menor do que a global, significa que a variável qualitativa melhora a capacidade de previsão da variável quantitativa e, portanto, existe uma relação entre as duas variáveis. Ver tabela 1

30 Instrução versus salário Região de procedência versus salário Parece haver uma melhora na capacidade de previsão de salário, segundo o nível de instrução. Não parece haver melhora na capacidade de previsão de salário, segundo a região de procedência.

31 Medida de dependência: uma variável qualitativa e uma quantitativa (2) Observe que para as variáveis salário e instrução, as variâncias dentro de cada nível são menores do que a variância global: Observe que para as variáveis salário e instrução, as variâncias dentro de cada nível são menores do que a variância global: var(dados$sal) # variância global de salários 21.04477 var(dadosord$sal[1:12]) #var. de salários para Ens. Fund. 8.740679 var(dadosord$sal[13:30]) #var. de salários para Ens. Médio 13.80230 var(dadosord$sal[31:36]) #var. de salários para Ens. Sup. 20.27195

32 Medida de dependência: uma variável qualitativa e uma quantitativa (3) Para as variáveis sal e rp, vemos que as variâncias dentro de cada região de procedência não são menores do que a global: Para as variáveis sal e rp, vemos que as variâncias dentro de cada região de procedência não são menores do que a global: var(dados$sal) # variância global de salários 21.04477 var(dadosrp$sal[1:11]) #var. de salários para capital 29.99373 var(dadosrp$sal[12:23]) #var. de salários para interior 28.0482 var(dadosrp$sal[24:36]) #var. de salários para outra 9.893877

33 Medida de dependência: uma variável qualitativa e uma quantitativa (4) Utiliza-se a média das variâncias, porém ponderada pelo número de observações em cada categoria, ou seja, Utiliza-se a média das variâncias, porém ponderada pelo número de observações em cada categoria, ou seja, Essa variância média será comparada à variância global.

34 Medida de dependência: uma variável qualitativa e uma quantitativa (5) variância dentro da i-ésima categoria de resposta, i=1,...,k. Nos dois exemplos trabalhados k foi igual a 3: instrução (F,M,S) e região de procedência (capital,interior,outra). número de categorias de resposta da variável qualitativa número de observações na i-ésima categoria de resposta =n (total de observações.

35 Variância dentro de cada grupo Se x ij representa o salário do j -ésimo indivíduo da i - ésima categoria de instrução, i =1,2,3 e j=1,..., n i com n i representando o total de indivíduos com escolaridade de nível i, a variância dentro do i -ésimo nível de scolaridade Var i (S) é dada por com representando a média de salário para o nível de escolaridade i.

36 Continuação Fórmula para o cálculo de

37 Variância Global representa a média global. é o número total de observações

38 Medida de dependência: uma variável qualitativa e uma quantitativa (5) com Var(S) representando a variância global e representando a média ponderada das variâncias dentro de cada categoria da variável qualitativa.

39 é igual a zero

40 soma dos desvios da média em cada grupo.

41 Portanto, tal que

42 Medida de dependência: uma variável qualitativa e uma quantitativa (6) O grau de associação entre as duas variáveis é definido como o ganho relativo na variância, obtido pela introdução da variável qualitativa. A medida é baseada na decomposição de somas de quadrados vista anteriormente.

43 Medida de dependência: uma variável qualitativa e uma quantitativa (7) Se a média das variâncias for muito parecida com a variância global, o ganho relativo na variância será pequeno. Já se a média das variâncias for bem menor do que a variância global, o ganho relativo na variância será grande.

44 Medida de dependência: uma variável qualitativa e uma quantitativa (7) Observe que 0R 21. O símbolo R 2 é usual em análise de variância e regressão, tópicos que vão ser abordados nas disciplinas Análise de Regressão e Planejamento de Experimentos. Quanto mais próximo de 1 for o valor de R 2, maior será a associação.

45 Cálculo de R 2 Calcule o R 2 para o par salário e instrução. s=35*var(dados$sal)/36 #variância global de salários com denominador n s1=11*var(dadosord$sal[1:12])/12 #var. sal. Ens. Fund. s2=17*var(dadosord$sal[13:30])/18 #var. sal. Ens. Médio s3=5*var(dadosord$sal[31:36])/6 #var.sal. Ens. Superior sbarra=(12*s1+18*s2+6*s3)/36 #média pond. variâncias R2=(s-sbarra)/s #cálculo de R2 R 2 0.4133 Dizemos que 41,33% da variação total do salário é explicada pela variável instrução.

46 Tabela para o cálculo de R 2 NívelFMStotal soma simples94.04207.5198.85400.40 soma de quadrados simples833.112626.881729.915189.90 ni1218636 média7.8411.5316.4811.12 soma de quadrados corrigida pela média96.15234.64101.36736.57 432.15 Variação total Variação residual

47 Cálculo de R 2 (continuação)

48 Cálculo de R 2 Calcule o R 2 para o par salário e região de procedência. s=35*var(dados$sal)/36 #variância global de salários com denominador n s1=10*var(dadosrp$sal[1:11])/11#capital s2=11*var(dadosrp$sal[12:23])/12#interior s3=12*var(dadosrp$sal[24:36])/13#outra sbarra=(11*s1+12*s2+13*s3)/36 R2=(s-sbarra)/s R 2 0.0127 Dizemos que apenas 1,27% da variabilidade dos salários é explicada pela região de procedência.

49 Tabela para o cálculo de R 2 Regiãocapitalinterioroutratotal soma simples126.01138.60135.79400.40 soma de quadrados simples1743.441909.361537.115189.90 ni11121336 média11.4611.5510.4511.12 soma de quadrados corrigida299.94308.53118.73736.57 727.19

50 Cálculo de R2 (continuação)

51 Observação A comparação dos valores de R 2 em cada exemplo confirma comentário anterior de que há uma relação entre salário e instrução e, que entre salário e região de procedência, não há relação. A comparação dos valores de R 2 em cada exemplo confirma comentário anterior de que há uma relação entre salário e instrução e, que entre salário e região de procedência, não há relação.

52 Usando funções do R para calcular o R 2 No R, o comando aov(dados$sal~dados$instrucao), gerará a seguinte tabela: Terms: dados$instrucao Residuals Sum of Squares 304.4206 432.1463 Deg. of Freedom 2 33 é a variação devido aos grupos – numerador de R 2 é a variação residual Logo,

53 Salário versus região de procedência aov(dados$sal~dados$rp) Logo, Terms: dados$rp Residuals Sum of Squares 9.3728 727.1940 Deg. of Freedom 2 33

54 Revendo as fórmulas Decomposição da variação total – soma de quadrados total - SQ variação total - SQTot variação residual - SQRes variação devida aos grupos – SQExp

55

56 Exercício 1 Calcule o grau de associação entre as variáveis estado civil e idade (em anos completos) nos dados da companhia MB. > indice=order(dados$ecivil) > dadosec=dados[indice,] > table(dados$ecivil) casado solteiro 20 16 > s=35*var(dados$idadea)/36 > s1=19*var(dadosec$idadea[1:20])/20 > s2=15*var(dadosec$idadea[21:36])/16 > sbarra=(20*s1+16*s2)/36 > R2=(s-sbarra)/s > R2 [1] 0.0090952 Sugestão: R.: O estado civil explica apenas 0,9% da variabilidade total da idade.

57 Exercício 1 (cont.) Alternativamente, aov(dados$idadea~dados$sal) Terms: dados$ecivil Residuals Sum of Squares 14.45 1574.30 Deg. of Freedom 1 34 R2=14.45/(1574.3+14.45) > R2 [1] 0.0090952

58

59

60 Exercício 2 Voltando aos dados da pesquisa de telemarketing (telemark.TXT), investigue possíveis dependências entre os seguintes pares de variáveis: Voltando aos dados da pesquisa de telemarketing (telemark.TXT), investigue possíveis dependências entre os seguintes pares de variáveis: cia e uso cia e uso renda e uso renda e uso instrucao e uso instrucao e uso idade e uso. idade e uso.

61

62 aov(tel$uso~tel$cia) Call: aov(formula = tel$uso ~ tel$cia) Terms: tel$cia Residuals Sum of Squares 17905.1 584990.0 Deg. of Freedom 1 998 R2=17905.1/(17905.1+584990) > R2 [1] 0.02969853 R.: A Companhia explica apenas cerca de 3% da variabilidade total da variável uso.

63 Renda versus uso

64 Call: aov(formula = tel$uso ~ tel$renda) Terms: tel$renda Residuals Sum of Squares 19314.2 387447.2 Deg. of Freedom 6 778 > R2=19314.2/(19314.2+387447.2) > R2 [1] 0.04748287 R.: A faixa de renda explica apenas cerca de 4,7% da variabilidade total da variável uso.

65 Instrução e uso

66 > aov(tel$uso~tel$instrucao) Call: aov(formula = tel$uso ~ tel$instrucao) Terms: tel$instrucao Residuals Sum of Squares 25333.6 547578.7 Deg. of Freedom 5 959 > R2=25333.6/(25333.6+547578.7) > R2 [1] 0.04421898 R.: A escolaridade explica apenas cerca de 4,4% da variabilidade total da variável uso.

67 Idade e uso

68 Call: aov(formula = tel$uso ~ tel$idade) Terms: tel$idade Residuals Sum of Squares 18638.8 559852.2 Deg. of Freedom 5 961 R2=18638.8/(18638.8+559852.2) > R2 [1] 0.03221969 R.: A idade explica apenas cerca de 3,2% da variabilidade total da variável uso.

69 Conclusão Pelas análises feitas, não percebe-se nenhuma dependência entre a variável intensidade de uso do telefone e as variáveis cia, renda, idade e escolaridade. Pelas análises feitas, não percebe-se nenhuma dependência entre a variável intensidade de uso do telefone e as variáveis cia, renda, idade e escolaridade.

70 Funções do R usadas na aula de hoje: read.table read.table order order sink sink summary summary sd sd var var plot plot boxplot boxplot aov (analysis of variance) aov (analysis of variance)


Carregar ppt "Análise Exploratória de Dados R – 03 de junho de 2008."

Apresentações semelhantes


Anúncios Google