Análise Discriminante

Apresentação em tema: "Análise Discriminante"— Transcrição da apresentação:

1 Análise Discriminante
Prof. Elisson de Andrade

2 Acesse: http://profelisson.com.br/estatistica/
Material da Aula Acesse: Senha: esalq

3 Estrutura da Apresentação
Análise Discriminante: uma compreensão “intuitiva” Análise Discriminante: uma compreensão matemática Exemplo prático Processo de decisão em 6 Estágios

4 Análise Discriminante: Uma compreensão “Intuitiva”

5 O que é? Técnicas para classificar indivíduos em 2 ou mais grupos, com base em um conjunto de medidas Cada indivíduo pertence a um determinado grupo Também é possível identificar QUAIS variáveis ajudam a fazer as classificações

6 Exemplo: médico e exames
Será que determinado paciente tem ou não determinada doença X?

7 EXAME 1 Com base em apenas UM exame fica difícil concluir se o paciente tem ou não a doença X

8 Logo, será preciso estabelecer um CRITÉRIO, baseado em todos os exames conjuntamente, que consiga discriminar quem é e quem não é, portador da doença X EXAME 3 EXAME 4 EXAME 1 EXAME 2

9 EXAME 3 EXAME 4 EXAME 1 EXAME 2 Agora suponha que, ao analisar todos os exames em conjunto, seja possível chegar a um ÚNICO VALOR (Score) Exemplo Diagóstico Score Tem a Doença X ≥10 Não tem a Doença X < 10

10 O Objetivo é MINIMIZAR classificar erroneamente os pacientes
Qual o Score que melhor discriminam os grupos (com e sem doença)

11 Vejamos essa situação graficamente...

12 SITUAÇÃO IDEAL Não tem a Doença Tem a Doença SCORE Score = 10

13 Porém, nem tudo é PERFEITO!

14 Não tem a Doença Tem a Doença SCORE Score = 10 Parcela de membros que tem a Doença X, e foram classificados como não portadores

15 Não tem a Doença Tem a Doença SCORE Score = 10 Parcela de membros que NÃO tem a Doença X, e foram classificados como portadores

16 Resumindo “Uma variável estatística discriminante é a combinação de duas ou mais variáveis independentes que melhor discriminarão entre objetos (pessoas, empresas etc) definidos a priori” (Hair et al., 2009)

17 Para tal, é necessário precisamos estudar a FUNÇÃO DISCRIMINANTE mais a fundo...

18 Análise Discriminante: Uma compreensão Matemática

19 Introdução Avaliar quanto é possível separar dois ou mais grupos de indivíduos, sendo dadas medidas para eles através de diversas variáveis Caso geral: Diferentes grupos de tamanho n1, n2, ... , nm Quantidade p de variáveis: X1, X2, ... , Xp – para cada membro da amostra Confira tabela a seguir...

20 Coluna 1: indivíduos analisados, de 1 até nm, devido a existirem m grupos, conforme visto a seguir
... Xp 1 Grupo 1 2 n1 Grupo m nm

21 Indivíduo X1 ... Xp 1 Grupo 1 2 n1 Grupo m nm

22 Variáveis a serem analisadas
Indivíduo X1 ... Xp 1 Grupo 1 2 n1 Grupo m nm

23 Indivíduo 1, do grupo 1, analisando a variável 1
X1 ... Xp 1 x111 Grupo 1 2 n1 Grupo m nm Indivíduo 1, do grupo 1, analisando a variável 1

24 Indivíduo X1 ... Xp 1 x111 x11p Grupo 1 2 x211 x21p n1 xn1 11 xn1 1p x1m1 x1mp Grupo m x2m1 x2mp nm xnm m 1 xnm m p

25 Função Discriminante Onde Z = Score discriminante a = coeficientes
Abordagem mais simples: combinação linear das variáveis X 𝑍= 𝑎 1 𝑋 1 + 𝑎 2 𝑋 2 +…+ 𝑎 𝑝 𝑋 𝑝 Onde Z = Score discriminante a = coeficientes X = variáveis

26 Quando temos vários grupos, é possível obter várias funções Z
Função Discriminante Quando temos vários grupos, é possível obter várias funções Z 𝑍 1 = 𝑎 11 𝑋 1 + 𝑎 12 𝑋 2 +…+ 𝑎 1𝑝 𝑋 𝑝 𝑍 2 = 𝑎 21 𝑋 1 + 𝑎 22 𝑋 2 +…+ 𝑎 2𝑝 𝑋 𝑝 ... 𝑍 𝑖 = 𝑎 𝑖1 𝑋 1 + 𝑎 𝑖2 𝑋 2 +…+ 𝑎 𝑖𝑝 𝑋 𝑝 Obs: o número de funções discriminantes a serem geradas depende do Número de Grupos (NG) existentes, obedecendo a relação: NG -1

27 Como escolher o melhor Z?
Seja: W a matriz das somas de quadrados e de produtos cruzados dentro da amostra T matriz das somas totais de quadrados e produtos cruzados B = T - W Uma possibilidade (dentre várias) citada por Manly (2008) é o Teste da maior raiz de Roy, ou seja, busca-se o maior λ, que é o autovalor da matriz W-1 B

28 Análise Discriminante: Exemplo dos Crânios Egípcios

29 Dados do Problema Vamos comparar algumas medidas de 30 crânios masculinos (Tebas-Egito), entre 5 diferentes épocas Temos 4 variáveis a serem analisadas

30 Comprimento do Maxilar
Altura do Crânio Largura do Crânio Altura Nasal Comprimento do Maxilar

31 Confira os dados (tabela a ser entregue aos alunos)

32 Medidas Coletadas de Crânios Masculinos na Área de Tebas (Egito) – em milímetros

33 Desafio Construir uma função contendo essas 4 variáveis que indique possíveis mudanças das medidas do crânio ao longo do tempo

34 Eis que as funções discriminantes foram estimadas...

35 5 grupos geraram 4 funções discriminantes, as quais:
𝑍 1 =−0,0107 𝑋 1 +0,0040 𝑋 2 +0,0119 𝑋 3 −0,0068 𝑋 4 𝑍 2 =0,0031 𝑋 1 +0,0168 𝑋 2 −0,0046 𝑋 3 −0,0022 𝑋 4 𝑍 3 =−0,0068 𝑋 1 +0,0010 𝑋 2 +0,0000 𝑋 3 −0,0274 𝑋 4 𝑍 4 =0,0126 𝑋 1 −0,0001 𝑋 2 +0,0112 𝑋 3 +0,0054 𝑋 4

36 Maior λ significa que maior parte das diferenças entre amostras são explicadas por Z1
Autovalores 𝑍 1 =−0,0107 𝑋 1 +0,0040 𝑋 2 +0,0119 𝑋 3 −0,0068 𝑋 4 λ 1 =0,437 𝑍 2 =0,0031 𝑋 1 +0,0168 𝑋 2 −0,0046 𝑋 3 −0,0022 𝑋 4 λ 2 =0,035 𝑍 3 =−0,0068 𝑋 1 +0,0010 𝑋 2 +0,0000 𝑋 3 −0,0274 𝑋 4 λ 3 =0,015 𝑍 4 =0,0126 𝑋 1 −0,0001 𝑋 2 +0,0112 𝑋 3 +0,0054 𝑋 4 λ 4 =0,002

37 Analisando os sinais da função
𝑍 1 =−0,0107 𝑋 1 +0,0040 𝑋 2 +0,0119 𝑋 3 −0,0068 𝑋 4 Quanto mais estreito o crânio, maior o valor de Z1

38 Analisando os sinais da função
𝑍 1 =−0,0107 𝑋 1 +0,0040 𝑋 2 +0,0119 𝑋 3 −0,0068 𝑋 4 Quanto mais alto o crânio, maior o valor de Z1

39 Analisando os sinais da função
𝑍 1 =−0,0107 𝑋 1 +0,0040 𝑋 2 +0,0119 𝑋 3 −0,0068 𝑋 4 Quanto mais longo o maxilar, maior o valor de Z1

40 Analisando os sinais da função
𝑍 1 =−0,0107 𝑋 1 +0,0040 𝑋 2 +0,0119 𝑋 3 −0,0068 𝑋 4 Quanto menor a altura nasal, maior o valor de Z1

41 Calculando Médias e Desvios
É possível calcular o valor de Z1 para todos os indivíduos Utilizando o primeiro indivíduo do período 1, teríamos: 𝑍 1 =−0, , , −0, 𝑍 1 =−0,124 Obs: e isso pode ser feito para todos os indivíduos, gerando o cálculoda média e desvio-padrão para cada um dos 5 grupos

42 Calculando médias e desvios
Amostra Média Desvio-padrão Período 1 -0,029 0,097 Período 2 -0,043 0,071 Período 3 -0,099 0,075 Período 4 -0,143 0,080 Período 5 -0,167 0,095

43 Nota-se que a média de Z1 se tornou mais baixa ao longo do tempo...
Amostra Média Período 1 -0,029 Período 2 -0,043 Período 3 -0,099 Período 4 -0,143 Período 5 -0,167 Nota-se que a média de Z1 se tornou mais baixa ao longo do tempo...

44 Indicando uma TENDÊNCIA para...

45 Analisando os sinais da função
𝑍 1 =−0,0107 𝑋 1 +0,0040 𝑋 2 +0,0119 𝑋 3 −0,0068 𝑋 4 Crânios mais LARGOS

46 Analisando os sinais da função
𝑍 1 =−0,0107 𝑋 1 +0,0040 𝑋 2 +0,0119 𝑋 3 −0,0068 𝑋 4 Crânios mais CURTOS

47 Analisando os sinais da função
𝑍 1 =−0,0107 𝑋 1 +0,0040 𝑋 2 +0,0119 𝑋 3 −0,0068 𝑋 4 Maxilares CURTOS

48 Analisando os sinais da função GRANDES alturas nasais
𝑍 1 =−0,0107 𝑋 1 +0,0040 𝑋 2 +0,0119 𝑋 3 −0,0068 𝑋 4 GRANDES alturas nasais

49 Resumindo Essa análise discriminante obteve sucesso ao pontuar mudanças nas dimensões médias do crânio ao longo do tempo Porém... Ao utilizar um método denominado de Mahalanobis, os resultados não são tão bons...

50 Número do Grupo Alocado
Origem do grupo 1 2 3 4 5 Total 12 8 30 10 15 7 9 11 Apenas 34% de acerto

51 Ou seja, se achássemos um crânio e resolvêssemos estimar seu PERÍODO pelas suas dimensões (Score Z), apenas em 34% dos casos acertaríamos...

52 Análise Discriminante: Processo de Decisão

53 ESTÁGIO 1 Objetivos: defina o que realmente deseja encontrar
Diferenças de grupo em um perfil multivariado? Classificar observações em grupo? Identificar dimensões de discriminação entre grupos?

54 ESTÁGIO 2 Planejamento: consideração das seguintes questões
Seleção das variáveis independentes Tamanho da amostra Criação de amostras de análise e teste

55 ESTÁGIO 3 Suposições: definições como
Normalidade das variáveis independentes? Relações são lineares?

56 ESTÁGIO 4 Estimação das Funções Discriminantes
Estimação simultâneas ou stepwise? Significância das funções Avaliação de precisão preditiva Determinação do Score Ótimo Critérios para avaliação de razão de sucesso Significância estatística de precisão preditiva

57 ESTÁGIO 5 Interpretações das funções discriminantes
Quantas funções serão interpretadas? Avaliação de uma função, funções separadas ou combinadas?

58 ESTÁGIO 6 Validação dos resultados discriminantes
Amostra particionada ou validação cruzada? Perfil de diferentes grupos

59 Bibliografia Consultada
HAIR, J. F. et al. Análise multivariada de dados. 6ª ed. Porto Alegre: Bookman, 2009 MANLY, B. F. J. Métodos estatísticos multivariados: uma introdução. 3ª ed. Porto Alegre: Bookman, 2008

60 FIM