ANÁLISE DISCRIMINANTE LIG, 18 de novembro de 2008.

Apresentação em tema: "ANÁLISE DISCRIMINANTE LIG, 18 de novembro de 2008."— Transcrição da apresentação:

1 ANÁLISE DISCRIMINANTE LIG, 18 de novembro de 2008

2 Exemplo para gerar amostras de treinamento e de validação: predição, estimação do valor esperado da taxa de erro real Voltemos aos dados trabalhados na aula anterior, gerados de duas normais bivariadas com covariâncias desiguais. São 100 observações, sendo 50 de cada população A ou B. Nesse primeiro caso, vamos selecionar uma amostra de tamanho 80 dessas sem observações para gerar a regra de classificação e, depois, Vamos validá-la com a amostra restante, que será a amostra de validação.

3 Comandos tr=sample(1:100,80) Esse comando faz com que tr receba 80 índices escolhidos de forma aleatória entre os índices de 1 a 100 (sem repetição). Faça então: train=dadoq[tr,] e test=dadoq[-tr,] Esses comandos fazem com que train receba os dados da base dadoq correspondentes aos índices em tr e que test receba o os dados da base dadoq complementares aos índices em tr.

4 Classificação fit=qda(train[1:2,],train$grupo) pred=predict(fit,test[1:2,]) table(test$grupo,pred$class) RealAloc. AAloc.BTotal A11718 B61622 Total172340 Nesse caso temos uma estimativa da taxa de erro dada por 11/40=27,5%

5 Classificação em uma de várias populações Suponha agora que cada observação pode se proveniente de uma e somente uma de g populações: Sejam

6 Classificação em uma de várias populações Nesse caso, a probabilidade de classificar uma observação de i em j, p ji, é dada por: Portanto, o custo esperado de classificação incorreta de uma observação de 1 é dado por:

7 Classificação em uma de várias populações De modo análogo, os custos esperados condicionais as demais populações são dados por: Como i é a probabilidade de incidência a priori de que uma observação seja proveniente de i segue que o custo esperado de classificação incorreta é dado por:

8 Classificação em uma de várias populações A determinação de um procedimento de classificação ótimo leva em conta a escolha das regiões de classificação, R 1, R 2,..., R g, mutuamente exclusivas e exaustivas tal que o custo esperado de classificação incorreta seja minimizado. RESULTADO: As regiões de classificação R i, i=1,2,...,g, que minimizam o custo esperado de classificação incorreta (CECI) são dadas por:

9 Classificação em uma de várias populações Em outras palavras, dada uma nova observação x, calcula-se para cada i=1,2,...,g : A observação x será designada à população r tal que c(r,x)=min{c(1,x), c(2,x),...,c(g,x)}.

10 Classificação em uma de várias populações Suponha que todos os custos de classificação incorreta sejam iguais a 1. Nesse caso, uma nova observação será alocada à população r, r=1,2,...,g se Observe que o mínimo será atingido quando o termo r f r (x) for um máximo. Conseqüentemente, quando os custos de classificação incorreta são iguais, A regra do CECI mínimo apresenta a seguinte forma, mais simples,

11 Comentários É interessante observar que a regra obtida aqui é equivalente à regra obtida pela maximização da probabilidade a posteriori de classificação obtida anteriormente para o caso de duas populações. No contexto de várias populações temos:

12 Probabilidade a posteriori de classificação incorreta no caso de duas populações (revisitando) Podemos também alocar uma nova observação x 0 à população com maior probabilidade de incidência a posteriori P( i |x 0 ) em que

13 Regra do CECI mínimo Observe que a regra obtida tem três componentes: 1. probabilidades de incidência a priori; 2. custos de classificação incorreta; 3. funções de densidade. Essas quantidades devem ser especificadas (ou estimadas) para poder implementar a regra.

14 Exemplo Suponha um caso simples no qual g=3, 1 =0,05, 2 =0,60 e 3 =0,35, com a seguinte tabela de custos de classificação incorreta: Situação realObs. alocada em 1 Obs. alocada em 12 Obs. alocada em 3 Observação de 1 0500100 Observação de 2 10050 Observação de 3 502000 Suponha também que os valores das respectivas densidade para a nova observação x 0 são f 1 (x 0 )=0,01; f 2 (x 0 )=0,85 e f 3 (x 0 )=2,0.

15 Exemplo (continuação) Nesse caso, os valores de c(r,x 0 ), r=1,2,3 são: 1. 325,0 2. 35,055 3. 102,025 Como o menor valor ocorre para r=2, alocamos x 0 à 2. Se todos os custos de classificação incorreta fossem iguais, os valores de r f r (x 0 ), r=1,2,3 são: 1. 0,0005 2. 0,510 3. 0,700 Portanto, nesse caso, alocaríamos x 0 à 3.

16 Exemplo (continuação) Equivalentemente, calculando as probabilidades de classificação a posteriori temos: 1. P( 1 |x 0 )=0,0004 2. P( 2 |x 0 )=0,421 3. P( 3 |x 0 )=0,578 Ou seja, no caso de custos de classificação incorreta iguais, x 0 é alocado na população cuja probabilidade de classificação a posteriori é maior, como foi verificado anteriormente.

17 Classificação em populações normais Suponha agora que as g populações sejam normais p - variadas com vetores de média μ i e matrizes de covariância i, i=1,2,...g. Nesse caso, supondo custos de classificação incorreta iguais, a regra de classificação pode ser escrita como: Na prática, os vetores de média e matrizes de covariância são desconhecidos e devem ser estimados.

18 Classificação em populações normais A estimativa do escore quadrático de discriminação é dada por: Desse modo a regra estimada para populações normais com covariâncias desiguais é alocar x à população r se Uma simplificação possível se dá no caso em que Σ 1 =Σ 2 =...=Σ g = Σ.

19 Classificação em populações normais Nesse caso, o escore discriminante torna-se: Observe que os dois primeiros termos são comuns a qualquer população e, conseqüentemente, podem ser ignorados para propósitos de alocação. Os termos restantes consistem de uma constante e uma combinação linear das componentes de x.

20 Classificação em populações normais Nesse caso, podemos definir o escore discriminante Uma estimativa do escore acima é acima é baseada na Estimativa combinada de Σ dada por:

21 Classificação em populações normais Desse modo a regra estimada para populações normais com covariâncias iguais é alocar x à população r se

22 Exemplo no R Use a base de dados CRABS e construa um fator de quatro níveis correspondendo a interação de espécie e gênero para usar como atributo de classificação.