Reconhecimento de Padrões Aprendizagem Supervisionada (KNN)

Apresentação em tema: "Reconhecimento de Padrões Aprendizagem Supervisionada (KNN)"— Transcrição da apresentação:

1 Reconhecimento de Padrões Aprendizagem Supervisionada (KNN)
Universidade Federal de Ouro Preto (UFOP) Programa de Pós-Graduação em Ciência da Computação (PPGCC) Reconhecimento de Padrões Aprendizagem Supervisionada (KNN) David Menotti, Ph.D.

2 Tipos de Aprendizagem Introduzir diferentes tipos de aprendizagem
Supervisionada Métodos paramétricos e não paramétricos. Não Supervisionada Incremental Com Reforço

3 Aprendizagem Supervisionada
Alguém (um professor) fornece a identificação (rótulos) de cada objeto da base de dados. Métodos Paramétricos: Assumem que a distribuição dos dados é conhecida (distribuição normal por exemplo) Métodos Não-Paramétricos: Não consideram essa hipótese.

4 Aprendizagem Supervisionada
Em muitos casos não se tem conhecimento da distribuição dos dados. Conseqüentemente, utilizar um método paramétrico pode não ser adequado. Distribuição Normal

5 Aprendizagem Supervisionada
Um algoritmo não-paramétrico para aprendizagem supervisionada é o k-NN (k Nearest Neighbor). Consiste em atribuir a um exemplo de teste x a classe do seu vizinho mais próximo.

6 k-NN Significado de k: Classificar x atribuindo a ele o rótulo representado mais freqüentemente dentre as k amostras mais próximas. Contagem de votos. Uma medida de proximidade bastante utilizada é a distância Euclidiana:

7 Distância Euclidiana x = (2,5) 1.41 y = (3,4)

8 Distância Euclidiana

9 k-NN: Um Exemplo A qual classe pertence este ponto? Azul ou vermelho?
Calcule para os seguintes valores de k: k=1 não se pode afirmar k=3 vermelho – 5,2 - 5,3 k=5 vermelho – 5,2 - 5,3 - 6,2 4 k=7 azul – 3,2 - 2,3 - 2,2 - 2,1 3 2 1 A classificação pode mudar de acordo com a escolha de k.

10 Matriz de Confusão Matriz que permite visualizar as principais confusões do sistema. Considere um sistema com 3 classes, 100 exemplos por classe. Erros de classificação 100% de classificação c1 c2 c3 90 10 100 5 95 c1 c2 c3 100 10 exemplos de C1 foram classificados como C2

11 Exercício Implementar em C um kNN.
Mostrar a taxa de reconhecimento do sistema para k= {1,3,5,7} Mostrar a matriz de confusão. Analisar o impacto da base de aprendizagem na taxa de reconhecimento.