Alexandre Xavier Falcão & David Menotti

Apresentação em tema: "Alexandre Xavier Falcão & David Menotti"— Transcrição da apresentação:

1 Alexandre Xavier Falcão & David Menotti
Universidade de Campinas (UNICAMP) MO443/MC920 Introdução ao Processamento de Imagem Digital Clustering de pixels por Kmeans Classificação de pixels por Knn Alexandre Xavier Falcão & David Menotti

2 Objetivos Introduzir diferentes tipos de aprendizagem
Não Supervisionada (Kmeans) Supervisionada (Knn) não paramétricos. Relacionar as técnicas com pixels

3 Aprendizagem Não-Supervisionada
O que pode ser feito quando se tem um conjunto de exemplos mas não se conhece as categorias envolvidas?

4 Como ‘‘classificar’’ esses pontos?
Por que estudar esse tipo de problema?

5 Aprendizagem Não-Supervisionada
Primeiramente, coletar e rotular bases de dados pode ser extremamente caro. Gravar voz é barato, mas rotular todo o material gravado é caro. Rotular TODA uma grande base de imagens é muito caro, mas... alguns elementos de cada classe não Segundo, muitas vezes não se tem conhecimento das classes envolvidas. Trabalho exploratório nos dados (ex. Data Mining.)

6 Aprendizagem Não-Supervisionada
Pré-classificação: Suponha que as categorias envolvidas são conhecidas, mas a base não está rotulada. Pode-se utilizar a aprendizagem não-supervisionada para fazer uma pré-classificação, e então treinar um classificador de maneira supervisionada (tópico de pesquisa)

7 Clustering É a organização dos objetos similares (em algum aspecto) em grupos. Quatro grupos (clusters)

8 Cluster Uma coleção de objetos que são similares entre si, e diferentes dos objetos pertencentes a outros clusters. Isso requer uma medida de similaridade. No exemplo anterior, a similaridade utilizada foi a distância. Distance-based Clustering

9 k-Means Clustering É a técnica mais simples de aprendizagem não supervisionada. Consiste em fixar k centróides (de maneira aleatória), um para cada grupo (clusters). Associar cada indivíduo ao seu centróide mais próximo. Recalcular os centróides com base nos indivíduos classificados.

10 Algoritmo k-Means Determinar os centróides
Atribuir a cada objeto do grupo o centróide mais próximo. Após atribuir um centróide a cada objeto, recalcular os centróides. Repetir os passos 2 e 3 até que os centróides não sejam modificados.

11 k-Means – Um Exemplo Objetos em um plano 2D

12 k-Means – Um Exemplo Passo 1:Centróides inseridos aleatoriamente

13 k-Means – Um Exemplo Passo 2: Atribuir a cada objeto o centróide mais próximo

14 k-Means – Um Exemplo Passo 3: Recalcular os centróides

15 k-Means – Um Exemplo Impacto da inicialização aleatória.

16 k-Means – Um Exemplo Fronteira Diferente
Impacto da inicialização aleatória

17 k-Means – Inicialização
Importância da inicialização. Quando se têm noção dos centróides, pode-se melhorar a convergência do algoritmo. Execução do algoritmo várias vezes, permite reduzir impacto da inicialização aleatória.

18 k-Means – Um Exemplo 4 Centróides

19 Calculando Distâncias
Distância Euclidiana Manhattan (City Block) x y x y

20 Calculando Distâncias
Minkowski Parâmetro r r = 2, distância Euclidiana r = 1, City Block

21 Calculando Distâncias
Mahalanobis Leva em consideração as variações estatísticas dos pontos. Por exemplo se x e y são dois pontos da mesma distribuição, com matriz de covariância C, a distância é dada pela equação Se a matriz C for uma matriz identidade, essa distância é igual a distância Euclidiana.

22 Critérios de Otimização
Até agora discutimos somente como medir a similaridade. Um outros aspecto importante em clustering é o critério a ser otimizado. Considere um conjunto composto de n exemplos, e que deve ser dividido em c sub-conjuntos disjuntos Cada sub-conjunto representa um cluster.

23 Critérios de Otimização
O problema consiste em encontrar os clusters que minimizam/maximizam um dado critério. Alguns critérios de otimização: Soma dos Erros Quadrados. Critérios de Dispersão

24 Soma dos Erros Quadrados
É o mais simples e usado critério de otimização em clustering. Seja ni o número de exemplos no cluster Di e seja mi a média desse exemplos A soma dos erros quadrados é definida

25 Soma dos Erros Quadrados
Je = pequeno Je = grande Je = pequeno Adequado nesses casos - Separação natural Não é muito adequado para dados mais dispersos. Outliers podem afetar bastante os vetores médios m

26 Critérios de Dispersão
Vetor médio do cluster i Vetor médio total Dispersão do cluster i Within-cluster Between-cluster

27 Critérios de Dispersão
Relação Within-Between Caso ideal Alto between (Sb) Clusters distantes um do outro. Baixo within (Sw) (boa compactação)

28 Critérios de Dispersão
Caso não ideal Baixo between (Sb) Baixa distância entre os clusters. Clusters dispersos Alto within

29 Critérios de Dispersão
Podemos entender melhor os critérios de dispersão analisando o seguinte exemplo:

30 Diferentes clusters para c=2 usando diferentes critérios de otimização
Erro Quadrado Sw Relação Sw/Sb

31

32 Normalização Evitar que uma característica se sobressaia a outras.
Se calcularmos a distância Euclidiana, veremos que a primeira característica dominará o resultado.

33 Normalização Diferentes técnicas de normalização Min-Max Z-Score Tanh
Soma

34 Normalização Considere as seguintes características
Qual delas discrimina os pontos verdes x azuis?

35

36 Aprendizagem Supervisionada
Alguém (um professor) fornece a identificação (rótulos) de cada objeto da base de dados. Métodos Paramétricos: Assumem que a distribuição dos dados é conhecida (distribuição normal por exemplo) Métodos Não-Paramétricos: Não consideram essa hipótese.

37 Aprendizagem Supervisionada
Em muitos casos não se tem conhecimento da distribuição dos dados. Consequentemente, utilizar um método paramétrico pode não ser adequado. Distribuição Normal

38 Aprendizagem Supervisionada
Um algoritmo não-paramétrico para aprendizagem supervisionada é o k-NN (k Nearest Neighbor). Consiste em atribuir a um exemplo de teste x a classe do seu vizinho mais próximo.

39 k-NN Significado de k: Classificar x atribuindo a ele o rótulo representado mais frequentemente dentre as k amostras mais próximas. Contagem de votos. Uma medida de proximidade bastante utilizada é a distância Euclidiana:

40 k-NN: Um Exemplo A qual classe pertence este ponto? Azul ou vermelho?
Calcule para os seguintes valores de k: k=1 não se pode afirmar k=3 vermelho – 5,2 - 5,3 k=5 vermelho – 5,2 - 5,3 - 6,2 4 k=7 azul – 3,2 - 2,3 - 2,2 - 2,1 3 2 1 A classificação pode mudar de acordo com a escolha de k.

41 kNN: Funciona bem? Certamente o kNN é uma regra simples e intuitiva.
Considerando que temos um número ilimitado de exemplos O melhor que podemos obter é o erro Bayesiano (E*) Para n tendendo ao infinito, pode-se demonstrar que o erro do kNN é menor que 2E* Ou seja, se tivermos bastante exemplos, o kNN vai funcionar bem.

42 kNN: Distribuições Multi-Modais
Um caso complexo de classificação no qual o kNN tem sucesso.

43 kNN: Como escolher k Não é um problema trivial.
k deve ser grande para minimizar o erro. k muito pequeno leva a fronteiras ruidosas. k deve ser pequeno para que somente exemplos próximos sejam incluídos. Encontrar o balanço não é uma coisa trivial. Base de validação

44 kNN: Como escolher k Para k = 1,...,7 o ponto x é corretamente classificado (vermelho.) Para k > 7, a classificação passa para a classe azul (erro)

45 kNN: Complexidade O algoritmo básico do kNN armazena todos os exemplos. Suponha que tenhamos n exemplos O(n) é a complexidade para encontrar o vizinho mais próximo. O(nk) complexidade para encontrar k exemplos mais próximos Considerando que precisamos de um n grande para o kNN funcionar bem, a complexidade torna-se problema.

46 kNN: Reduzindo complexidade
Se uma célula dentro do diagrama de Voronoi possui os mesmos vizinhos, ela pode ser removida. Mantemos a mesma fronteira e diminuímos a quantidade de exemplos

47 kNN: Reduzindo complexidade
kNN protótipos Consiste em construir protótipos para representar a base Diminui a complexidade, mas não garante as mesmas fronteiras