E NHANCED S ELF -O RGANIZING I NCREMENTAL N EURAL N ETWORK FOR O NLINE U NSUPERVISED L EARNING Cesar Lima José Francisco Maíra Nascimento.

Apresentação em tema: "E NHANCED S ELF -O RGANIZING I NCREMENTAL N EURAL N ETWORK FOR O NLINE U NSUPERVISED L EARNING Cesar Lima José Francisco Maíra Nascimento."— Transcrição da apresentação:

1 E NHANCED S ELF -O RGANIZING I NCREMENTAL N EURAL N ETWORK FOR O NLINE U NSUPERVISED L EARNING Cesar Lima José Francisco Maíra Nascimento

2 R OTEIRO Introdução Revisão literária SOINN ESOINN Experimentos Conclusão Referências

3 I NTRODUÇÃO Aprendizagem não supervisionada Construção de grupos (agrupamentos) de dados baseado em suas características Aprendizagem de topologia Encontrar grupos homogêneos de dados dentre todos de um conjunto.

4 I NTRODUÇÃO Problemas Custo computacional Armazenamento Outros problemas referem-se a: Inicialização do algoritmo Pré-definição do número desejado de clusters

5 I NTRODUÇÃO Algoritmos de agrupamento (clustering) Hierárquico, por partição, fuzzy, nearest neighbor, RNA etc. Aprendizagem incremental Adaptar-se a novas informações sem esquecer informação previamente aprendida

6 R EVISÃO LITERÁRIA K-means e LBG Inicialização dos parâmetros Determinação do número de clusters Ambos têm melhorias que reduzem suas limitações

7 R EVISÃO LITERÁRIA Redes neurais para clusterização topology learning Geram mapeamentos entre dados em espaço de alta dimensão para uma estrutura topológica Redes auto-organizáveis (SOM, NG, etc.) são utilizadas para este fim

8 R EVISÃO LITERÁRIA Self Organizing Map (SOM) Estrutura predefinida

9 R EVISÃO LITERÁRIA Neural Gas (NG) Competitive Hebbian Learning Decisão a priori do tamanho da rede Growing Neural Gas (GNG) Estrutura dinâmica, sem necessidade de definí-la previamente Incremento constante de novos nodos, deslocamento de centros (nodos representantes)

10 R EVISÃO LITERÁRIA Growing Neural Gas - Utility (GNG-U) Remoção de nodos baseado em parâmetro de utilidade Limitações (GNG, GNG-U, etc) Aumento permanente da rede Representação do estado atual da distribuição de dados

11 S ELF -O RGANIZING I NCREMENTAL N EURAL N ETWORK (SOINN) Objetivos: Processar dados não estacionários on-line ou life-long Não necessitar de condições iniciais (quantidade de classes, número de nodos, parâmetros iniciais, etc.) Separar classes com interseção de baixa densidade (reportar clusters)

12 S ELF -O RGANIZING I NCREMENTAL N EURAL N ETWORK (SOINN) Rede de duas camadas 1 ª: Densidade da distribuição dos dados 2 ª: Separa clusters e fornece seus protótipos representativos Algoritmo Recebe vetor de entrada ξ (na 1 ª camada) Encontra os dois nodos mais próximos: s 1 e s 2 Julga se ξ pertence ao cluster s 1 ou s 2 Baseado em limiar adaptativo por nodo (T s1 e T s2 nesse caso)

13 S ELF -O RGANIZING I NCREMENTAL N EURAL N ETWORK (SOINN) Algoritmo (continuação) Se ξ representa uma nova classe, adicionar nodo r com vetor ξ à rede e reinicie com uma nova entrada. Caso contrário crie uma nova aresta entre s 1 e s 2 e zere sua idade Incrementa a idade de todas as conexões do vencedor Atualiza os pesos do vencedor e de seus vizinhos Remove nodos com idade maior que age dead

14 S ELF -O RGANIZING I NCREMENTAL N EURAL N ETWORK (SOINN) Algoritmo (continuação) Após λ iterações Insere um novo nodo onde o erro acumulado é maior Se não houver redução do erro local, cancela a inserção Remove nodos ruidosos Com nenhum ou um vizinho

15 S ELF -O RGANIZING I NCREMENTAL N EURAL N ETWORK (SOINN) Algoritmo (continuação) Após LT iterações Submete os nodos atuais da rede como entrada para o próprio algoritmo Gera os nodos da segunda camada Após aprendizagem, nodos conectados representam um cluster

16 SOINN

17 E NHANCED S ELF -O RGANIZING I NCREMENTAL N EURAL N ETWORK (ESOINN) Principais problemas do SOINN: Adotar rede de duas camadas Quando encerrar o treinamento da 1ª camada e iniciar o da 2ª Requer grande número de parâmetros determinados pelo usuário Separa clusters com interseção de baixa densidade

18 E NHANCED S ELF -O RGANIZING I NCREMENTAL N EURAL N ETWORK (ESOINN) ESOINN Baseado no SOINN Herda todas as funções do SOINN Soluciona problemas citados Adota apenas uma camada Algoritmo Recebe vetor de entrada ξ Encontra os dois nodos mais próximos: s 1 e s 2 Julga se ξ pertence ao cluster s 1 ou s 2 Baseado em limiar adaptativo por nodo (T s1 e T s2 nesse caso)

19 E NHANCED S ELF -O RGANIZING I NCREMENTAL N EURAL N ETWORK (ESOINN) Algoritmo (continuação) Se ξ representa uma nova classe, adiciona nodo r com vetor ξ à rede e reinicia com uma nova entrada. Incrementa a idade de todas as conexões do vencedor Caso contrário cria uma nova aresta entre s 1 e s 2 e zera sua idade, se: s 1 e s 2 são nodos novos Pertecem a mesma subclasse Pertecem a classes diferentes e satisfazem: min(h s1, h s2 ) > α A A max ou min(h s1, h s2 ) > α B B max Caso contrário, se existir uma conexão entre s 1 e s 2, ela é removida Atualiza a densidade do vencedor, usando a equação: h = 1/ Atualiza os pesos do vencedor e de seus vizinhos Remove nodos com idade maior que age dead

20