A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

© Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática.

Apresentações semelhantes


Apresentação em tema: "© Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática."— Transcrição da apresentação:

1 © Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática Universidade Federal de Pernambuco

2 © Paulo Adeodato & Germano Vasconcelos Conteúdo * Aprendizagem não-supervisionada * Inspiração biológica Mapas topográficos, Funções de ativação, Auto-organização * Rede de Kohonen * Algoritmo de aprendizagem * Formação dos mapas (clustering) * Aplicações

3 © Paulo Adeodato & Germano Vasconcelos Tipos de Aprendizagem I (pelo grau de feedback) * Supervisionada: um professor diz quanto a resposta dada pelo sistema se aproxima da resposta desejada. (e. g. nota de um aluno numa prova) * Por Reforço: um professor diz apenas se a resposta dada pelo sistema está certa ou errada. (e. g. punição/recompensa no treinamento de animais) * Não-Supervisionada: o sistema tenta se auto-organizar baseado nas similaridades entre os exemplos a ele apre- sentados. (e. g. desenvolvimento das células simples do córtex visual estriado)

4 © Paulo Adeodato & Germano Vasconcelos Tipos de Aprendizagem II (pelo grau de feedback) * Supervisionada: Conjunto de treinamento s = {(x 1, f(x 1 )), (x 2, f(x 2 )),..., (x n, f(x n ))} Convergência rápida * Por Reforço: Conjunto de treinamento s = {(x 1, sgn[f(x 1 )] ), (x 2, sgn[f(x 2 )] ),..., (x n, sgn[f(x n )] )} Convergência média * Não-Supervisionada: Conjunto de treinamento s = {(x 1, ), (x 2, ),..., (x n, )} Convergência lenta

5 © Paulo Adeodato & Germano Vasconcelos Características Gerais das Redes de Kohonen * Inspiração biológica * Aprendizagem não supervisionada (clustering) a aprendizagem agrupa padrões de características comuns a rede é capaz de identificar as características comuns ao longo do domínio dos padrões de entrada * Memória associativa * Mapa topográfico de características Quantização vetorial (compressão de dados) Relações de vizinhança preservadas (transformações conformes) Representação de espaços N-Dimensionais em 2-D

6 © Paulo Adeodato & Germano Vasconcelos Inspiração Biológica * Codificação distribuída em camadas (redes planas) * Funções de ativação (vizinhança) * Mapas topográficos visão (ice cube, fóvea etc.) tato audição * Aprendizagem biologicamente plausível o processo WinnerTakesAll (canto de acasalamento) liberação de óxido nítrico pelos neurônios ativos membro fantasma (reaprendizagem dos córtices somato-sensorial e motor)

7 © Paulo Adeodato & Germano Vasconcelos Homúnculo Mapa Topográfico Motor

8 © Paulo Adeodato & Germano Vasconcelos Homúnculo Mapa Topográfico Somato-Sensorial

9 © Paulo Adeodato & Germano Vasconcelos Rede de Kohonen Entrada Estado /Saída * Camada de saída plana: grade 2-D * Os estados dos neurônios são as próprias saídas * Camadas de entrada e saída totalmente conectadas * Feedback na camada de saída apenas numa vizinhança de cada neurônio (excitação / inibição lateral)

10 © Paulo Adeodato & Germano Vasconcelos Aspectos do Treinamento * O treinamento forma agrupamentos dos neurônios em vizinhanças que funcionam como detectores de características * Esse mapa topográfico é auto-organizado por um processo cíclico de comparação dos padrões de entrada com aqueles já armazenados pelos neurônios nos seus pesos * A partir de regiões aleatoriamente setadas, a rede cria uma representação local e auto-organizada da informação * O treinamento seleciona o neurônio de maior resposta ao padrão de entrada apresentado e aumenta a resposta desse neurônio e da sua vizinhança ao padrão

11 © Paulo Adeodato & Germano Vasconcelos Função de Ativação Chapéu de Mexicano Função de Ativação Chapéu de Mexicano O óxido nítrico liberado pelas células ativas é uma das substâncias que fazem esse papel.

12 © Paulo Adeodato & Germano Vasconcelos Funções Chapéu de Mexicano no Sistema Visual (DOGs, Gabor etc.) Retina Núcleo Geniculado Lateral Córtex Estriado

13 © Paulo Adeodato & Germano Vasconcelos Auto-Organização Biológica (Detecção de Bordas) Seletividade à Orientação no Córtex Estriado

14 © Paulo Adeodato & Germano Vasconcelos Vizinhança Adaptável na Detecção de Bordas

15 © Paulo Adeodato & Germano Vasconcelos Algoritmo de Aprendizagem * Inicializa a rede: pesos, raio da vizinhança, taxa de aprendizagem e taxa de redução da vizinhança * Apresenta o padrão de entrada Calcula a distância euclideana do vetor de entrada a cada neurônio j de saída Seleciona o neurônio n j* de menor distância d j* Atualiza / adapta os pesos do neurônio n j* e da sua vizinhança N j*, segundo a regra: * w ij (t+1) = w ij (t) + (t)[x i (t)-w ij (t)] * Reduz a vizinhança e a taxa de aprendizagem (convergência) * Apresenta outro padrão de entrada

16 © Paulo Adeodato & Germano Vasconcelos Formação do Mapa Topográfico Uniforme T=0 T=25 T=500 T=10.000

17 © Paulo Adeodato & Germano Vasconcelos Máquina de Escrever Fonética

18 © Paulo Adeodato & Germano Vasconcelos Máquina de Escrever Fonética Mapa Fonotópico

19 © Paulo Adeodato & Germano Vasconcelos Máquina de Escrever Fonética Seqüência Fonética

20 © Paulo Adeodato & Germano Vasconcelos Outros Aspectos das Redes de Kohonen * A orientação espacial dos vetores é priorizada na avaliação de similaridade: normalização é necessária * Durante o treinamento o sistema se auto-organiza para mapear topograficamente as características. Depois, são associados os rótulos às características de cada região do mapa * A plausibilidade biológica desse modelo de rede a torna candidata natural na interpretação de fenômenos biológicos (e.g. distúrbios de aprendizagem, membro fantasma etc.)


Carregar ppt "© Paulo Adeodato & Germano Vasconcelos Redes de Kohonen Paulo Adeodato e Germano Vasconcelos Grupo de Inteligência Computacional Departamento de Informática."

Apresentações semelhantes


Anúncios Google