A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

25/04/20061 Redes Neurais Auto-organizáveis Teresa B. Ludermir Cin - UFPE.

Apresentações semelhantes


Apresentação em tema: "25/04/20061 Redes Neurais Auto-organizáveis Teresa B. Ludermir Cin - UFPE."— Transcrição da apresentação:

1 25/04/20061 Redes Neurais Auto-organizáveis Teresa B. Ludermir Cin - UFPE

2 2Redes Neurais Auto-Organizáveis 25/04/2006 Redes Auto-organizáveis l Em várias aplicações é desejável que a rede organize por si mesma padrões semelhantes gerando sua própria classificação dos dados de treinamento l Para isso é necessário que: n Padrões pertencentes a mesma classe possuam valores próximos ou iguais para um número de características n A rede consiga identificar estas características Critério para agrupar os dados

3 3Redes Neurais Auto-Organizáveis 25/04/2006 Redes Auto-organizáveis l Existem problemas que: n Não utilizam resposta desejada n Não recebem punição/recompensa n Única informação fornecida está no conjunto de padrões de entrada

4 4Redes Neurais Auto-Organizáveis 25/04/2006 Redes Auto-organizáveis l Propósito de um algoritmo self-organizing n Descobrir padrões ou características significativas nos dados de entrada Sem um professor n Algoritmo apresenta um conjunto de regras de natureza local

5 5Redes Neurais Auto-Organizáveis 25/04/2006 Redes Auto-organizáveis l Redes Auto-organizáveis n Definem os parâmetros da rede por si próprias, sem auxílio externo n Descobrem padrões significativos ou características nos dados de entrada n Rede forma sua própria classificação dos dados de treinamento Padrões de uma mesma classe compartilham características em comum

6 6Redes Neurais Auto-Organizáveis 25/04/2006 Redes Auto-organizáveis l Aprendizado não supervisionado funciona apenas quando existe redundância na entrada n Redundância fornece conhecimento n Ausência de redundância Impossível encontrar padrões ou características nos dados Dados seriam semelhantes a ruídos aleatórios l Aprendizado não supervisionado n Aprendizado competitivo n Aprendizado Hebbiano

7 7Redes Neurais Auto-Organizáveis 25/04/2006 Redes Auto-organizáveis l Aprendizado competitivo n Neurônios competem entre si pelo direito de atualizar seus pesos n Tarefa Classificação Extração de características (Compressão de dados) Formação de clusters (agrupamentos) n Exemplos ART, Kohonen

8 8Redes Neurais Auto-Organizáveis 25/04/2006 Redes Auto-organizáveis l Aprendizado Hebbiano n Utilizam procedimento baseado na regra de Hebb para atualizar os pesos n Tarefas Extração de características Análise de dados Memória autoassociativa n Exemplo Hopfield

9 9Redes Neurais Auto-Organizáveis 25/04/2006 Redes de Kohonen l Determinadas áreas do cérebro são responsáveis por funções específicas n Fala n Visão n Controle de movimentos l Cada área pode conter sub-áreas n Cada sub-área mapeia internamente respostas do órgão sensorial representado por ela Neurônios espacialmente ordenados

10 10Redes Neurais Auto-Organizáveis 25/04/2006 Redes de Kohonen l Exemplos: n Cortex auditivo: de acordo com a resposta a diferentes freqüências sonoras n Cortex visual: de acordo com características visuais primitivas Intensidade de luz Orientação e curvatura de linhas

11 11Redes Neurais Auto-Organizáveis 25/04/2006 Redes de Kohonen l Utilizam algoritmo de aprendizado baseado em conceitos de auto-organização biologicamente plausíveis l Baseadas no mapeamento realizado pelo cérebro n Permite representação de dados n-dimensionais em um espaço m-dimensional (m << n) n Utiliza técnica de quantização de vetores para comprimir dados dos vetores de entrada

12 12Redes Neurais Auto-Organizáveis 25/04/2006 Características básicas l Arquitetura n Uma camada bi-dimensional Grade plana (reticulado) n Cada neurônio Recebe todas as entradas e gera saída Está conectado aos seus vizinhos (feedback) Funciona como classificador de características n Pode ser utilizada uma hierarquia de camadas

13 13Redes Neurais Auto-Organizáveis 25/04/2006 Rede de Kohonen 010

14 14Redes Neurais Auto-Organizáveis 25/04/2006 Características básicas l Estados de ativação n [0, N] l Função de ativação d j = (x i - w ij ) 2 n Baseada em distância Euclidiana l Função de saída n Função identidade

15 15Redes Neurais Auto-Organizáveis 25/04/2006 Características básicas l Treinamento n Não supervisionado n Organiza neurônios em vizinhanças locais n Neurônios competem entre si Apenas neurônio vencedor e seus vizinhos atualizam seus pesos

16 16Redes Neurais Auto-Organizáveis 25/04/2006 Características básicas l Treinamento n Atualização dos pesos Atualiza neurônio vencedor e seus vizinhos dentro de um certo raio Raio e taxa de aprendizado são decrementados durante treinamento w ij (t +1) = w ij (t ) + t (x i (t) - w ij (t)) (neurônio j vizinhança do vencedor) Cria regiões que respondem a um grupo de entradas semelhantes

17 17Redes Neurais Auto-Organizáveis 25/04/2006 Características básicas l Treinamento Atualização dos pesos (x j vizinhança do vencedor) w ij (t +1) = w ij (t ) + t (x i (t) - w ij (t))

18 18Redes Neurais Auto-Organizáveis 25/04/2006 Algoritmo de Kohonen 1. Iniciar conexões com pequenos valores aleatórios; 2. Definir raio e taxa de aprendizado iniciais 3. Repita Para cada padrão de treinamento x Para cada neurônio n j Calcular a saída d j ; Selecionar neurônio n k com menor d k ; Atualizar pesos de n k e seus vizinhos; Reduzir taxa de aprendizado Reduzir raio Até raio < raio_mínimo

19 19Redes Neurais Auto-Organizáveis 25/04/2006 Características básicas l Observações n Encontra a unidade mais parecida com o padrão de entrada n Aumenta sua semelhança e a de seus vizinhos com o padrão de entrada n Forma mapa topográfico Neurônios topologicamente próximos respondem de forma semelhante a entradas semelhantes

20 20Redes Neurais Auto-Organizáveis 25/04/2006 Características básicas l Justificativa biológica n Córtex cerebral Neurônios ativos apresentam conexões mais fortes para neurônios fisicamente mais próximos A partir de uma certa distância, conexões se tornam inibitórias (chapéu mexicano) Parte da razão para mapeamento topológico no cérebro

21 21Redes Neurais Auto-Organizáveis 25/04/2006 Características básicas Chapéu mexicano R1 R2 R3

22 22Redes Neurais Auto-Organizáveis 25/04/2006 Características básicas l Rede de Kohonen modela córtex n Redes interconectadas localmente n Adaptação restrita aos neurônios vencedor e seus vizinhos l Aspectos centrais do treinamento de Kohonen n Conceito de vizinhança dos nós n Processo de adaptação dos pesos ou Treinamento

23 23Redes Neurais Auto-Organizáveis 25/04/2006 Vizinhanças l Define quais e quantos nós em torno do nó vencedor terão seus pesos ajustados l Tamanho modificado dinamicamente durante treinamento n Inicialmente grande (ex. todos os nós) n Reduzido progressivamente até limite pré- definido Taxa de redução pode ser função linear do número de ciclos

24 24Redes Neurais Auto-Organizáveis 25/04/2006 Vizinhanças l Pode ter diferentes formatos n Hexágono n Retangular l Pode ter diferentes funções de vizinhança n Bubble n Gaussian n Cut gaussian n Epanechicov

25 25Redes Neurais Auto-Organizáveis 25/04/2006 Vizinhanças l Treinamento de rede de Kohonen é afetado por: n Taxa de aprendizado n Taxa de redução da taxa de aprendizado n Formato da região de vizinhança n Função de vizinhança n Taxa de redução do raio ou tamanho da vizinhança

26 26Redes Neurais Auto-Organizáveis 25/04/2006 Vizinhanças l Após treinamento, rede forma agrupamentos n Grupos podem ser rotulados para indicar classe que representam Permite classificação de padrões desconhecidos

27 27Redes Neurais Auto-Organizáveis 25/04/2006 Treinamento l Processo em dois estágios: l Ordenação (Estágio 1) n Criação de uma ordenação topológica sobre mapa de nós aleatoriamente orientados l Refinamento ou convergência (Estágio 2) n Ajuste dos nós de cada sub-área (classe) para os padrões de entrada

28 28Redes Neurais Auto-Organizáveis 25/04/2006 Treinamento l Inicialização dos pesos (Estágio 0) n Aleatória Valores de pequena magnitude Cuidados devem ser tomados para evitar ò Que vetores de pesos sejam muito diferentes dos padrões de entrada ò Nós não utilizáveis para separar classes adequadamente ò Não convergência ou ciclos muito lentos

29 29Redes Neurais Auto-Organizáveis 25/04/2006 Treinamento l Inicialização dos pesos (continuação) n Inicializar todos os pesos com mesmo valor Tornar padrões de treinamento inicialmente semelhantes Adicionar ruído aos vetores de entrada nos primeiros estágios de treinamento

30 30Redes Neurais Auto-Organizáveis 25/04/2006 Treinamento l Inicialização dos pesos (eliminando tendências) n Utilizar um threshold para cada nó (consciência) Nós regularmente selecionados têm seu threshold aumentado Reduz sua chance de ser selecionado Permite utilização de nós redundantes n Reduzir vizinhança durante treinamento Solução utilizada por Kohonen

31 31Redes Neurais Auto-Organizáveis 25/04/2006 Treinamento l Estágio 1 - Ordenação n Busca agrupar os nós do mapa topológico de modo a refletir as diferentes classes n Rede descobre quantas classes deve identificar e suas posições relativas no mapa mapeamento grosseiro n Ocorrem grandes mudanças nos pesos Taxa de aprendizado decrescente: (t) [ ) Raio de vizinhança decrescente: [raio do mapa 1]

32 32Redes Neurais Auto-Organizáveis 25/04/2006 Treinamento l Estágio 2 - Refinamento n Taxa de aprendizado decrescente: [ ] n Requer 5 a 10 vezes mais apresentações que no primeiro estágio l Normalização dos pesos n Não considerar magnitude, apenas orientação do vetor peso n Reduz magnitude dos pesos para 1

33 33Redes Neurais Auto-Organizáveis 25/04/2006 Treinamento de vizinhança localizada

34 34Redes Neurais Auto-Organizáveis 25/04/2006 Redes de Kohonen l Pode ser necessário incluir novos padrões em uma rede já treinada n Melhorar performance de certos agrupamentos l Vetor de quantização de aprendizado (LVQ) n Técnica de aprendizado supervisionado n Ajusta mapa de características para melhorar sua performance em circunstâncias modificáveis

35 35Redes Neurais Auto-Organizáveis 25/04/2006 Algoritmo LVQ 1. Selecionar vetores de treinamento com classificação conhecida 2. Definir raio e taxa de aprendizado iniciais 3. Repita Para cada padrão de treinamento com classificação conhecida Para cada neurônio n j Calcular a saída d j ; Selecionar neurônio n k com menor d k ; Atualizar pesos de n k e seus vizinhos; Reduzir taxa de aprendizado Até erro < erro_mínimo

36 36Redes Neurais Auto-Organizáveis 25/04/2006 Algoritmo LVQ l Utiliza para cada entrada a saída desejada l Compara saída produzida com saída desejada l Não mexe no raio da vizinhança l Atualização dos pesos para nó vencedor w ij (t+1) = w ij (t) + (t)(x i (t) - w ij (t)) (correta) w ij (t+1) = w ij (t) - (t)(x i (t) - w ij (t)) (incorreta)

37 37Redes Neurais Auto-Organizáveis 25/04/2006 Aplicações l Datilógrafo fonético n Conversão de fala em texto datilografado n Sistema híbrido n Rede utilizada para classificar fonemas Mesmo fonema pode apresentar variações (orador, contexto onde palavra é utilizada) Utiliza LVQ

38 38Redes Neurais Auto-Organizáveis 25/04/2006 Datilógrafo fonético

39 39Redes Neurais Auto-Organizáveis 25/04/2006 Aplicações l Classificação de sinais de radar l Controle de braços de robôs l Segmentação de textura l Modelamento do cérebro l Tratamento de água l Categorização automática de documentos

40 40Redes Neurais Auto-Organizáveis 25/04/2006 Links Interessantes l Applet SOM 3D: regensburg.de/~saj39122/jfroehl/diplom/e- sample-applet.htmlhttp://fbim.fh- regensburg.de/~saj39122/jfroehl/diplom/e- sample-applet.html l Applet DemoGNG 1.5 com diversas variações do SOM e muitos recursos: bochum.de/ini/VDM/research/gsn/DemoGNG/GG _2.html bochum.de/ini/VDM/research/gsn/DemoGNG/GG _2.html


Carregar ppt "25/04/20061 Redes Neurais Auto-organizáveis Teresa B. Ludermir Cin - UFPE."

Apresentações semelhantes


Anúncios Google