A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Prof. Júlio Cesar Nievola - PPGIA - PUCPR1 Algoritmos Construtivos.

Apresentações semelhantes


Apresentação em tema: "Prof. Júlio Cesar Nievola - PPGIA - PUCPR1 Algoritmos Construtivos."— Transcrição da apresentação:

1 Prof. Júlio Cesar Nievola - PPGIA - PUCPR1 Algoritmos Construtivos

2 Prof. Júlio Cesar Nievola - PPGIA - PUCPR2 Introdução Motivação: transformar o treinamento em um problema simples de aprendizagem de uma célula: Algoritmo da torre Algoritmo da pirâmide Algoritmo de correlação em cascata Algoritmo do telhado Algoritmo grandioso Problemas de aprendizagem fácil

3 Prof. Júlio Cesar Nievola - PPGIA - PUCPR3 Algoritmo da Torre Todas as células intermediárias e de saída vêem as de entrada e a imediatamente anterior Usa-se o algoritmo do bolso com catraca para treinar cada célula intermediária e de saída Quando uma célula está treinada seus pesos são congelados e treina-se a próxima célula no caminho para a saída

4 Prof. Júlio Cesar Nievola - PPGIA - PUCPR4 Algoritmo da Torre Usar o algoritmo do bolso para gerar um modelo de célula única e congelar seus pesos após o treinamento Criar uma nova célula que vê as p entradas mais a ativação da célula mais recentemente treinada. Executar o algoritmo do bolso com catraca para treinar os p+2 pesos (incluindo bias) para esta célula Se a rede com a nova célula tem desempenho melhorado, congelar seus pesos e retornar ao passo 2; caso contrário remover a última célula e terminar

5 Prof. Júlio Cesar Nievola - PPGIA - PUCPR5 Algoritmo da Pirâmide Idêntico ao algoritmo da torre, exceto que cada nova célula recebe conexões de todas as outras células Embora as conexões e pesos adicionais pareçam melhorar a sua aprendizagem, as simulações foram inconclusivas

6 Prof. Júlio Cesar Nievola - PPGIA - PUCPR6 Algoritmo de Correlação em Cascata Topologia similar à pirâmide Usa ativação contínua (sigmóide) Em cada estágio, adiciona-se e treina-se uma nova célula intermediária e retreina- se a célula de saída (que tem mais uma entrada)

7 Prof. Júlio Cesar Nievola - PPGIA - PUCPR7 Algoritmo de Correlação em Cascata Treina-se a nova célula para a correlação com o erro residual da célula de saída. Usando u i k para indicar o valor de u i para o exemplo de treinamento k e indicar a média da variável x sobre todos os N exemplos de treinamento, busca-se maximizar Usa-se a descida do gradiente para encontrar pesos {w i,j } que maximizem. A seguir congelam-se os pesos para a nova célula e retreina-se a saída usando backpropagation para encontrar w n,i

8 Prof. Júlio Cesar Nievola - PPGIA - PUCPR8 Algoritmo do Telhado Construção em camadas onde células da camada L recebem ativações somente da camada L-1 A célula mestre da camada L classifica corretamente mais exemplos que aquela da camada L-1 As células subordinadas garantem que não hajam dois exemplos de treinamento com classificações diferentes que tenham o mesmo conjunto de ativações na camada L

9 Prof. Júlio Cesar Nievola - PPGIA - PUCPR9 Algoritmo do Telhado As células mestre estão em azul

10 Prof. Júlio Cesar Nievola - PPGIA - PUCPR10 Algoritmo do Telhado Fazer camada L=2 (camada 1 é a camada de entrada) Usar o algoritmo do bolso com catraca para criar a célula mestre para a camada L usando todas as ativações da camada L-1 Se a célula mestre da camada L classifica corretamente todos os exemplos de treinamento, então terminar Caso contrário, continuar a adicionar células subordinadas até que a camada L se torne fiel: Encontrar um subconjunto de exemplos de treinamento de tamanho máximo com mais de uma classificação, que produz as mesmas ativações para todas as células na camada L Usar o algoritmo do bolso com catraca para treinar uma nova célula subordinada para a camada L usando somente o subconjunto de exemplos de treinamento do passo anterior A camada L tornou-se fiel. Fazer L=L+1 e retornar ao segundo passo

11 Prof. Júlio Cesar Nievola - PPGIA - PUCPR11 Algoritmo Grandioso Entradas e saídas são discretas em {+1,-1} Treina-se uma única célula u n usando o algoritmo do bolso com catraca No caso de não-separabilidade treinam-se unidades u n+ e u n- para corrigir os erros de u n A unidade u n+ fornece reforço positivo quando u n classifica incorretamente uma saída –1. Idem para u n- com saída +1 Após treinar u n+ e u n- as mesmas são unidas a u n por grandes pesos positivos e negativos respectivamente Se u n+ e u n- não classificam seus respectivos conjuntos de treinamento repete-se a construção recursivamente

12 Prof. Júlio Cesar Nievola - PPGIA - PUCPR12 Algoritmo Grandioso unun u n+ u n- u1u1 u2u2 u3u3 +-

13 Prof. Júlio Cesar Nievola - PPGIA - PUCPR13 Algoritmo Grandioso Construir uma rede inicial com uma única célula com célula de saída u. Colocar u e todos os exemplos de treinamento em LISTA-A-TRABALHAR Enquanto LISTA-A-TRABALHAR não estiver vazia: Remover um nó u i e exemplos de treinamento associados, E={E k } de LISTA-A- TRABALHAR Executar o algoritmo do bolso com catraca para gerar pesos para u i Se u i classifica incorretamente um ou mais exemplos de treinamento com saída correta de +1: Criar um novo nó u i+ ligado a u i por um grande peso positivo. u i+ vê todas as células de entrada Colocar u i+ na LISTA-A-TRABALHAR juntamente com o seguinte subconjunto de exemplos de E: exemplos positivos: {E k |u i k =-1, C k =1}, exemplos negativos: {E k |C k =-1} Se u i classifica incorretamente um ou mais exemplos de treinamento com saída correta de -1: Criar um novo nó u i- ligado a u i por um grande peso negativo. u i- vê todas as células de entrada Colocar u i- na LISTA-A-TRABALHAR juntamente com o seguinte subconjunto de exemplos de E: exemplos positivos: {E k |u i k =1, C k =-1}, exemplos negativos: {E k |C k =1}

14 Prof. Júlio Cesar Nievola - PPGIA - PUCPR14 Problemas de Aprendizagem Fácil São problemas nos quais tem-se uma rede e onde os exemplos de treinamento especificam os valores de entrada e as ativações corretas para todas as células de entrada e intermediárias Eles são fáceis pois podem ser decompostos em problemas de uma única célula


Carregar ppt "Prof. Júlio Cesar Nievola - PPGIA - PUCPR1 Algoritmos Construtivos."

Apresentações semelhantes


Anúncios Google