A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

MLP Prof. Júlio Cesar Nievola PPGIA - PUCPR. Prof. Júlio Cesar Nievola2 Redes Neurais Artificiais Redes neurais artificiais são máquinas de aprendizagem.

Apresentações semelhantes


Apresentação em tema: "MLP Prof. Júlio Cesar Nievola PPGIA - PUCPR. Prof. Júlio Cesar Nievola2 Redes Neurais Artificiais Redes neurais artificiais são máquinas de aprendizagem."— Transcrição da apresentação:

1 MLP Prof. Júlio Cesar Nievola PPGIA - PUCPR

2 Prof. Júlio Cesar Nievola2 Redes Neurais Artificiais Redes neurais artificiais são máquinas de aprendizagem distribuídas adaptativas geralmente não lineares construídas a partir de muitos elementos de processamento (PE) diferentes

3 PPGIA - PUCPRProf. Júlio Cesar Nievola3 Redes Neurais Artificiais

4 PPGIA - PUCPRProf. Júlio Cesar Nievola4 Redes Neurais Artificiais RNAs constroem funções discriminantes a partir de seus PEs A topologia da RNA determina o número e formato das funções discriminantes RNA => classificador semi-paramétrico Posicionamento das funções discriminantes controlado pelos pesos Pesos ajustados pelos dados sem consideração sobre a distribuição estatística dos dados

5 PPGIA - PUCPRProf. Júlio Cesar Nievola5 Princípios Gerais de Treinamento de Sistema Adaptativos

6 PPGIA - PUCPRProf. Júlio Cesar Nievola6 PE de McCulloch-Pitts Equação entrada-saída Função de ativação f é a função signum Exemplo 01

7 PPGIA - PUCPRProf. Júlio Cesar Nievola7 Não-linearidades Tangente hiperbólica - Saídas em [-1,1] Logística - Saídas em [0,1] Ambas são suaves, ou seja, continuamente diferenciáveis Exemplo 02 Exemplo 03 Exemplo 04

8 PPGIA - PUCPRProf. Júlio Cesar Nievola8 Algoritmo de Aprendizagem para uma Máquina Não-Linear Em relação ao Adaline: forma funcional igual não corresponde ao gradiente já que existe uma não-linearidade descontínua aprende apenas quando a saída está ERRADA!!! a atualização se torna mais seletiva há um grande impacto no desempenho Exemplo 05

9 PPGIA - PUCPRProf. Júlio Cesar Nievola9 Regra Delta É uma extensão direta da regra LMS para sistemas não-lineares com não-linearidades suaves A regra delta é local ao padrão e ao peso Derivada da função logística e tanh: Exemplo 06

10 PPGIA - PUCPRProf. Júlio Cesar Nievola10 Implicações da Não-Linearidade O relacionamento pesos-desempenho torna- se não-linear (superfície não-convexa) Não há garantia de um único mínimo Surgimento de pontos de sela (planos) O rattling torna-se vantajoso A busca do gradiente se torna menos robusta O novo mínimo global é menor que o mínimo da rede linear: melhor ajuste Exemplo 07

11 PPGIA - PUCPRProf. Júlio Cesar Nievola11 Perceptron – Rosenblatt, 1950

12 PPGIA - PUCPRProf. Júlio Cesar Nievola12 Perceptron Criado em 1950 para reconhecimento ótico de caracteres Mais geral, há M PEs de McCulloch-Pitts, cada um criando a própria função linear discriminante no espaço de dimensão D Propriedade importante: capacidade de generalização Exemplo 08

13 PPGIA - PUCPRProf. Júlio Cesar Nievola13 Superfície de Decisão do Perceptron O perceptron com M saídas pode dividir o espaço de padrões em M regiões distintas Os hiperplanos que contribuem para a definição da superfície de decisão devem ser contíguos As regiões de decisão do perceptron sempre são regiões convexas, pois durante o treinamento exige- se que uma e somente uma das saídas seja positiva O perceptron é uma implementação física da máquina linear de reconhecimento de padrões Exemplo 09

14 PPGIA - PUCPRProf. Júlio Cesar Nievola14 Perceptron de Margem Larga Aprendizagem perceptron muito eficiente mas não efetiva A margem do hiperplano ao conjunto de amostras S é definida como O hiperplano ótimo maximiza a margem entre duas classes, colocando o discriminante entre os limites mais próximos (chamados vetores de suporte)

15 PPGIA - PUCPRProf. Júlio Cesar Nievola15 Hiperplano com maior margem

16 PPGIA - PUCPRProf. Júlio Cesar Nievola16 Algoritmo Adatron Encontra os parâmetros da função que possui a maior margem É seqüencial, ótimo e tem taxa de convergência exponencialmente rápida

17 PPGIA - PUCPRProf. Júlio Cesar Nievola17 Algoritmo Adatron Definir Escolher multiplicador inicial comum, p.ex. i = 0,1 taxa de aprendizagem pequeno limiar, p.ex. t = 0,01 Enquanto M > t, escolher um padrão x i e calcular a atualização i = [1-g(x i )], e fazer

18 PPGIA - PUCPRProf. Júlio Cesar Nievola18 Algoritmo Adatron É condizente com a implementação local Localização da fronteira determinada por poucos exemplos próximos à fronteira, chamados vetores suporte (pois a maioria dos tende a zero) Algoritmo insensível ao formato geral dos clusters de dados, concentra-se na vizinhança dos limites para ajustar a posição dos hiperplanos

19 PPGIA - PUCPRProf. Júlio Cesar Nievola19 Diferenças na distribuição entre o Adatron e a Regra Delta Exemplo 10

20 PPGIA - PUCPRProf. Júlio Cesar Nievola20 Limitações do Perceptron Resolve somente problemas lineares Aprendizagem on-line sofre com dados ruidosos Aprendizagem on-line tem maior possibilidade de evitar mínimos locais Regiões de decisão convexas, formadas pela interseção de hiperplanos Exemplo 11

21 PPGIA - PUCPRProf. Júlio Cesar Nievola21 MLP com uma camada escondida Camada escondida: não ligada exteriormente Os PEs são geralmente sigmóides Conceitualmente são cascata de perceptrons

22 PPGIA - PUCPRProf. Júlio Cesar Nievola22 Funções Discriminantes da MLP Mapeamento entrada-saída de uma MLP O MLP separa o espaço em várias áreas com diferentes saídas. Isto é chamado tesselação A alteração em um dos pesos altera toda a tesselação, ou seja, MLP não é gulosa (greedy) O forte acoplamento entre os pesos é quem dá poder ao MLP Diferentes combinações de pesos levam à mesma tesselação Exemplo 12

23 PPGIA - PUCPRProf. Júlio Cesar Nievola23 Características do MLP Com uma camada extra no perceptron, altera-se qualitativamente o formato das funções discriminantes O número máximo de regiões distintas no espaço de entrada é controlado pelo número de PEs escondidos Os PEs de saída criam regiões de decisão que não são mais convexas Existe mais de uma combinação de pesos com uma combinação particular de regiões de decisão Exemplo 13

24 PPGIA - PUCPRProf. Júlio Cesar Nievola24 Capacidade de Mapeamento do MLP com 1 camada escondida Capaz de construir uma saliência no espaço de entrada MLP com uma camada escondida e PEs sigmoidais (com um número adequado de PEs na camada escondida) é um mapeador universal, isto é, pode aproximar arbitrariamente bem qualquer região de decisão contínua A função de ativação não é muito importante para a capacidade de mapeamento Exemplo 14

25 PPGIA - PUCPRProf. Júlio Cesar Nievola25 Treinamento do MLP com uma camada escondida É uma aprendizagem com correção do erro, ou seja, aprendizagem supervisionada Para adaptar os pesos: para calcular o erro no i-ésimo PE usa-se um erro derivado da camada mais próxima da saída este erro é o erro de saída propagado e escalado a sensibilidade é automaticamente calculada pela regra da cadeia Exemplo 15

26 PPGIA - PUCPRProf. Júlio Cesar Nievola26 Atualização dos pesos A atualização dos pesos usando o algoritmo backpropagation é dada por: Exemplo 16

27 PPGIA - PUCPRProf. Júlio Cesar Nievola27 Efeito do Número de PEs Escondidos Com muitos PEs escondidos atinge-se a solução rapidamente, mas o poder de generalização é sacrificado Durante o treinamento, o sistema posiciona as funções discriminantes que classificam corretamente a maioria dos exemplos, para então lentamente classificar áreas com poucos exemplos O erro estabilizará em um alto valor se os graus de liberdade não forem suficientes Exemplo 17 Exemplo 18

28 PPGIA - PUCPRProf. Júlio Cesar Nievola28 MLPs com duas camadas escondidas Funções discriminantes para este caso: Um MLP com duas camadas escondidas é um aproximador universal, ou seja, realiza qualquer mapeamento entrada-saída Cada PE na primeira camada cria uma saliência. A segunda camada combina estas saliências em regiões disjuntas do espaço Quantos PEs e quantas camadas??????? Exemplo 19

29 PPGIA - PUCPRProf. Júlio Cesar Nievola29 Treinamento do MLP 2 camadas escondidas com backpropagation O uso do backpropagation é sistemático Uso da matriz de confusão para análise Erros de classificação x MSE: podem variar em sentidos opostos. O MSE é sensível à diferença entre a resposta desejada e a atual, enquanto que o número de classificações erradas é uma quantidade digital que depende somente da maior saída Iniciar com a topologia mais simples Exemplo 20

30 PPGIA - PUCPRProf. Júlio Cesar Nievola30 Treinamento do MLP 2 camadas escondidas com backpropagation O algoritmo backpropagation pode ser aplicado a qualquer topologia em avanço Exemplo 21

31 PPGIA - PUCPRProf. Júlio Cesar Nievola31 Algoritmo backpropagation com a rede dual Exemplo 22

32 PPGIA - PUCPRProf. Júlio Cesar Nievola32 MLP como classificador ótimo Um classificador ótimo deve criar funções de discriminação arbitrárias que separem os clusters de dados de acordo com a probabilidade a posteriori MLP pode fazer isto desde que: hajam PEs suficientes para fazer o mapeamento hajam dados em quantidade e qualidade a aprendizagem convirja para o mínimo global as saídas estejam entre 0 e 1 com = 1 (softmax) Exemplo 23 Exemplo 24


Carregar ppt "MLP Prof. Júlio Cesar Nievola PPGIA - PUCPR. Prof. Júlio Cesar Nievola2 Redes Neurais Artificiais Redes neurais artificiais são máquinas de aprendizagem."

Apresentações semelhantes


Anúncios Google