A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Daniela Justiniano de Sousa Multilayer Neural Networks Machine Learning.

Apresentações semelhantes


Apresentação em tema: "Daniela Justiniano de Sousa Multilayer Neural Networks Machine Learning."— Transcrição da apresentação:

1 Daniela Justiniano de Sousa Multilayer Neural Networks Machine Learning

2 Multi-Layer Perceptron (MLP) Técnica computacional que apresenta um modelo inspirado na estrutura neural. O Perceptron Multi - Camadas é uma extensão do Perceptron de camada única.

3 Breve histórico –Várias pesquisas mal sucedidas –Minsky & Papert: Perceptron só é capaz de resolver problemas com dados de classes linearmente separáveis –Pesquisas silenciosas –Rumelhart, Hinton e Williams –Algoritmo eficaz de aprendizagem. –introduziram o Backpropagation.

4 Motivação Resolve somente problemas linearmente separáveis e funções lógicas simples. Redes Neurais limitadas para aplicações práticas complexas.

5 Solução definida Uma ou mais camadas de nós intermediários às unidades de entrada e saída, chamadas unidades ocultas(hidden).

6 Estrutura da Rede Multi-Camadas –Entrada –Intermediárias, ocultas ou escondidas –Saída

7 Arquitetura Redes Multi-Camadas Quantidade de neurônios nas camadas –camada de entrada é dada pelo problema a ser abordado. –Camada oculta: empírico –Camada saída: nº classes Capacidade de mapeamento (camada oculta oculta)

8 Processo de aprendizado Supervisionado Não-supervisionado Por reforço VETRO DE ESTADO DO AMBIENTE RESPOTA DESEJADA RESPOTA REAL SINAL DE ERRO

9 Treinamento Algoritmo Backpropagation Compara o resultado gerado pela rede com o valor de saída esperado, ajustando os pesos associados à unidade de saída, caso os valores não sejam iguais, porém este treinamento ocorre em duas fases: –É realizado em duas fases: Fase FORWARD (para frente) Fase BACKWARD (para trás)

10 Fase Forward: Cálculo da saída da rede Fase backward: Correção dos pesos sinápticos Camadas intermediárias Camada de entrada Camada de saída PadrãoPadrão SaídaDesejadaSaídaDesejada

11 Bias Backpropagation: Funcionamento Σ Função de ativação Entradas X1X1X1X1 X2X2X2X2 X3X3X3X3 SaídaY w1w1w1w1 w2w2w2w2 w3w3w3w3

12 Backpropagation: descrição matemática Regra de propagaçãoFunção de ativação

13 Backpropagation: descrição matemática Processo de minimização do erro quadrático pelo método do Gradiente Descendente. O mínimo da função de erro pode ser calculada pelo Gradiente.

14 Backpropagation: descrição matemática

15 Backpropagation 0,42 0,55 0,62 -0,17 0,81 0, , 45 0,63 0, 64 A B C D E ( 0 – 0, 648) 0, 64 (1- 0, 64) = - 0,147 0,45 (1- 0,45)( -0,147 x 0, 79)= , 63 (1-0, 63)( - 0,147 x 0,32)= , 45 0,63 0, 64 A B C D E 0,42 0,55 -0,18 0,32 0,62 0,79

16

17 Aspectos Práticos Alguns aspectos práticos devem ser considerados na utilização de redes neurais MLP. –Taxa de aprendizagem –Superfície do erro –Momentum –Misturando Exemplos –Overfitting e Underfitting

18 Taxa de Aprendizagem Taxas muito pequenas tornam o processo bastante lento. Taxas muito grandes tornam o processo rápido. –Podem não trazer os resultados ideais. Erro mínimo Superfície do erro Taxa pequena Taxa grande

19 Taxa de Aprendizagem O ideal é começar com uma taxa grande e reduzir durante as iterações. Permite a exploração global no início (exploration) a local (exploitation) quando o algoritmo estiver próximo do ótimo global. Geralmente valores entre 0.05 e 0.75 fornecem bons resultados.

20 Superfície do erro A superfície de erro pode ser bastante complexa dependendo da configuração da rede.

21 Momentum É uma estratégia usada para evitar mínimos locais. Considere a seguinte superfície Existem três mínimos locais antes do mínimo global.

22 Backpropagation: descrição matemática Normalmente utilizado para acelerar o processo de treinamento da rede e evitar mínimos locais. A fórmula completa do ajuste de pesos utilizando Momentum fica:

23 Misturando Exemplos (Shuffle) Redes neuronais aprendem melhor quando diferentes exemplos de diferentes classes são apresentados a rede. Se apresentarmos à rede todos os exemplos de uma classe, e assim por diante, os pesos finais tenderão para a última classe –A rede vai esquecer o que ela aprendeu antes.

24 Inicialização dos Pesos –A atualização de um peso entre duas unidades depende da derivada da função de ativação da unidade posterior e função de ativação da unidade anterior. –Por esta razão, é importante evitar escolhas de pesos iniciais que tornem as funções de ativação ou suas derivadas iguais a zero. Pesos muito altos ou muito baixo a sigmoid deve saturar - Gradientes pequenos - Aprendizagem muito lenta.

25 Overfitting –Muitos neurônios na camada oculta. –A rede memoriza os padrões de treinamento, ao invés de extrair as características gerais, gravando suas peculiaridades e ruídos. –Depois de um certo ponto do treinamento, a rede piora ao invés de melhorar. Solução: –Encerrar treinamento cedo –Eliminação de pesos e nodos irrelevantes

26 Underfitting Número reduzido de neurônios na camada oculta. Não realiza o mapeamento desejado. A rede a gastar tempo em excesso tentando encontrar a representação ótima.

27 Etapas para o desenvolvimento RNA

28 Aplicações Redes MultiCamadas –Reconhecimento de padrões e Classificação; –Agrupamento ou categorização (clustering); –Aproximação de funções e modelagem; –Previsão; –Otimização; –Controle. Classificação de imagens Avaliação de crédito e risco Reconhecimento de caractere Previsão e modelagem Auxílio à decisão Robótica Bioinformática

29 CLASSIFICAÇÃO Classificador não-linear. O objetivo básico: o ajuste dos parâmetros livres (pesos e bias) de forma a criar uma superfície de decisão que separe os padrões de entrada em classes distintas. A classificação é realizada somente fase de Forward. –Unidades de entrada: componentes de um vetor (a ser classificada) –Unidades de saída: funções discriminantes utilizados para a classificação ou dados classificados.

30 Exemplo Classificação Classificação de flores íris Três espécies: setosa, versicolor e virgínica Parâmetros de medição: comprimento e largura da pétala / comprimento e largura da sépala.

31 Exemplo Classificação Classificação de flor íris - Silva, 2003.

32 Exemplo Classificação Reconhecimento de caracteres Milho, 2000.

33 Exemplo Classificação 20 nós na camada de entrada, 5 nós na camada intermediária e 1 nó de saída. Sistema Especialista de Cardiologia Lima Jr, 2011.

34 Conclusão Evolução no poder computacional em relação às redes de camada única; Aplicações complexas Viabilidade da utilização Topologia e Arquitetura Algoritmos de treinamento (Ex.: Rprop, Quickprop, Levenberg-Marquardt).

35 REFERÊNCIAS DUDA, R. O.; HART, P. E.; STORK; D. G. Pattern Classification. 2.ed. Nova Iorque: Wiley-Interscience. 654 p., 2001 MITCHELL, Tom M. Machine Learning. Boston: WCB/McGraw-Hill, 414P.,1997. RUSSEL S. J., NORVIG P. Artificial Intelligence, A Modern Approach, 2.ed. New Jersey: Prentice Hall,

36 Demonstração /543java/NNOC/Backpropagation.htmlhttp://www.eee.metu.edu.tr/~halici/courses /543java/NNOC/Backpropagation.html

37 Perguntas


Carregar ppt "Daniela Justiniano de Sousa Multilayer Neural Networks Machine Learning."

Apresentações semelhantes


Anúncios Google