Redes Neurais Artificiais (Parte 2)

Apresentação em tema: "Redes Neurais Artificiais (Parte 2)"— Transcrição da apresentação:

1 Redes Neurais Artificiais (Parte 2)
UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof.: Paulemir G. Campos Redes Neurais Artificiais (Parte 2) 4/25/2017 MD - Prof. Paulemir Campos

2 MD - Prof. Paulemir Campos
Roteiro da Aula Redes Neurais Artificiais (RNAs): Principais Modelos Conexionistas e Aplicações Referências. 4/25/2017 MD - Prof. Paulemir Campos

3 Principais Modelos Conexionistas e Aplicações
4/25/2017 MD - Prof. Paulemir Campos

4 MD - Prof. Paulemir Campos
Introdução Há vários tipos de Redes Neurais Artificiais (RNAs); As principais RNAs são: MLP (Multilayer Perceptron); RBF (Radial Basis Function); ART (Adaptive Resonance Theory); SOM (Self-Organizing Maps); Redes Recorrentes; e, Redes Fuzzy. 4/25/2017 MD - Prof. Paulemir Campos

5 MD - Prof. Paulemir Campos
Redes MLP As Redes MLP (Multilayer Perceptron) geralmente são constituídas por: uma camada de entrada; uma ou mais camadas escondidas; e, uma camada de saída. 4/25/2017 MD - Prof. Paulemir Campos

6 Arquitetura de uma Rede MLP Direta com Duas Camadas Escondidas
Redes MLP Arquitetura de uma Rede MLP Direta com Duas Camadas Escondidas 4/25/2017 MD - Prof. Paulemir Campos

7 MD - Prof. Paulemir Campos
Redes MLP Redes MLP são treinadas usando aprendizado supervisionado; O algoritmo back-propagation é o mais popular utilizado no treinamento de redes MLP; 4/25/2017 MD - Prof. Paulemir Campos

8 MD - Prof. Paulemir Campos
Redes MLP O funcionamento do algoritmo back-propagation consiste de duas fases: a fase para frente: os pesos das conexões são mantidos fixos e propaga-se os valores dos nodos de entrada, camada-a-camada, para obter-se a saída da rede; a fase para trás: os pesos das conexões são ajustados, da camada de saída para a camada de entrada, de acordo com o erro (diferença entre a saída da rede e a saída desejada) atingido pela rede. 4/25/2017 MD - Prof. Paulemir Campos

9 MD - Prof. Paulemir Campos
Redes MLP Aplicações: Redes MLP treinadas com o algoritmo back-propagation foram aplicadas na solução de vários problemas difíceis, como: Diagnóstico médico; Detecção de falhas mecânicas; Previsão de séries temporais, etc. 4/25/2017 MD - Prof. Paulemir Campos

10 MD - Prof. Paulemir Campos
Redes RBF Uma rede RBF (Radial Basis Function) é do tipo direta, assim como uma MLP, e contém três camadas com regras bem distintas: Camada de entrada: composta pelos atributos de entrada de um conjunto de dados; Uma única camada escondida: formada por funções de base radial, geralmente Gaussiana, responsáveis por efetuar uma transformação não-linear do espaço de entrada para o espaço da camada escondida; 4/25/2017 MD - Prof. Paulemir Campos

11 MD - Prof. Paulemir Campos
Redes RBF Uma rede RBF (Radial Basis Function) é do tipo direta, assim como uma MLP, e contém três camadas com regras bem distintas (Cont.): E, camada de saída: fornece a resposta da rede, resultante de uma combinação linear (somatório, por exemplo) do produto dos valores de saída dos nodos escondidos pelos seus respectivos pesos com o nodo da camada de saída. 4/25/2017 MD - Prof. Paulemir Campos

12 Arquitetura de uma Rede RBF
Redes RBF Arquitetura de uma Rede RBF Onde: x é o vetor de entrada; i são as m funções de base radial de cada nodo escondido; e wi os pesos de cada nodo escondido com o nodo de saída. 4/25/2017 MD - Prof. Paulemir Campos

13 MD - Prof. Paulemir Campos
Redes RBF Aplicações: As redes RBF foram primeiramente utilizadas na solução de problemas de interpolação multivariado; Atualmente, a aplicação de redes RBF em análise numérica tornou-se um significativo campo de pesquisas. 4/25/2017 MD - Prof. Paulemir Campos

14 MD - Prof. Paulemir Campos
Redes ART As redes ART (Adaptive Resonance Theory), diferentemente das redes MLP e RBF, empregam aprendizado não-supervisionado de forma competitiva para gerar clusters (agrupamentos) a partir do conjunto de dados de entrada. 4/25/2017 MD - Prof. Paulemir Campos

15 MD - Prof. Paulemir Campos
Redes ART Aprendizado em redes ART: Em função do grau de similaridade entre um padrão de entrada e os padrões contidos nos clusters da rede, um cluster é escolhido e apenas os seus pesos são ajustados; Caso esse grau de similaridade não supere um certo limiar, de modo que nenhum cluster seja ativado, um novo cluster é criado para acomodar o padrão da entrada da rede. 4/25/2017 MD - Prof. Paulemir Campos

16 Arquitetura Básica de uma Rede ART1
Redes ART Onde: F1-a é a camada de entrada; F1-b é a camada de interface; F2 é a camada de clusters ou camada de saída; R (reset) é um nodo para controlar o grau de similaridade dos padrões localizados num mesmo cluster; G1 e G2 são nodos conectados às camadas F1 e F2 da rede para prover um controle do processo de aprendizagem Arquitetura Básica de uma Rede ART1 4/25/2017 MD - Prof. Paulemir Campos

17 MD - Prof. Paulemir Campos
Redes ART Aplicações de Alguns Modelos: Rede ART1: processa apenas padrões de entrada binários; Rede ART2: capaz de processar padrões de entrada com valores contínuos; Rede ARTMAP: uma rede mais sofisticada que permite aprendizado incremental supervisionado. 4/25/2017 MD - Prof. Paulemir Campos

18 MD - Prof. Paulemir Campos
Redes SOM Uma rede SOM (Self-Organizing Maps) ou Mapas de Kohonen é identificada pela formação de um mapa topográfico dos padrões de entrada; As localizações espaciais dos nodos disparados neste mapa são um indicativo de características estatísticas intrínsecas contidas nos padrões de entrada. 4/25/2017 MD - Prof. Paulemir Campos

19 MD - Prof. Paulemir Campos
Redes SOM Semelhante às redes ART, as redes SOM são baseadas numa aprendizagem não-supervisionada competitiva, em que os nodos da camada de saída competem entre si resultando em apenas um nodo vencedor (winner takes all neuron). 4/25/2017 MD - Prof. Paulemir Campos

20 MD - Prof. Paulemir Campos
Redes SOM O principal objetivo de uma rede SOM é transformar os sinais de um padrão de entrada de dimensão arbitrária num mapa discreto uni ou bidimensional; Por esta razão, as redes SOM também são denominadas mapas de características. 4/25/2017 MD - Prof. Paulemir Campos

21 Arquitetura de uma Rede SOM Bidimensional
Redes SOM Arquitetura de uma Rede SOM Bidimensional 4/25/2017 MD - Prof. Paulemir Campos

22 MD - Prof. Paulemir Campos
Redes SOM Aplicações: As redes SOM foram bem aplicadas na solução de problemas como: geração de música por computador; reconhecimento de caracteres; seleção de características; e, no bem conhecido problema do caixeiro viajante (traveling salesman problem). 4/25/2017 MD - Prof. Paulemir Campos

23 MD - Prof. Paulemir Campos
Redes Recorrentes São RNAs com um ou mais caminhos de realimentação (feedback loops); Por exemplo, considerando-se uma rede MLP, várias arquiteturas de redes recorrentes podem ser obtidas construindo-se caminhos de realimentação dos nodos de saída e/ou dos nodos escondidos para os nodos de entrada. 4/25/2017 MD - Prof. Paulemir Campos

24 MD - Prof. Paulemir Campos
Redes Recorrentes Os caminhos de realimentação habilitam as redes recorrentes a registrarem temporariamente estados definidos pelos espaços de entrada e saída da rede. 4/25/2017 MD - Prof. Paulemir Campos

25 MD - Prof. Paulemir Campos
Redes Recorrentes Redes Recorrentes são utilizadas basicamente com duas finalidades: Memórias Associativas: Redes de Hopfield; e, BAM (Bidirectional Associative Memory). Redes de Mapeamento Entrada-Saída: Redes NARX; Rede de Elman; MLP Recorrente; e, Rede Recorrente de Segunda Ordem. 4/25/2017 MD - Prof. Paulemir Campos

26 MD - Prof. Paulemir Campos
Redes Recorrentes Aplicações: Redes Recorrentes são bastante úteis em diversas aplicações, como: modelagem e predição não-linear; equalização adaptativa de canais de comunicação; processamento de voz; e, diagnóstico de motores automotivos. 4/25/2017 MD - Prof. Paulemir Campos

27 MD - Prof. Paulemir Campos
Redes Fuzzy Compreende todas as redes neurais que empregam conceitos da lógica fuzzy em sua concepção; Usualmente, redes fuzzy apresentam a topologia de uma rede MLP direta com pesos, propagação e funções de ativação diferentes de redes comuns ou não-fuzzy. 4/25/2017 MD - Prof. Paulemir Campos

28 MD - Prof. Paulemir Campos
Redes Fuzzy Por exemplo, a seguir é apresentada uma rede fuzzy com três camadas onde: suas unidades usam operadores de conjuntos fuzzy (união ou interseção) ao invés das funções de ativação normalmente utilizadas por RNAs; os pesos são conjuntos fuzzy; e, a camada escondida representa regras fuzzy. 4/25/2017 MD - Prof. Paulemir Campos

29 MD - Prof. Paulemir Campos
Redes Fuzzy Onde: 1(1), 2(1) e 3(1) representam conjuntos fuzzy definidos para a entrada x1 1(2), 2(2) e 3(2) representam para a entrada x2 Exemplo de Rede Fuzzy 4/25/2017 MD - Prof. Paulemir Campos

30 MD - Prof. Paulemir Campos
Redes Fuzzy Outros modelos conexionistas também estão sendo fuzzyficados, como: Redes SOM; e, Redes ART. 4/25/2017 MD - Prof. Paulemir Campos

31 MD - Prof. Paulemir Campos
Redes Fuzzy A motivação para o crescente interesse no desenvolvimento de redes fuzzy deve-se as seguintes vantagens sobre as redes tradicionais: Servem como ferramentas de engenharia do conhecimento e estatísticas; São relativamente resistentes ao “esquecimento catastrófico”, isto é, tendem a não “esquecerem” o conhecimento adquirido quando necessitam treinarem com novos dados; 4/25/2017 MD - Prof. Paulemir Campos

32 MD - Prof. Paulemir Campos
Redes Fuzzy A motivação para o crescente interesse no desenvolvimento de redes fuzzy deve-se as seguintes vantagens sobre as redes tradicionais (Cont.): Interpolam e extrapolam bem em regiões onde os dados são esparsos; E, aceitam tanto dados de entrada reais quanto fuzzy. 4/25/2017 MD - Prof. Paulemir Campos

33 MD - Prof. Paulemir Campos
Referências Braga, A. P.; Ludermir, T. B. e Carvalho, A. C. P. L. F. Redes Neurais Artificiais: Teoria e Aplicações. Editora LTC, 2000. Notas de aulas da Profa. Teresa B. Ludermir do CIn/UFPE. 4/25/2017 MD - Prof. Paulemir Campos

34 MD - Prof. Paulemir Campos
Referências Fausett, L. V. Fundamentals of Neural Networks: Architectures, Algorithms, and Applications. New Jersey, Prentice-Hall, 1994. Haykin, S. Neural Networks, A Comprehensive Foundation. 2nd ed. Prentice Hall, 1999. 4/25/2017 MD - Prof. Paulemir Campos

35 MD - Prof. Paulemir Campos
Referências Zurada, J. M. Introduction to Artificial Neural Systems. St. Paul-MN, USA, West Publishing Company Inc., 1992. 4/25/2017 MD - Prof. Paulemir Campos