(eduardo.simas@ufba.br) Disciplina: Processamento Estatístico de Sinais Aula 04: Introdução às Redes Neurais Artificiais Prof. Eduardo Simas (eduardo.simas@ufba.br) Programa de Pós-Graduação em Engenharia Elétrica / PPGEE Universidade Federal da Bahia ENGA83 - Semestre 2013.1

Sumário O que são as Redes Neurais Artificiais ? Para que servem ? Processamento da Informação Tipos de Redes Neurais Modos de Treinamento Supervisionado X Não-supervisionado Aplicações Introdução às RNA Prof. Eduardo Simas 2

INTRODUÇÃO Introdução às RNA Prof. Eduardo Simas 3

O que são as Redes Neurais Artificiais ? Rede neural artificial é um modelo matemático composto a partir da conexão de blocos básicos denominados “neurônios artificiais”. Principais Características: Foram desenvolvidas a partir de uma analogia com o funcionamento do cérebro humano; São capazes de: Aprender (a partir de amostras de treinamento); Generalizar (a partir do conhecimento adquirido); Se adaptar (ajustando-se a uma nova realidade). Produzem um mapeamento não-linear das entradas p/ as saídas; Realizam processamento paralelo da informação. Introdução às RNA Prof. Eduardo Simas 4

Modelos de Neurônios Modelo de um neurônio biológico: Fluxo de informação Introdução às RNA Prof. Eduardo Simas 5

Modelos de Neurônios Modelo de um neurônio biológico: Sinais em cada conexão sináptica Saída ativada O estímulo se propaga através do neurônio quando a soma dos estímulos de entrada supera um valor limiar (threshold). Somatório Introdução às RNA Prof. Eduardo Simas 6

Modelos de Neurônios Modelo matemático do neurônio: Sendo: xi  sinais de entrada b  desvio (bias) y  sinal de saída Na forma matricial: Introdução às RNA Prof. Eduardo Simas 7

Funções de ativação típicas Sigmoidal: Degrau (ou limiar): Linear: Tangente hiperbólica: Introdução às RNA Prof. Eduardo Simas 8

Perspectiva Histórica 1943 – primeiro modelo matemático do neurônio (McCulloch & Pitts); 1949 – primeiras regras de aprendizado dos neurônios artificiais (Hebb); 1958 – proposto o modelo do “perceptron” (Rosenblatt); 1958 a 1969 – o sucesso inicial obtido com implementações do perceptron (em circuitos eletrônicos) motiva estudos sobre o tema; 1969 – é provado matematicamente que o perceptron de uma única camada é incapaz de solucionar problemas matemáticos simples (como o XOR); 1969 a 1980 – poucos trabalhos desenvolvidos na área; Década de 1980 – são propostos algoritmos de treinamento para redes de múltiplas camadas de neurônios (aproximadores universais); Atualmente – as redes neurais são utilizadas com sucesso em diversas aplicações. Introdução às RNA Prof. Eduardo Simas 9

Para que servem as RNA ? As redes neurais são modelos matemáticos capazes de realizar mapeamentos não lineares de RN → RK. É possível demonstrar que com uma quantidade suficiente de camadas de neurônios não-lineares as redes neurais são aproximadores universais. As redes neurais são úteis sempre que deseja-se estimar um mapeamento entrada-saída para o qual a expressão matemática exata não é conhecida. Ex: Classificação, identificação de sistemas, etc. Rede neural treinada (de modo supervisionado) para aproximar um mapeamento não-linear desconhecido: Introdução às RNA Prof. Eduardo Simas 10

Processamento da Informação Entradas: as entradas da rede correspondem a atributos ou características; as redes neurais processam valores numéricos; quando existem atributos qualitativos, precisam ser convertidos em valores numéricos: Ex: alto=1 e baixo=-1 para o treinamento é recomendado que os sinais sejam pré- processados de modo que os atributos de entrada tenham a mesma faixa de excursão: Remoção da média e normalização. Introdução às RNA Prof. Eduardo Simas 11

Processamento da Informação Saídas Representam a solução encontrada pela rede neural para a entrada apresentada. Saídas alvo Valores utilizados durante o treinamento supervisionado como referências a serem alcançadas. Ex: uma rede treinada como classificador para identificar duas classes pode utilizar como saída alvo: o valor 1 para a classe 1; o valor -1 para a classe 2. Introdução às RNA Prof. Eduardo Simas 12

Processamento da Informação Pesos Sinápticos: Guardam, de modo codificado e de difícil interpretação, as informações aprendidas durante o treinamento. São ajustados durante o processo de treinamento visando: minimizar o erro na saída → erro = saída alvo – saída (no caso de treinamento supervisionado). atender a um critério pré-estabelecido para as saídas (no caso do treinamento não-supervisionado). Introdução às RNA Prof. Eduardo Simas 13

Modos de Treinamento Supervisionado Não-Supervisionado O treinamento é realizado utilizado pares entrada - saída alvo; Os pesos sinápticos são ajustados visando minimizar o erro entre a saída alvo e a saída real da rede Não-Supervisionado Não existe saída alvo para o problema; O treinamento busca obter uma nova representação dos padrões de entrada segundo algum critério pré- estabelecido. Introdução às RNA Prof. Eduardo Simas 14

Conjuntos de Treinamento Para o treinamento é indicado que o conjunto de dados disponível seja dividido em três grupos: Conjunto de Treino: Utilizado para o treinamento propriamente dito (aprendizado); Conjunto de Validação: Utilizado para verificar, durante o treinamento como evolui o erro da rede para sinais desconhecidos, evitando o “sobre-aprendizado” (quando a rede se especializa excessivamente no conjunto de treino e perde capacidade de generalizar); Conjunto de Teste: Utilizado para verificar o desempenho da rede para amostras desconhecidas. Introdução às RNA Prof. Eduardo Simas 15

Conjuntos de Treinamento Curvas de erro de treinamento: Treinamento com sobre-aprendizagem Treinamento normal Introdução às RNA Prof. Eduardo Simas 16

Conjuntos de Treinamento Quando há uma grande quantidade de amostras disponíveis para o treinamento: 33,33% Treino // 33,33% Validação // 33,33% Teste Quando o número de amostras é reduzido pode-se diminuir a proporção dos conjuntos de Validação e Teste: Exemplo: 50% Treino // 25% Validação // 25% Teste Em casos extremos pode-se fazer: Conjunto de Validação = Conjunto de Teste Introdução às RNA Prof. Eduardo Simas 17

TIPOS MAIS COMUNS DE RNA Introdução às RNA Prof. Eduardo Simas 18

Tipos de Redes Neurais Diferentes tipos (arquiteturas) de redes neurais são obtidas variando-se: o tipo de neurônio utilizado; a função de ativação dos neurônios; o modo de conexão entre os diversos neurônios; etc. Entre as principais arquiteturas existentes pode-se mencionar: Perceptron Perceptron de múltiplas camadas; Rede de função de base radial; Mapa auto-organizável (Rede de Kohonen). Introdução às RNA Prof. Eduardo Simas 19

Perceptron Apenas um neurônio. Funções de ativação: Degrau sigmoidal; tangente hiperbólica; linear. Capacidade limitada; Num problema de classificação é capaz de produzir uma única superfície de separação: Introdução às RNA Prof. Eduardo Simas 20

Perceptron Como resolver um problema deste tipo ? Introdução às RNA Prof. Eduardo Simas 21

Perceptron São necessárias duas curvas de separação → dois neurônios. Neste caso é necessário uma rede com duas camadas de neurônios. Introdução às RNA Prof. Eduardo Simas 22

Perceptron de Múltiplas Camadas Fluxo da informação MLP – Multi-layer Perceptrons Diversos neurônios são dispostos em camadas sequenciais. O fluxo de processamento da informação em apenas um sentido (da entrada para a saída). São redes alimentadas adiante (feed-forward); não existem conexões de realimentação. Introdução às RNA Prof. Eduardo Simas 23

Redes de Função de Base Radial Estrutura semelhante a do MLP (uma camada oculta e uma de saída). A função de ativação dos neurônios da camada oculta é gaussiana: A camada de saída utiliza neurônios lineares. Comparando: Redes MLP: aproximação global Redes RBF: aproximação local Radial Basis Function (RBF) Função de Ativação Introdução às RNA Prof. Eduardo Simas 24

Mapas Auto-Organizáveis Treinamento não supervisionado. Aprendizagem competitiva. Cada entrada é conectada a todos os neurônios da grade O neurônio vencedor (ativo) é aquele que possui o conjunto de pesos mais “parecido” com o sinal de entrada. O ajuste dos pesos (treinamento) é feito visando reforçar a resposta do neurônio vencedor (e seus vizinhos) ao padrão de entrada. Após o treinamento, as relações topológicas são preservadas. Propostos por Kohonen em 1982: mapas (ou redes) de Kohonen. Introdução às RNA Prof. Eduardo Simas 25

TREINAMENTO Introdução às RNA Prof. Eduardo Simas 26

Treinamento Supervisionado Selecione o par entrada-saída da n-ésima iteração Calcule a saída de rede Calcule o erro entre a saída alvo e a saída atual Ajuste os pesos de modo a minimizar o erro Erro está num nível aceitável? Fim do treinamento ! Sim Não n=n+1 Introdução às RNA Prof. Eduardo Simas 27

Treinamento Não-Supervisionado Selecione a entrada da n-ésima iteração Calcule a saída de rede Ajuste os pesos de modo a obter a um comportamento pré-estabelecido para as saídas O critério utilizado está num nível aceitável? Sim Não n=n+1 Fim do treinamento ! Introdução às RNA Prof. Eduardo Simas 28

Algoritmos de Treinamento Supervisionado: Algoritmo de treinamento do Perceptron Algoritmo de Retro-propagação do Erro (para perceptrons de múltiplas camadas – MLP) Não-supervisionado Algoritmo de treinamento do Mapa Auto-organizável (Rede de Kohonen ou SOM) Introdução às RNA Prof. Eduardo Simas 29

Treinamento do Perceptron A partir da minimização do erro chega-se à regra de aprendizagem do perceptron: O vetor de pesos sinápticos é ajustado na direção da correção do erro: Sendo: → saída alvo → saída da rede → taxa de aprendizagem (0> η >1) Introdução às RNA Prof. Eduardo Simas 30

Algoritmo de Retro-Propagação do Erro Considerando que: o erro é calculado para a camada de saída; uma rede MLP possui camadas ocultas; Como obter a regra de atualização dos pesos das camadas ocultas? Introdução às RNA Prof. Eduardo Simas 31

Algoritmo de Retro-Propagação do Erro O algoritmo de retro-propagação do erro (error back-propagation) solucionou este problema definido o conceito de gradiente local: Para a camada de saída → Para camadas intermediárias (ocultas) → O ajuste dos pesos é realizado através de: sendo η a taxa de aprendizagem. Sendo: Introdução às RNA Prof. Eduardo Simas 32

Algoritmo de Retro-Propagação do Erro Propagação do sinal para frente: Introdução às RNA Prof. Eduardo Simas 33

Algoritmo de Retro-Propagação do Erro Introdução às RNA Prof. Eduardo Simas 34

Treinamento do Mapa Auto-Organizável No SOM o treinamento é não-supervisionado. Quando uma entrada x é apresentada para a rede, a saída de cada neurônio j é calculada por: O neurônio i com a maior saída é denominado “neurônio vencedor”. Os pesos são ajustados de modo a reforçar a saída do neurônio vencedor i (e seus vizinhos): Sendo a função de vizinhança que pode ser por exemplo: Introdução às RNA Prof. Eduardo Simas 35

Treinamento do Mapa Auto-Organizável Curva de vizinhança gaussiana num mapa bi-dimensional: Introdução às RNA Prof. Eduardo Simas 36

Treinamento do Mapa Auto-Organizável O SOM é capaz de produzir um agrupamento topológico. Assinaturas com características semelhantes são mapeadas em áreas adjacentes do mapa: Exemplo de mapeamento produzido por um SOM 10 x 10 após o treinamento Introdução às RNA Prof. Eduardo Simas 37

Considerações sobre o treinamento O algoritmo de treinamento ajusta os pesos (W) na direção da minimização do erro. Quando a superfície do erro é mono-modal (apresenta apenas um mínimo), o erro mínimo é alcançado. A depender do ponto de início da busca, o tempo de convergência do treinamento pode variar Curva do Erro Introdução às RNA Prof. Eduardo Simas 38

Considerações sobre o treinamento Superfície de erro multi- modal: Convergência para o mínimo global depende do ponto de início do treinamento. Soluções: iniciar diversas vezes o treinamento; utilizar um algoritmo de busca global. Introdução às RNA Prof. Eduardo Simas 39

Limitações das Redes Neurais A arquitetura (número de camadas e neurônios ocultos) precisa ser escolhida experimentalmente; A eficiência obtida após o treinamento depende da estatística (quantidade e variedade) disponível nas amostras utilizadas; Em alguns casos o treinamento pode ser lento: Número de características de entrada; Quantidade de neurônios. Se houver um modelo matemático exato para o problema este deve ser utilizado ao invés de uma rede neural; Introdução às RNA Prof. Eduardo Simas 40

APLICAÇÕES Introdução às RNA Prof. Eduardo Simas 41

Aplicações - I Inspeção de Equipamentos por Ultrassom: O ensaio por ultrassom permite a detecção da ocorrência de descontinuidades; Porém, a classificação do tipo de defeito existente é uma tarefa mais difícil. Introdução às RNA Prof. Eduardo Simas 42

Aplicações - I Inspeção de Equipamentos por Ultrassom: Exemplos de Aplicações de Redes Neurais: Classificação de descontinuidades em compostos Laminados Fibra-Metal. Dimensionamento de pites de corrosão em aço inoxidável. Introdução às RNA Prof. Eduardo Simas 43

Indicação da Integridade Aplicações - I Classificação de descontinuidades em compostos Laminados Fibra-Metal (LFM): Os LFM são compostos de camadas sobrepostas de diferentes materiais; Existem múltiplos meios de propagação e interfaces de reflexão para o sinal ultrassônico A identificação dos defeitos é mais difícil Sistema proposto: Classes analisadas: Sem defeito (SD) Delaminação (D) Fratura de fibra (F) Transf. de Fourier Sinal Medido Classific. Neural Indicação da Integridade Introdução às RNA Prof. Eduardo Simas 44

Aplicações - I Classificação de descontinuidades em compostos Laminados Fibra-Metal: Determinação do número de neurônios ocultos Características utilizadas Matriz de confusão (%) SD D F 100 1,04 98,96 Os padrões dos sinais sem defeito e com delaminação são parecidos ! Introdução às RNA Prof. Eduardo Simas 45

Aplicações - I Dimensionamento de pites de corrosão em aço inoxidável: Corpo de prova Sensor ultrassônico Mesa posicionadora xy de acrílico e nylon desenvolvida para o ensaio Corpo de prova padrão Profundidade dos furos: p1 = 0,5 mm, p2 = 1,0 mm, p3 = 2,0 mm; Diâmetro dos furos: Ф1 = 0,6 mm; Ф2 = 0,8 mm Distância entre furos: x = y = 16,0 mm Introdução às RNA Prof. Eduardo Simas 46

Aplicações - I Dimensionamento de pites de corrosão em aço inoxidável: Transf. de Fourier Sinal Medido Classific. Neural Detecção do Pite Eficiência de classificação Acerto FURO 95,54% SD 87,10% Eficiência em função do tamanho do furo DIÂMETRO (mm) 0,8 0,6 0,4 FURO 97,32% 96,00% 93,32% Introdução às RNA Prof. Eduardo Simas 47

Aplicações - II Filtragem inversa num sistema de medição Filmes finos de VO2 são utilizados em sensores de temperatura. É interessante sua operação na região de histerese (alta dR/dT). Introdução às RNA Prof. Eduardo Simas 48

Aplicações - II Filtragem inversa num sistema de medição O processo de medição: alta taxa de variação da temperatura → curva distorcida. - Medição da curva quase-estática: realizado com uma lenta variação da temperatura; não é viável a realização para um conjunto grande de filmes A rede neural aproxima a função de transferência inversa do sistema de medição. Introdução às RNA Prof. Eduardo Simas 49

Aplicações - II Filtragem inversa num sistema de medição EQM - Erro Quadrático Médio MEQ - Máximo Erro Quadrático Introdução às RNA Prof. Eduardo Simas 50

Aplicações - III Agrupamento não-supervisionado de assinaturas acústicas de contatos elétricos: Transformador OLTC Introdução às RNA Prof. Eduardo Simas 51

Assinaturas Acústicas Aplicações - III Agrupamento não-supervisionado de assinaturas acústicas de contatos elétricos: Assinaturas Acústicas Transformada Wavelet SOM Agrupamento Introdução às RNA Prof. Eduardo Simas 52

Aplicações - III Agrupamento não-supervisionado de assinaturas acústicas de contatos elétricos: Contatos novos Cont. desgastados Agrupamento Probabilidade Agrupamentos 3 e 4: Contatos usados com pouco desgaste Agrupamentos 5 e 6: Contatos usados com maior desgaste Introdução às RNA Prof. Eduardo Simas 53

Aplicações - IV Reconhecimento do locutor: Características utilizadas: Frequência fundamental (pitch); Coeficientes cepstrais. Estimativa dos coeficientes cepstrais: Introdução às RNA Prof. Eduardo Simas 54

Aplicações - IV Reconhecimento do locutor: Experimento 1: Todos os indivíduos da base de dados (17 mulheres e 18 homens) Experimento 2: Indivíduos com padrões vocais semelhantes (irmãos). PD (%) PF (%) Experimento 1 90 9 Experimento 2 83 21 Introdução às RNA Prof. Eduardo Simas 55

Aplicações - V Classificação em Física de Altas Energias: Calorímetros: medidores de energia. Introdução às RNA Prof. Eduardo Simas 56

Aplicações - V Classificação em Física de Altas Energias: Saídas alvo: Elétron → 1 Jato → -1 ~ 1000 sensores 100 anéis Classificador Neural Classificador Linear Introdução às RNA Prof. Eduardo Simas 57

Aplicações - V Classificação em Física de Altas Energias: Para identificação correta de ~97% dos elétrons: Erro na identificação de jatos: Rede neural ~7% Classificador linear ~20% Na operação do detector ~25.000 jatos serão produzidos por segundo. - 13% → - 3250 eventos não relevantes armazenados em mídia permanente Introdução às RNA Prof. Eduardo Simas 58

Aplicações - VI Identificação Automática do Gênero Musical: Características estimadas: Frequência Fundamental; Coef. Cepstrais; Freq. Fundamental; Histograma rítmico; Concentração espectral da energia; Sonoridade. Introdução às RNA Prof. Eduardo Simas 59

Aplicações - VI Identificação Automática do Gênero Musical: Gêneros musicais e saídas alvo: Blues → Y=[1, -1, -1, -1, -1]T MPB → Y=[-1, 1, -1, -1, -1]T Reggae → Y=[-1, -1, 1, -1, -1]T Rock → Y=[-1, -1, -1, 1, -1]T Samba → Y=[-1, -1, -1, -1, 1]T Rede Neural Utilizada: Introdução às RNA Prof. Eduardo Simas 60

Aplicações - VI Identificação Automática do Gênero Musical: Variação da eficiência média com o número de neurônios ocultos Matriz de Confusão Percebe-se que os maiores erros ocorrem entre ritmos com características semelhantes: MPB x Samba MPB x Reggae Blues x Rock Introdução às RNA Prof. Eduardo Simas 61

Conclusões Ao longo de algumas décadas de utilização, as redes neurais artificiais mostraram-se ferramentas bastante úteis em diversas aplicações. Vantagens: Alto poder computacional Processamento paralelo Robusta a ruídos e dados incompletos Capaz de estimar mapeamentos não-lineares desconhecidos Desvantagens: Arquitetura ótima precisa ser determinada experimentalmente Difícil interpretação do modelo obtido Eficiência depende do processo de treinamento Introdução às RNA Prof. Eduardo Simas 62

Mais informações... IEEE-INNS International Joint Conference on Neural Networks, promovido em conjunto pela IEEE Computational Intelligence Society (www.ieee-cis.org) e pela International Neural Network Society (www.inns.org) Congresso Brasileiro de Inteligência Computacional – CBIC (antigo Cong. Bras. de Redes Neurais – CBRN - http://cbrn-cbic2011.org/ ), promovido pela Sociedade Brasileira de Redes Neurais (www.sbrn.org.br). Simpósio Brasileiro de Redes Neurais – SBRN, promovido pela Sociedade Brasileira de Computação (www.sbc.org.br). Revista Learning and Nonlinear Models (www.deti.ufc.br/~lnlm). ... Introdução às RNA Prof. Eduardo Simas 63

Referências Bibliográficas Livros Texto: Haykin, S., Redes Neurais, Princípios e Prática, Bookman, 2001. Wasserman, P. D., Neural Computing, Theory and Practice, VNR, 1989. Calôba, L. P., Notas de Aulas, COPPE / UFRJ, 2006. Aplicações: Simas Filho, E. F. “Analise Não-Linear de Componentes Independentes para uma Filtragem Online Baseada em Calorimetria de Alta Energia e com Fina Segmentação”, Doutorado em Engenharia Elétrica COPPE / UFRJ, 2010. Simas Filho, E. F.; Almeida, L. A. L., “Filtragem Inversa de Medições de Histerese Térmica Utilizando Redes Neurais”. Cong. Bras. de Automática, 2006, Salvador-BA. Simas Filho, E. F.; Almeida, L. A. L. . Self-Organized Classification of On-Load Tap Changers Acoustic Signatures. In: IEEE Intern.Instrumentation and Measurement Technology Conf., 2008 Santos, L. T., Simas Filho, E. F., “Sistema de Reconhecimento Automático do Locutor Utilizando um Classificador Neural”. Seminário Nacional de Controle e Automação, 2009, Salvador. Borges Jr, E. A. T, et al., “Classificação do Gênero Musical Utilizando Redes Neurais Artificiais”. In: CONNEPI, 2010, Maceió - AL. Lopes, D. B. P., et al., “Utilização de Redes Neurais Artificiais como Ferramenta de Auxílio na Detecção de Dimensionamento de Pites em Corrosão de Aços Inoxidáveis” In: Congresso Nacional de Ensaios Não-Destrutivos e Inspeção, 2010, Santos-SP. Introdução às RNA Prof. Eduardo Simas 64