A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Disciplina: Processamento Estatístico de Sinais Aula 04: Introdução às Redes Neurais Artificiais Prof. Eduardo Simas Programa de.

Apresentações semelhantes


Apresentação em tema: "Disciplina: Processamento Estatístico de Sinais Aula 04: Introdução às Redes Neurais Artificiais Prof. Eduardo Simas Programa de."— Transcrição da apresentação:

1 Disciplina: Processamento Estatístico de Sinais Aula 04: Introdução às Redes Neurais Artificiais Prof. Eduardo Simas Programa de Pós-Graduação em Engenharia Elétrica / PPGEE Universidade Federal da Bahia ENGA83 - Semestre

2 Introdução às RNAProf. Eduardo Simas2 Sumário O que são as Redes Neurais Artificiais ? Para que servem ? Processamento da Informação Tipos de Redes Neurais Modos de Treinamento –Supervisionado X Não-supervisionado Aplicações

3 Introdução às RNAProf. Eduardo Simas3 INTRODUÇÃO

4 Introdução às RNAProf. Eduardo Simas4 O que são as Redes Neurais Artificiais ? Rede neural artificial é um modelo matemático composto a partir da conexão de blocos básicos denominados neurônios artificiais. Principais Características: –Foram desenvolvidas a partir de uma analogia com o funcionamento do cérebro humano; –São capazes de: Aprender (a partir de amostras de treinamento); Generalizar (a partir do conhecimento adquirido); Se adaptar (ajustando-se a uma nova realidade). –Produzem um mapeamento não-linear das entradas p/ as saídas; –Realizam processamento paralelo da informação.

5 Introdução às RNAProf. Eduardo Simas5 Modelos de Neurônios Modelo de um neurônio biológico: Fluxo de informação

6 Introdução às RNAProf. Eduardo Simas6 Modelos de Neurônios Modelo de um neurônio biológico: O estímulo se propaga através do neurônio quando a soma dos estímulos de entrada supera um valor limiar (threshold). Sinais em cada conexão sináptica Somatório Saída ativada

7 Introdução às RNAProf. Eduardo Simas7 Modelos de Neurônios Modelo matemático do neurônio: Na forma matricial: Sendo: x i sinais de entrada b desvio (bias) y sinal de saída

8 Introdução às RNAProf. Eduardo Simas8 Funções de ativação típicas Degrau (ou limiar): Sigmoidal: Tangente hiperbólica: Linear:

9 Introdução às RNAProf. Eduardo Simas9 Perspectiva Histórica 1943 – primeiro modelo matemático do neurônio (McCulloch & Pitts); 1949 – primeiras regras de aprendizado dos neurônios artificiais (Hebb); 1958 – proposto o modelo do perceptron (Rosenblatt); 1958 a 1969 – o sucesso inicial obtido com implementações do perceptron (em circuitos eletrônicos) motiva estudos sobre o tema; 1969 – é provado matematicamente que o perceptron de uma única camada é incapaz de solucionar problemas matemáticos simples (como o XOR); 1969 a 1980 – poucos trabalhos desenvolvidos na área; Década de 1980 – são propostos algoritmos de treinamento para redes de múltiplas camadas de neurônios (aproximadores universais); Atualmente – as redes neurais são utilizadas com sucesso em diversas aplicações.

10 Introdução às RNAProf. Eduardo Simas10 Para que servem as RNA ? As redes neurais são modelos matemáticos capazes de realizar mapeamentos não lineares de R N R K. É possível demonstrar que com uma quantidade suficiente de camadas de neurônios não-lineares as redes neurais são aproximadores universais. As redes neurais são úteis sempre que deseja-se estimar um mapeamento entrada-saída para o qual a expressão matemática exata não é conhecida. Ex: Classificação, identificação de sistemas, etc. Rede neural treinada (de modo supervisionado) para aproximar um mapeamento não-linear desconhecido:

11 Introdução às RNAProf. Eduardo Simas11 Processamento da Informação Entradas: –as entradas da rede correspondem a atributos ou características; –as redes neurais processam valores numéricos; –quando existem atributos qualitativos, precisam ser convertidos em valores numéricos: Ex: alto=1 e baixo=-1 –para o treinamento é recomendado que os sinais sejam pré- processados de modo que os atributos de entrada tenham a mesma faixa de excursão: Remoção da média e normalização.

12 Introdução às RNAProf. Eduardo Simas12 Saídas –Representam a solução encontrada pela rede neural para a entrada apresentada. Saídas alvo –Valores utilizados durante o treinamento supervisionado como referências a serem alcançadas. –Ex: uma rede treinada como classificador para identificar duas classes pode utilizar como saída alvo: o valor 1 para a classe 1; o valor -1 para a classe 2. Processamento da Informação

13 Introdução às RNAProf. Eduardo Simas13 Pesos Sinápticos: –Guardam, de modo codificado e de difícil interpretação, as informações aprendidas durante o treinamento. –São ajustados durante o processo de treinamento visando: minimizar o erro na saída erro = saída alvo – saída (no caso de treinamento supervisionado). atender a um critério pré-estabelecido para as saídas (no caso do treinamento não-supervisionado). Processamento da Informação

14 Introdução às RNAProf. Eduardo Simas14 Modos de Treinamento Supervisionado –O treinamento é realizado utilizado pares entrada - saída alvo; –Os pesos sinápticos são ajustados visando minimizar o erro entre a saída alvo e a saída real da rede Não-Supervisionado –Não existe saída alvo para o problema; –O treinamento busca obter uma nova representação dos padrões de entrada segundo algum critério pré- estabelecido.

15 Introdução às RNAProf. Eduardo Simas15 Conjuntos de Treinamento Para o treinamento é indicado que o conjunto de dados disponível seja dividido em três grupos: Conjunto de Treino: –Utilizado para o treinamento propriamente dito (aprendizado); Conjunto de Validação: –Utilizado para verificar, durante o treinamento como evolui o erro da rede para sinais desconhecidos, evitando o sobre-aprendizado (quando a rede se especializa excessivamente no conjunto de treino e perde capacidade de generalizar); Conjunto de Teste: –Utilizado para verificar o desempenho da rede para amostras desconhecidas.

16 Introdução às RNAProf. Eduardo Simas16 Conjuntos de Treinamento Curvas de erro de treinamento: Treinamento com sobre-aprendizagem Treinamento normal

17 Introdução às RNAProf. Eduardo Simas17 Conjuntos de Treinamento Quando há uma grande quantidade de amostras disponíveis para o treinamento: –33,33% Treino // 33,33% Validação // 33,33% Teste Quando o número de amostras é reduzido pode-se diminuir a proporção dos conjuntos de Validação e Teste: –Exemplo: 50% Treino // 25% Validação // 25% Teste Em casos extremos pode-se fazer: –Conjunto de Validação = Conjunto de Teste

18 Introdução às RNAProf. Eduardo Simas18 TIPOS MAIS COMUNS DE RNA

19 Introdução às RNAProf. Eduardo Simas19 Tipos de Redes Neurais Diferentes tipos (arquiteturas) de redes neurais são obtidas variando-se: –o tipo de neurônio utilizado; –a função de ativação dos neurônios; –o modo de conexão entre os diversos neurônios; –etc. Entre as principais arquiteturas existentes pode-se mencionar: –Perceptron –Perceptron de múltiplas camadas; –Rede de função de base radial; –Mapa auto-organizável (Rede de Kohonen).

20 Introdução às RNAProf. Eduardo Simas20 Perceptron Apenas um neurônio. Funções de ativação: –Degrau –sigmoidal; –tangente hiperbólica; –linear. Capacidade limitada; Num problema de classificação é capaz de produzir uma única superfície de separação:

21 Introdução às RNAProf. Eduardo Simas21 Perceptron Como resolver um problema deste tipo ?

22 Introdução às RNAProf. Eduardo Simas22 Perceptron São necessárias duas curvas de separação dois neurônios. Neste caso é necessário uma rede com duas camadas de neurônios.

23 Introdução às RNAProf. Eduardo Simas23 Perceptron de Múltiplas Camadas MLP – Multi-layer Perceptrons Diversos neurônios são dispostos em camadas sequenciais. O fluxo de processamento da informação em apenas um sentido (da entrada para a saída). São redes alimentadas adiante (feed-forward); não existem conexões de realimentação. Fluxo da informação

24 Introdução às RNAProf. Eduardo Simas24 Redes de Função de Base Radial Estrutura semelhante a do MLP (uma camada oculta e uma de saída). A função de ativação dos neurônios da camada oculta é gaussiana: A camada de saída utiliza neurônios lineares. Comparando: –Redes MLP: aproximação global –Redes RBF: aproximação local Função de Ativação Radial Basis Function (RBF)

25 Introdução às RNAProf. Eduardo Simas25 Mapas Auto-Organizáveis Treinamento não supervisionado. Aprendizagem competitiva. Cada entrada é conectada a todos os neurônios da grade O neurônio vencedor (ativo) é aquele que possui o conjunto de pesos mais parecido com o sinal de entrada. O ajuste dos pesos (treinamento) é feito visando reforçar a resposta do neurônio vencedor (e seus vizinhos) ao padrão de entrada. Após o treinamento, as relações topológicas são preservadas. Propostos por Kohonen em 1982: mapas (ou redes) de Kohonen.

26 Introdução às RNAProf. Eduardo Simas26 TREINAMENTO

27 Introdução às RNAProf. Eduardo Simas27 Treinamento Supervisionado Selecione o par entrada- saída da n-ésima iteração Calcule a saída de rede Calcule o erro entre a saída alvo e a saída atual Ajuste os pesos de modo a minimizar o erro Erro está num nível aceitável? Fim do treinamento ! SimNão n=n+1

28 Introdução às RNAProf. Eduardo Simas28 Treinamento Não-Supervisionado Selecione a entrada da n-ésima iteração Calcule a saída de rede Ajuste os pesos de modo a obter a um comportamento pré- estabelecido para as saídas O critério utilizado está num nível aceitável? Fim do treinamento ! SimNão n=n+1

29 Introdução às RNAProf. Eduardo Simas29 Algoritmos de Treinamento Supervisionado: –Algoritmo de treinamento do Perceptron –Algoritmo de Retro-propagação do Erro (para perceptrons de múltiplas camadas – MLP) Não-supervisionado –Algoritmo de treinamento do Mapa Auto-organizável (Rede de Kohonen ou SOM)

30 Introdução às RNAProf. Eduardo Simas30 Treinamento do Perceptron A partir da minimização do erro chega-se à regra de aprendizagem do perceptron: O vetor de pesos sinápticos é ajustado na direção da correção do erro: Sendo: saída da rede taxa de aprendizagem (0> η >1) saída alvo

31 Introdução às RNAProf. Eduardo Simas31 Algoritmo de Retro-Propagação do Erro Considerando que: –o erro é calculado para a camada de saída; –uma rede MLP possui camadas ocultas; Como obter a regra de atualização dos pesos das camadas ocultas?

32 Introdução às RNAProf. Eduardo Simas32 Algoritmo de Retro-Propagação do Erro O algoritmo de retro-propagação do erro (error back-propagation) solucionou este problema definido o conceito de gradiente local: –Para a camada de saída –Para camadas intermediárias (ocultas) O ajuste dos pesos é realizado através de: sendo η a taxa de aprendizagem. Sendo:

33 Introdução às RNAProf. Eduardo Simas33 Algoritmo de Retro-Propagação do Erro Propagação do sinal para frente:

34 Introdução às RNAProf. Eduardo Simas34 Algoritmo de Retro-Propagação do Erro Retro-propagação do erro:

35 Introdução às RNAProf. Eduardo Simas35 Treinamento do Mapa Auto-Organizável No SOM o treinamento é não-supervisionado. Quando uma entrada x é apresentada para a rede, a saída de cada neurônio j é calculada por: O neurônio i com a maior saída é denominado neurônio vencedor. Os pesos são ajustados de modo a reforçar a saída do neurônio vencedor i (e seus vizinhos): Sendo a função de vizinhança que pode ser por exemplo:

36 Introdução às RNAProf. Eduardo Simas36 Treinamento do Mapa Auto-Organizável Curva de vizinhança gaussiana num mapa bi-dimensional:

37 Introdução às RNAProf. Eduardo Simas37 Treinamento do Mapa Auto-Organizável O SOM é capaz de produzir um agrupamento topológico. Assinaturas com características semelhantes são mapeadas em áreas adjacentes do mapa: Exemplo de mapeamento produzido por um SOM 10 x 10 após o treinamento

38 Introdução às RNAProf. Eduardo Simas38 Curva do Erro Considerações sobre o treinamento O algoritmo de treinamento ajusta os pesos (W) na direção da minimização do erro. Quando a superfície do erro é mono-modal (apresenta apenas um mínimo), o erro mínimo é alcançado. A depender do ponto de início da busca, o tempo de convergência do treinamento pode variar

39 Introdução às RNAProf. Eduardo Simas39 Considerações sobre o treinamento Superfície de erro multi- modal: –Convergência para o mínimo global depende do ponto de início do treinamento. Soluções: –iniciar diversas vezes o treinamento; –utilizar um algoritmo de busca global.

40 Introdução às RNAProf. Eduardo Simas40 Limitações das Redes Neurais A arquitetura (número de camadas e neurônios ocultos) precisa ser escolhida experimentalmente; A eficiência obtida após o treinamento depende da estatística (quantidade e variedade) disponível nas amostras utilizadas; Em alguns casos o treinamento pode ser lento: –Número de características de entrada; –Quantidade de neurônios. Se houver um modelo matemático exato para o problema este deve ser utilizado ao invés de uma rede neural;

41 Introdução às RNAProf. Eduardo Simas41 APLICAÇÕES

42 Introdução às RNAProf. Eduardo Simas42 Aplicações - I Inspeção de Equipamentos por Ultrassom: - O ensaio por ultrassom permite a detecção da ocorrência de descontinuidades; - Porém, a classificação do tipo de defeito existente é uma tarefa mais difícil.

43 Introdução às RNAProf. Eduardo Simas43 Aplicações - I Inspeção de Equipamentos por Ultrassom: Exemplos de Aplicações de Redes Neurais: –Classificação de descontinuidades em compostos Laminados Fibra-Metal. –Dimensionamento de pites de corrosão em aço inoxidável.

44 Introdução às RNAProf. Eduardo Simas44 Aplicações - I Classificação de descontinuidades em compostos Laminados Fibra-Metal (LFM): Transf. de Fourier Sinal Medido Classific. Neural Indicação da Integridade - Os LFM são compostos de camadas sobrepostas de diferentes materiais; - Existem múltiplos meios de propagação e interfaces de reflexão para o sinal ultrassônico - A identificação dos defeitos é mais difícil Sistema proposto: Classes analisadas: Sem defeito (SD) Delaminação (D) Fratura de fibra (F)

45 Introdução às RNAProf. Eduardo Simas45 Aplicações - I Classificação de descontinuidades em compostos Laminados Fibra-Metal: SDDF D1,0498,960 F00100 Matriz de confusão (%) Os padrões dos sinais sem defeito e com delaminação são parecidos ! Características utilizadas Determinação do número de neurônios ocultos

46 Introdução às RNAProf. Eduardo Simas46 Aplicações - I Dimensionamento de pites de corrosão em aço inoxidável: Corpo de prova padrão Profundidade dos furos: p1 = 0,5 mm, p2 = 1,0 mm, p3 = 2,0 mm; Diâmetro dos furos: Ф1 = 0,6 mm; Ф2 = 0,8 mm Distância entre furos: x = y = 16,0 mm Mesa posicionadora xy de acrílico e nylon desenvolvida para o ensaio Sensor ultrassônico Corpo de prova

47 Introdução às RNAProf. Eduardo Simas47 Aplicações - I Dimensionamento de pites de corrosão em aço inoxidável: Transf. de Fourier Sinal Medido Classific. Neural Detecção do Pite Acerto FURO95,54% SD87,10% Eficiência de classificação DIÂMETRO (mm) 0,80,60,4 FURO97,32%96,00%93,32% Eficiência em função do tamanho do furo

48 Introdução às RNAProf. Eduardo Simas48 Aplicações - II Filtragem inversa num sistema de medição –Filmes finos de VO 2 são utilizados em sensores de temperatura. –É interessante sua operação na região de histerese (alta dR/dT).

49 Introdução às RNAProf. Eduardo Simas49 Aplicações - II Filtragem inversa num sistema de medição - O processo de medição: alta taxa de variação da temperatura curva distorcida. - Medição da curva quase-estática: realizado com uma lenta variação da temperatura; não é viável a realização para um conjunto grande de filmes A rede neural aproxima a função de transferência inversa do sistema de medição.

50 Introdução às RNAProf. Eduardo Simas50 Aplicações - II Filtragem inversa num sistema de medição EQM - Erro Quadrático Médio MEQ - Máximo Erro Quadrático

51 Introdução às RNAProf. Eduardo Simas51 Aplicações - III Agrupamento não-supervisionado de assinaturas acústicas de contatos elétricos: Transformador OLTC

52 Introdução às RNAProf. Eduardo Simas52 Aplicações - III Agrupamento não-supervisionado de assinaturas acústicas de contatos elétricos: Assinaturas Acústicas Transformada Wavelet SOMAgrupamento

53 Introdução às RNAProf. Eduardo Simas53 Aplicações - III Agrupamento não-supervisionado de assinaturas acústicas de contatos elétricos: Agrupamentos 3 e 4: Contatos usados com pouco desgaste Agrupamentos 5 e 6: Contatos usados com maior desgaste Contatos novos Cont. desgastados Agrupamento Probabilidade

54 Introdução às RNAProf. Eduardo Simas54 Aplicações - IV Reconhecimento do locutor: Características utilizadas: –Frequência fundamental (pitch); –Coeficientes cepstrais. Estimativa dos coeficientes cepstrais:

55 Introdução às RNAProf. Eduardo Simas55 Aplicações - IV PD (%)PF (%) Experimento 1909 Experimento Reconhecimento do locutor: Experimento 1: –Todos os indivíduos da base de dados (17 mulheres e 18 homens) Experimento 2: –Indivíduos com padrões vocais semelhantes (irmãos).

56 Introdução às RNAProf. Eduardo Simas56 Aplicações - V Classificação em Física de Altas Energias: Calorímetros: medidores de energia.

57 Introdução às RNAProf. Eduardo Simas57 Aplicações - V Classificação em Física de Altas Energias: Saídas alvo: Elétron 1 Jato -1 ~ 1000 sensores 100 anéis Classificador Neural Classificador Linear

58 Introdução às RNAProf. Eduardo Simas58 Aplicações - V Classificação em Física de Altas Energias: –Para identificação correta de ~97% dos elétrons: –Erro na identificação de jatos: Rede neural ~7% Classificador linear ~20% Na operação do detector ~ jatos serão produzidos por segundo. - 13% eventos não relevantes armazenados em mídia permanente

59 Introdução às RNAProf. Eduardo Simas59 Aplicações - VI Identificação Automática do Gênero Musical: Características estimadas: - Frequência Fundamental; - Coef. Cepstrais; - Freq. Fundamental; - Histograma rítmico; - Concentração espectral da energia; - Sonoridade.

60 Introdução às RNAProf. Eduardo Simas60 Aplicações - VI Identificação Automática do Gênero Musical: Rede Neural Utilizada: Gêneros musicais e saídas alvo: - Blues Y=[1, -1, -1, -1, -1] T - MPB Y=[-1, 1, -1, -1, -1] T - Reggae Y=[-1, -1, 1, -1, -1] T - Rock Y=[-1, -1, -1, 1, -1] T - Samba Y=[-1, -1, -1, -1, 1] T

61 Introdução às RNAProf. Eduardo Simas61 Aplicações - VI Identificação Automática do Gênero Musical: Matriz de Confusão Variação da eficiência média com o número de neurônios ocultos Percebe-se que os maiores erros ocorrem entre ritmos com características semelhantes: MPB x Samba MPB x Reggae Blues x Rock

62 Introdução às RNAProf. Eduardo Simas62 Conclusões Ao longo de algumas décadas de utilização, as redes neurais artificiais mostraram-se ferramentas bastante úteis em diversas aplicações. Vantagens: –Alto poder computacional –Processamento paralelo –Robusta a ruídos e dados incompletos –Capaz de estimar mapeamentos não-lineares desconhecidos Desvantagens: –Arquitetura ótima precisa ser determinada experimentalmente –Difícil interpretação do modelo obtido –Eficiência depende do processo de treinamento

63 Introdução às RNAProf. Eduardo Simas63 Mais informações... IEEE-INNS International Joint Conference on Neural Networks, promovido em conjunto pela IEEE Computational Intelligence Society (www.ieee-cis.org) e pela International Neural Network Society (www.inns.org) Congresso Brasileiro de Inteligência Computacional – CBIC (antigo Cong. Bras. de Redes Neurais – CBRN - ), promovido pela Sociedade Brasileira de Redes Neurais (www.sbrn.org.br). Simpósio Brasileiro de Redes Neurais – SBRN, promovido pela Sociedade Brasileira de Computação (www.sbc.org.br). Revista Learning and Nonlinear Models (www.deti.ufc.br/~lnlm).www.deti.ufc.br/~lnlm...

64 Introdução às RNAProf. Eduardo Simas64 Referências Bibliográficas Livros Texto: –Haykin, S., Redes Neurais, Princípios e Prática, Bookman, –Wasserman, P. D., Neural Computing, Theory and Practice, VNR, –Calôba, L. P., Notas de Aulas, COPPE / UFRJ, Aplicações: –Simas Filho, E. F. Analise Não-Linear de Componentes Independentes para uma Filtragem Online Baseada em Calorimetria de Alta Energia e com Fina Segmentação, Doutorado em Engenharia Elétrica COPPE / UFRJ, –Simas Filho, E. F.; Almeida, L. A. L., Filtragem Inversa de Medições de Histerese Térmica Utilizando Redes Neurais. Cong. Bras. de Automática, 2006, Salvador-BA. –Simas Filho, E. F.; Almeida, L. A. L.. Self-Organized Classification of On-Load Tap Changers Acoustic Signatures. In: IEEE Intern.Instrumentation and Measurement Technology Conf., 2008 –Santos, L. T., Simas Filho, E. F., Sistema de Reconhecimento Automático do Locutor Utilizando um Classificador Neural. Seminário Nacional de Controle e Automação, 2009, Salvador. –Borges Jr, E. A. T, et al., Classificação do Gênero Musical Utilizando Redes Neurais Artificiais. In: CONNEPI, 2010, Maceió - AL. –Lopes, D. B. P., et al., Utilização de Redes Neurais Artificiais como Ferramenta de Auxílio na Detecção de Dimensionamento de Pites em Corrosão de Aços Inoxidáveis In: Congresso Nacional de Ensaios Não-Destrutivos e Inspeção, 2010, Santos-SP.


Carregar ppt "Disciplina: Processamento Estatístico de Sinais Aula 04: Introdução às Redes Neurais Artificiais Prof. Eduardo Simas Programa de."

Apresentações semelhantes


Anúncios Google