A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Redes Neurais DSC/CEEI/UFCG Professor: Herman M GomesHerman M Gomes.

Apresentações semelhantes


Apresentação em tema: "Redes Neurais DSC/CEEI/UFCG Professor: Herman M GomesHerman M Gomes."— Transcrição da apresentação:

1 Redes Neurais DSC/CEEI/UFCG Professor: Herman M GomesHerman M Gomes

2 Bibliografia § Haykin S. Neural Networks: A Compreensive Foundation. Macmillan College Publishing, § Kovacs Z.L. Redes Neurais: Fundamentos e Aplicações. Edição Acadëmica, § McClelland J.L., Rumelhart D.E. Explorations in Parallel Distributed Processing. The MIT Press § R. Beale, T. Jackson. Neural Computing: An Introduction. IOP Publishing, § R. Hetch-Nielsen. Neurocomputing. Addison-Wesley Publishing Company,1990. § P. K. Simpson. Artificial Neural Systems. Pergamon Press, § P. D. Wasserman. Neural Computing: Theory and Pratice. Van Nostrand Reinhold, § C. Bishop. Neural Networks for Pattern Recognition.

3 Introdução § O que é computação?

4 § Funções computáveis e não computáveis § Funções lineares e não lineares

5 § A estrutura do cérebro vaproximadamente neurônios vcada um conectado com cerca de 10 4 outros

6 § Ativação de um neurônio Sinal de Saída Nível de Entrada limiar 0 ativo inativo

7 § Aprendizagem em sistemas biológicos 0

8 vVetores de características e espaços de estados

9 vFunções discriminantes

10 vTécnicas de classificação: vizinho mais próximo

11 vMedidas de distância entre vetores Distância de Hamming = Distância Euclidiana =

12 vClassificadores lineares

13 vTécnicas estatísticas: classificação Bayesiana Importante técnica analítica que facilita o entendimento da natureza estatística dos dados Baseia-se na teoria estatística de probabilidades e probabilidades condicionais Em reconhecimento de padrões, medições são feitas sobre os padrões (componentes do vetor de características) a fim de se obter uma estimativa da probabilidade de um padrão pertencer a uma classe particular. Mais formalmente, seja G i (i=1,2,...,n) a lista de possíveis grupos ou classes, define-se a probabilidade de um padrão pertencer a uma classe como sendo P(G i ), onde 0 P(G i ) 1

14 O uso de probabilidades condicionais permite a inclusão de conhecimento prévio sobre o problema de forma a melhorar a estimativa de um padrão pertencer a uma dada classe Dados dois eventos X e Y, a probabilidade condicional é definida como sendo a probabilidade do evento Y dada a ocorrência do evento X: P(Y |X) Em reconhecimento de padrões, o conhecimento prévio que é combinado com a função de probabilidade da classe são as medições de dados obtidas para o padrão, ou seja, o vetor de características X = (x 1, x 2,..., x n ) Assim, o problema de classificação de padrões pode ser enunciado como: Considerando um conjunto de medições, X, qual é a probabilidade dele pertencer à classe G i, ou seja P(G i |X) ?

15 vRegra de Bayes Decida por x pertencer à classe i se: P(Gi |X) > P(Gj |X) para i=1,2,...,n i j Como estimar as probabilidades condicionais? ØFazendo suposições sobre os dados de padrões ØDescrevendo distribuições desconhecidas através de modelos ØDado que se sabe que o padrão deva pertencer a um dos n grupos, então define-se a probabilidade de se se obter aquele padrão em cada um dos grupos P(X | Gi) ØP(Gi |X) = P(X | Gi ). P(Gi) / ( j P(X | Gj). P(Gj) )

16 vOutras técnicas estatísticas EM algorithm: Expectation-Maximisation Support Vector Machines

17 vModelando um único neurônio Perceptrons w0 w1 w2 w3 wn... y x0 x1 x2 x3 x4

18 vFunções de ativação

19

20

21

22 vAprendizagem do perceptron 1. Inicializar pesos e limiar Definir wi(t), (0 i n) como o peso da entrada i no tempo t e w 0 como sendo -, o limiar, e x 0 =1 Ajustar wi(0) com pequenos valores randômicos 2. Apresentar entradas x0, x1,..., xn e saída desejada d(t) 3. Calcular a saída do neurônio 4. Adaptar os pesos se corretowi(t+1) = wi(t) se saída=0, mas devia ser 1 wi(t+1) = wi(t)+xi(t) se saída=1, mas devia ser 0wi(t+1) = wi(t)-xi(t)

23 vModificações da adaptação dos pesos 4. Adaptar os pesos se corretowi(t+1) = wi(t) se saída=0, mas devia ser 1 wi(t+1) =wi(t)+ xi(t) se saída=1, mas devia ser 0wi(t+1) =wi(t)- xi(t) onde 0 1 controla a taxa de adaptação do peso 4. Adaptar os pesos - regra delta de Widrow-Hoff = d(t) - y(t) wi(t+1) = wi(t) + xi(t) Neurônios com este algoritmo de aprendizagem: ADALINE Uso de entradas bipolares acelera o treinamento, por que?

24 vLimitações dos perceptrons de 1 camada Foi provado (Rosemblatt) que se for possível classificar linearmente um conjunto de entradas, então uma rede de perceptrons pode aprender a solução Um perceptron tenta encontrar uma reta que separa as classes de padrões Porém há situações em que a separação entre as classes precisa ser muito mais complexa do que uma simples reta, por exemplo, o problema do XOR: linearmente inseparável X Y Z

25 vComo resolver o problema de ser incapaz de resolver problemas linearmente inseparáveis com o perceptron? vUma solução seria usar vários perceptrons, cada qual encarregado de separar várias pequenas seções linearmente separáveis das entradas, e combinar as saídas em outro perceptron que daria o resultado da classificação final Perceptron de múltiplas camadas

26 vO problema com este arranjo em camadas é que os neurônios não podem aprender usando a aprendizagem do perceptron vOs neurônios da primeira camada recebem as entradas diretamente, mas os da segunda camada não conhecem o estado das entradas reais, apenas o resultado do processamento pela 1a camada vComo o aprendizado de perceptrons corresponde ao reforço de conexões entre entradas ativas e neurônios ativos, seria impossível reforçar as partes corretas da rede, uma vez que as entradas são mascaradas pelas camadas intermediárias Perceptron de múltiplas camadas

27 § A solução vUsar função de ativação contínua ao invés de binária permite ter-se uma idéia mais realística das entradas, por exemplo, sigmóide ou semi-linear. f(net) = 1 / (1+ e -z. net )

28 § Arquitetura Entrada Saída Escondida

29 § A solução vAlgoritmo de aprendizagem: 1. Iniciar pesos e limiar para pequenos valores randômicos 2. Apresentar entrada e saída desejada Xp=x0,x1,...,xn-1, Tp=t0,t1,...,tm-1 3. Calcular as saídas da rede, cada camada produz: e passa os resultados como entradas para a próxima camada. As saídas da última camada são o pj 4. Adaptar os pesos

30 vAlgoritmo de aprendizagem (backpropagation): 4. Adaptar os pesos, começar na camada de saída e prosseguir de trás para frente w ij (t+1) = w ij (t) + pj o pj Para neurônios de saída: pj = z o pj (1 - o pj ) (t pj - o pj ) Para neurônios de camadas escondidas pj = z o pj (1 - o pj ) k pk w jk

31 vAlgoritmo backpropagation (prova): Vamos definir a função de erro como sendo proporcional ao quadrado das diferenças entre as saídas reais e desejadas para todos os padres a serem aprendidos: O objetivo final será minimizar esta função A ativação de cada unidade j para um padrão p pode ser escrita como:

32 vAlgoritmo backpropagation (prova): A saída do neurônio j é definida como: Pela regra da cadeia, pode-se escrever a derivada da energia associada ao padrão p com respeito ao peso w ij : Substituindo (2) em (4):

33 vAlgoritmo backpropagation (prova): Substituindo (2) em (4): uma vez que: exceto quando k=i, quando a expressão acima é igual a 1.

34 vAlgoritmo backpropagation (prova): A mudança em erro pode ser definida como uma função da mudança nas entradas da rede para um certo neurônio: Substituindo em (4): Decrementar o valor da Energia, significa portanto tornar as mudanças de pesos proporcional a

35 vAlgoritmo backpropagation (prova): Agora precisamos saber qual a expressão de para cada um dos neurônios, se soubermos isto poderemos reduzir a energia. Usando (6) e pela regra da cadeia, podemos escrever: Considerando o segundo termo acima e usando (3):

36 vAlgoritmo backpropagation (prova): Considerando agora o primeiro termo de (9) e usando (1), podemos derivar Ep com relação a o pj : Portanto: o que é bastante útil para neurônios de saída, mas não para neurônios em camadas intermediárias, uma vez que suas saídas desejadas não são conhecidas

37 vAlgoritmo backpropagation (prova): Assim, se um neurônio não está na camada de saída, pode-se escrever novamente pela regra da cadeia: também usando (2) e (6) e notando que a soma é cancelada uma vez que a derivada parcial não é zero para apenas um valor, como em (5).

38 vAlgoritmo backpropagation (prova): Substituindo (14) em (9), finalmente chaga-se à função que representa a mudança no erro, com respeito aos pesos da rede: A função acima é proporcional aos erros em neurônios subsequentes, assim o erro deve ser calculado nos neurônios de saída primeiro.

39 vAlgoritmo backpropagation (prova): Usando a função sigmóide como função de ativação, tem-se:

40 Redes RAM-based e Goal Seeking Neurons (GSN) § Neurônio RAM Dificuldades para implementar neurônios de McCulloch-Pitts Primeiro proposto por Aleksander (1967), quando era denominado de SLAM (Stored Logic Adaptive Microcircuit) As entradas, saídas e pesos são discretos (binários) Adaptação através da mudança de conteúdos endereçáveis, ao invés dos pesos da conexão Da mesma forma que em memórias RAM, existem terminais de endereçamento e terminais de dados

41 § Neurônio RAM - características Em geral, um neurônio RAM possui vários terminais de endereçamento, um terminal de dado de saída e outro de entrada, além de um terminal de controle para indicar o modo de operação Os modos de operação de um neurônio RAM são: aprendizagem e uso

42 § Neurônio RAM - características Pode-se imaginar que os pesos das conexões entre neurônios do tipo RAM, seriam as potências de 2, associadas a cada terminal de entrada, para cálculo do endereço acessado Por outro lado, alguns autores constumam denominar este tipo de neurônio como neurônio sem peso, uma vez que os pesos são fixos, não sendo utilizados durante o processo de adaptação da rede

43 § Neurônio RAM - endereçamento e ativação Sendo X i =x i1, x i2,..., x ic os terminais de entrada, z i1, z i2,..., z ic os pesos escritos na forma de potências de 2 associados a cada entrada, a fórmula para calcular o endereço acessado pela entrada X i será: A função de ativação para o neurônio RAM é definida pela equação:

44 § Neurônio PLN Baseado no neurônio RAM, adicionando a possibilidade de um tratamento probabilístico (PLN=Probabilistic Logic Neuron) A extensão feita ao neurônio RAM é incluir um terceiro valor lógico (indefinido), além de 0 e 1 Quando o valor lógico indefinido é endereçado, a saída produzida tem uma certa probabilidade de produzir 1 e uma outra probabilidade (complementar) de produzir 0. A interpretação deste novo valor lógico pode ser dada como uma condição de desconhecimento, sendo representado pelo símbolo u

45 § Neurônio PLN - ativação A função de saída do neurônio PLN é a seguinte: O neurônio PLN requer o dobro da memória requerida pelo neurônio RAM, em função da inclusão do terceiro valor lógico O papel do valor indefinido no neurônio PLN é fazer com que ele generalize

46 § Neurônio GSN (Goal Seeking Neuron) O neurônio GSN desenvolvido por Carvalho Filho em 1990 Assim como o neurônio PLN, o neurônio GSN baseia-se no neurônio RAM As diferenças entre o neurônio GSN e o neurônio PLN estão nos valores que eles podem propagar, e nos modos de operação Um neurônio GSN pode armazenar {0,1,u}, e todos estes três valores podem também ser enviados a outros neurônios e recebidos Dependendo do estado das entradas, pode-se acessar uma única célula ou um conjunto de células

47 § Neurônio GSN - modos de operação O neurônio busca por objetivos diferentes quando em modos ou estados diferentes. Há três estados ou modos de operação: Validação: o neurônio valida a possibilidade de aprender uma saída desejada sem destruir informações aprendidas anteriormente Aprendizagem: o neurônio seleciona um endereço e armazena a saída desejada Uso: o neurônio produz a melhor saída com base na aprendizagem

48 § Neurônio GSN - estrutura Além das estruturas básicas do neurônio RAM, o neurônio GSN possui terminais de entradas desejadas: d i1, d i2,..., d ic, os quais informam qual entrada satisfaz o objetivo procurado Quando há valores indefinidos presentes nos terminais de entrada, tem-se acesso a um conjunto de endereços possíveis (conjunto endereçável) ao invés de um único endereço

49 § Neurônio GSN - endereçamento O neurônio GSN exemina o conjunto endereçável para escolher o melhor conteúdo para o objetivo procurado O endereço fixo para as entradas com valores definidos (0,1) é dado por: O conjunto endereçável é dado por:

50 § Neurônio GSN - estado de validação No estado de validação o neurônio procura produzir uma saída indefinida, representando a possibilidade de aprender qualquer saída saída desejada Caso não seja possível encontrar um valor indefinido, então o neurônio pode produzir e aprender apenas um valor binário

51 § Neurônio GSN - estado de validação A saída o i de um neurônio é dada pela fórmula:

52 § Neurônio GSN - estado de aprendizagem O neurônio procura por um endereço que já armazene a saída desejada Se isto não for possível, então um endereço que contém um valor indefinido é utilizado A fórmula para o endereço procurado é:

53 § Neurônio GSN - estado de aprendizagem Depois de calculado o endereço e armazenada a saída desejada, são geradas as entradas desejadas que acessam o seu conteúdo: Estas entradas desejadas (sinais de saída) se conectam às saídas desejadas (sinais de entrada) dos neurônios na camada anterior

54 § Neurônio GSN - estado de uso O objetivo neste estado é produzir o valor binário de maior ocorrência no conjunto endereçável:

55 § Redes GSN Arquitetura piramidal feedforward com aprendizagem supervisionada com duas fases de processamento: aprendizagem e uso

56 § Redes GSN - fase de aprendizagem Subfase de Validação Os neurônios estão no estado de validação, ou seja cada neurônio informará sua capacidade de aprender alguma coisa A rede passa informações para frente, e o objetivo é produzir um valor indefinido no último neurônio

57 § Redes GSN - fase de aprendizagem Subfase de Aprendizagem Os neurônios estão no estado de aprendizagem, a operação da rede é feedbackward, da última camada em direção à primeira camada Os neurônios são inicializados com valores indefinidos em seus conteúdos Quando a rede produz uma saída indefinida, é sinal que houve rejeição de resposta para o padrão de entrada

58 § Redes GSN - fase de uso Os neurônios estão no estado de uso e a rede procura a saída que melhor representa a aprendizagem realizada, pois cada neurônio procura pela saída binária de maior probabilidade no conjunto endereçável

59 Idealizadas por Carpenter e Grossberg, 1987 Resultado da pesquisa sobre o problema da estabilidade/plasticidade: os algoritmos mantém a plasticidade requerida para aprender mais padrões, enquanto previnem a modificação contínua dos padrões que foram previamente aprendidos. Os dois subparadigmas ART mais comuns são: ART1, que aceita entradas binárias apenas, e ART2, que aceita entradas tanto binárias como contínuas. A rede ART recebe um vetor de entrada e o classifica em uma dentre um conjunto de categorias, dependendo dos padrões armazenados com os quais ele mais se parece. Redes ART (Adaptive Resonance Theory)

60 § Arquitetura de uma rede ART Ganho 2 Camada de Reconhecimento Ganho 1 Camada de Comparação Reset G2 + G1 + R + + C Vigilância X

61 § Arquitetura de uma rede ART vA decisão de classificação é indicada na Camada de Reconhecimento. vQuando um padrão armazenado que casa com o vetor de entrada for encontrado, conforme um limiar de vigilância, o padrão é modificado para tornar-se mais parecido com o vetor de entrada. vQuando o vetor de entrada não casa com nenhum padrão armazenado, então uma nova categoria de classificação é criada através do armazenamento de um novo padrão que é o próprio padrão de entrada. vO problema da estabilidade/plasticidade é resolvido pois nenhum padrão armazenado é modificado se ele não casa com a entrada corrente, e novos padrões podem criar novas categorias de classificação.

62 § Arquitetura de uma rede ART - camada de comparação G1 x1x1 x2x2 xmxm X... c1c1 c2c2 cmcm C t 11 t 12 t 1m t 21 t 22 t 2m t m1 t m2 t mn T1T1 T2T2 TnTn r1r1 r2r2 rnrn R p1p1 p2p2 pmpm

63 § Arquitetura de uma rede ART - camada de comparação Inicialmente propaga o vetor de entrada X inalterado para a camada de reconhecimento. Cada neurônio recebe 3 entradas binárias: componente x i da entrada X, sinal de feedback p j (soma ponderada de r j ) e G1. Regra 2-dentre-3. Ganho é inicializado em 1, e R em 0, assim C é inicialmente X.

64 § Arquitetura de uma rede ART - camada de reconhecimento... b 11 b 21 b m1 B1B1 OUT F c1c1 c2c2 cmcm NET... b 1n b 2n b mn BnBn OUT F c1c1 c2c2 cmcm NET... b 11 b 21 b m1 B2B2 OUT F c1c1 c2c2 cmcm NET... C r1r1 r2r2 rnrn R

65 § Arquitetura de uma rede ART - camada de reconhecimento A função desta camada é classificar o vetor de entrada. Cada neurônio tem associado um vetor de pesos contínuos B j. Regra de disparo do tipo winner-takes-all: apenas o neurônio que mais se aproxime d vetor de entrada é quem dispara. Os pesos B j representam uma categoria (classe) de vetores de entrada. Uma versão binária do mesmo padrão é também armazenada em um conjunto de pesos T j correspondente na camada de comparação

66 § Arquitetura de uma rede ART - camada de reconhecimento Os neurônios desta camada computam o produto interno de seus pesos pelo vetor C. O neurônio vencedor será aquele que tiver os seus pesos mais parecidos com os componentes do vetor C. Existem conexões excitatórias ligando um neurônio a ele mesmo, e inibitórias ligando a saída de um neurônio às entradas dos outros neurônios.

67 § Arquitetura de uma rede ART - G2, G1, Reset vGanho 2 –A saída G2 é o OU lógico dos componentes x i do vetor de entrada binário X. vGanho 1 –Se todos os componentes de R são 0 então a saída Ga é o OU lógico dos componentes x i do vetor de entrada binário X, caso contrário, G1 é 0. vReset –A função deste módulo é medir a similaridade entre os vetores X e C. –Se o quociente entre onúmero de 1s em C pelo número de 1s em X estiver abaixo do fator de vigilância, então Reset é ativado para desabilitar o neurônio que disparou na Camada de Reconhecimento.

68 § Rede ART - processo de classificação vA operação de uma rede ART, também referida como processo de classificação, consiste de 5 fases: –Inicialização –Reconhecimento –Comparação –Busca –Treinamento

69 § Rede ART - fase de inicialização Os pesos dos vetores B j (bottom-up) são inicializados com os mesmos valores: b ij =L/(L-1+m), i,j (m é o número de componentes do vetor de entrada, e L é normalmente 2). Os pesos dos vetores T j (top-down) são todos inicializados com 1 O fator de vigilância pode ficar na faixa de 0 a 1.

70 § Rede ART - fase de reconhecimento Os pesos B j de cada neurônio representam uma única categoria de classificação. Inicialmente o vetor C copia o vetor X. No passso seguinte, cada neurônio da camada de reconhecimento efetua um produto intero de seu vetor de pesos B j pelo vetor C. O neurônio com pesos mais próximos do vetor de entrada irá disparar sozinho, ou seja um simples componente r j será igual a 1.

71 § Rede ART - fase de comparação O único neurônio que disparou na Camada de Reconhecimento propaga um 1 de volta à Camada de Comparação através de seu sinal de saída r j O algoritmo de treinamento e a inicialização deverão garantir que cada T seja formado por valores binários e cada B j seja uma versão contínua de T j

72 § Rede ART - fase de busca Se o grau de similaridade entre os veores X e C não for suficiente para atender ao fator de vigilância, então outros padrões armazenados precisam ser pesquisados para se encontrar o que mais se aproxima da entrada. Isto é conseguido através da inibição provida pelo sinal Reset O processo de busca se repete até que um dos seguintes eventos aconteça: 1. Um padrão que casa com X é encontrado e o fator de vigilância é satisfeito 2. Todos os padrões armazenados são selecionados, porém nenhum deles satisfaz o fator de vigilância, e, neste instante os neurônios na Camada de Reconhecimento são inibidos. Neste caso a busca irá terminar num neurônio descomprometido com os pesos em 1.

73 § Rede ART - fase de treinamento O algoritmo de aprendizagem deve ser aplicado tanto nas buscas com sucesso quanto nas buscas sem sucesso. No caso de uma busca com sucesso, a rede deverá entrar num ciclo que modificará tanto T quanto B j, o objetivo é que o vetor X atualize os pesos de sua categoria de classificação: b ij = (Lc i )(L-1 + c k ) c i é o i-ésimo componente do vetor de saída da Camada de Comparação j é o número do neurônio vencedor na Camada de Reconhecimento b ij é o peso em B conectando o neurônio i na camada de comparação ao neurônio j da camada de reconhecimento L é uma constante > 1, normalmente L=2/ T ij = c i No caso de uma busca sem sucesso, um neurônio previamente desalocado é quem será usado.


Carregar ppt "Redes Neurais DSC/CEEI/UFCG Professor: Herman M GomesHerman M Gomes."

Apresentações semelhantes


Anúncios Google