A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

1 Prof. Dr. Helder Anibal Hermini. 2 3 Sumário Introdução Introdução Histórico Histórico Neurônio artificial Neurônio artificial Treinamento do neurônio.

Apresentações semelhantes


Apresentação em tema: "1 Prof. Dr. Helder Anibal Hermini. 2 3 Sumário Introdução Introdução Histórico Histórico Neurônio artificial Neurônio artificial Treinamento do neurônio."— Transcrição da apresentação:

1 1 Prof. Dr. Helder Anibal Hermini

2 2

3 3 Sumário Introdução Introdução Histórico Histórico Neurônio artificial Neurônio artificial Treinamento do neurônio Treinamento do neurônio Redes de neurônios Redes de neurônios Treinamento da rede Treinamento da rede Aplicações Aplicações Extração de regras Extração de regras

4 4

5 5 Inteligência Computacional A Inteligência Computacional busca, através de técnicas inspiradas na Natureza, o desenvolvimento de sistemas inteligentes que imitem aspectos do comportamento humano, tais como: aprendizado, percepção, raciocínio, evolução e adaptação.

6 6

7 7 Definições: 1. Técnica inspirada no funcionamento do cérebro, onde neurônios artificiais, conectados em rede, são capazes de aprender e de generalizar. 2. Técnica de aproximação de funções por regressão não linear. Redes Neurais Artificiais (RNA)

8 8 Capacidade de Generalização Isso significa que se a rede aprende a lidar com um certo problema, e lhe é apresentado um similar, mas não exatamente o mesmo, ela tende a reconhecer esse novo problema, oferecendo a mesma solução.

9 9 A característica mais significante de redes neurais está em sua habilidade de aproximar qualquer função contínua ou não contínua com um grau de correção desejado. Esta habilidade das redes neurais as tem tornado útil para modelar sistemas não lineares. A característica mais significante de redes neurais está em sua habilidade de aproximar qualquer função contínua ou não contínua com um grau de correção desejado. Esta habilidade das redes neurais as tem tornado útil para modelar sistemas não lineares. Aproximador de funções

10 10 Mapeamento Entrada-Saída para Aproximação de Funções Objetivo da Aprendizagem: descobrir a função f() dado um número finito (desejável pequeno) de pares entrada- saída (x,d). Objetivo da Aprendizagem: descobrir a função f() dado um número finito (desejável pequeno) de pares entrada- saída (x,d).

11 11 Redes Neurais Artificiais (RNA) Devido à sua estrutura, as Redes Neurais Artificiais são bastante efetivas no aprendizado de padrões a partir de dados: não-lineares, não-lineares, incompletos, incompletos, com ruído e até com ruído e até compostos de exemplos contraditórios. compostos de exemplos contraditórios.

12 12

13 13 Técnica Computacional Inspiração na Natureza Redes Neurais Artificiais Neurônios biológicos Computação Evolucionária Evolução biológica Lógica Fuzzy Processamento lingüístico Sistemas EspecialistasProcesso de Inferência Técnica x Natureza

14 Os dentritos, que tem por função, receber os estímulos transmitidos pelos outros neurônios; Os dentritos, que tem por função, receber os estímulos transmitidos pelos outros neurônios; O corpo de neurônio, também chamado de soma, que é responsável por coletar e combinar informações vindas de outros neurônios; O corpo de neurônio, também chamado de soma, que é responsável por coletar e combinar informações vindas de outros neurônios; E finalmente o axônio, que é constituído de uma fibra tubular que pode alcançar até alguns metros, e é responsável por transmitir os estímulos para outras células. E finalmente o axônio, que é constituído de uma fibra tubular que pode alcançar até alguns metros, e é responsável por transmitir os estímulos para outras células. Principais Componentes dos Neurônios

15 15 Em média, cada neurônio forma entre mil e dez mil sinapses. Em média, cada neurônio forma entre mil e dez mil sinapses. O cérebro humano possui cerca de neurônios, e o número de sinapses é de mais de 10 14, possibilitando a formação de redes muito complexas. O cérebro humano possui cerca de neurônios, e o número de sinapses é de mais de 10 14, possibilitando a formação de redes muito complexas. Principais Componentes dos Neurônios

16 16 Parâmetro Cérebro Computador Material Orgânico Metal e plástico Velocidade Milisegundos Nanosegundos Tipo de Processamento Paralelo Seqüencial Armazenamento Adaptativo Estático Controle de Processos Distribuído Centralizado Número de elementos processados à à 10 6 Eficiência energética J/op./seg J/op./seg Ligações entre elementos processados <10 Quadro comparativo entre cérebro e o computador

17 17

18 18 Histórico (1943) O neurofisiologista McCulloch e matemático Walter Pitts (1943), cujo trabalho fazia uma analogia entre células vivas e o processo eletrônico, simulando o comportamento do neurônio natural, onde o neurônio possuía apenas uma saída, que era uma função do valor de suas diversas entradas.

19 19 O neurônio de McCulloch e Pitts Consiste basicamente de um neurônio que executa uma função lógica. Consiste basicamente de um neurônio que executa uma função lógica. Os nós produzem somente resultados binários e as conexões transmitem exclusivamente zeros e uns. Os nós produzem somente resultados binários e as conexões transmitem exclusivamente zeros e uns. As redes são compostas de conexões sem peso, de tipos excitatórias e inibitórias. As redes são compostas de conexões sem peso, de tipos excitatórias e inibitórias. Cada unidade é caracterizada por um certo limiar (threshold) q. Cada unidade é caracterizada por um certo limiar (threshold) q.

20 20 Histórico (1949) O psicólogo Donald Hebb, demostrou que a capacidade da aprendizagem em redes neurais biológicas vem da alteração da eficiência sináptica, isto é, a conexão somente é reforçada se tanto as células pré-sinápticas quanto as pós-sinápticas estiverem excitadas; Hebb foi o primeiro a propor uma lei de aprendizagem específica para as sinápses dos neurônios.

21 21 Histórico (1951) Construção do primeiro neuro computador, denominado Snark, por Mavin Minsky. O Snark operava ajustando seus pesos automaticamente. Construção do primeiro neuro computador, denominado Snark, por Mavin Minsky. O Snark operava ajustando seus pesos automaticamente.

22 22 Histórico (1956) Surgimento dos dois paradigmas da Inteligência Artificial: Surgimento dos dois paradigmas da Inteligência Artificial: –Simbólica: tenta simular o comportamento inteligente humano desconsiderando os mecanismos responsáveis por tal. –Conexionista: acredita que construindo- se um sistema que simule a estrutura do cérebro, este sistema apresentará inteligência, ou seja, será capaz de aprender, assimilar, errar e aprender com seus erros.

23 23 Rosemblatt (1958) mostrou em seu livro (Principles of Neurodynamics) o modelo dos "Perceptrons". Nele, os neurônios (Perceptrons) eram organizados em camada de entrada e saída, onde os pesos das conexões eram adaptados a fim de se atingir a eficiência sináptica usada no reconhecimento de caracteres. Histórico (1958)

24 24 Perceptron Clássico – Rosenblatt (1958)

25 25

26 26 Histórico (1960) Em 1960 surgiu a rede ADALINE (ADAptative LInear NEtwork) e o MADALINE (Many ADALINE), proposto por Widrow e Hoff. O ADALINE/MADALINE utilizou saídas analógicas em uma arquitetura de três camadas.

27 27 Histórico (1969) Foi constatado por Minsky & Papert que um neurônio do tipo Perceptron só é capaz de resolver problemas com dados de classes linearmente separáveis.

28 28 Histórico ( ) Muitos historiadores desconsideram a existência de pesquisa nessa área nos anos 60 e 70.

29 29 Histórico (1982) Retomada das pesquisas com a publicação dos trabalhos do físico e biólogo Hopfield relatando a utilização de redes simétricas para otimização, através de um algoritmo de aprendizagem que estabilizava uma rede binária simétrica com realimentação.

30 30 Histórico (1986) Rumelhart, Hinton e Williams introduziram o poderoso método de treinamento denominado Backpropagation. Rumelhart, Hinton e Williams introduziram o poderoso método de treinamento denominado Backpropagation. Rumelhart e McClelland escreveram o livro Processamento Paralelo Distribuído: Explorações na Microestrutura do Conhecimento. Rumelhart e McClelland escreveram o livro Processamento Paralelo Distribuído: Explorações na Microestrutura do Conhecimento.

31 31 Histórico (1988) Broomhead e Lowe descreveram um procedimento para o projeto de uma rede neural (feedforward) usando funções de base radial (Rede de Base Radial – RBF). Broomhead e Lowe descreveram um procedimento para o projeto de uma rede neural (feedforward) usando funções de base radial (Rede de Base Radial – RBF).

32 32

33 33 –As sinapses (entradas), com seus pesos associados –A jun ç ão somadora; e –A fun ç ão de ativa ç ão. Componentes do primeiro neurônio artificial

34 34 Primeiro Modelo O neurônio de McCulloch e Pitts (1943) Consiste basicamente de um neurônio que executa uma fun ç ão l ó gica. Consiste basicamente de um neurônio que executa uma fun ç ão l ó gica. Os nós produzem somente resultados bin á rios e as conexões transmitem exclusivamente zeros e uns. Os nós produzem somente resultados bin á rios e as conexões transmitem exclusivamente zeros e uns. As redes são compostas de conexões sem peso, de tipos excitat ó rios e inibit ó rios. As redes são compostas de conexões sem peso, de tipos excitat ó rios e inibit ó rios. Cada unidade é caracterizada por um certo limiar (threshold). Cada unidade é caracterizada por um certo limiar (threshold).

35 35 A regra para avaliação de um neurônio McCulloch-Pitts Assume–se que a unidade recebe entradas excitat ó rias através de n conexões de entrada e entradas inibit ó rias através de m conexões de entrada. Assume–se que a unidade recebe entradas excitat ó rias através de n conexões de entrada e entradas inibit ó rias através de m conexões de entrada. Se e pelo menos um dos sinais y 1, y 2,..., y m é 1, a unidade é inibida e a saída é 0. Se e pelo menos um dos sinais y 1, y 2,..., y m é 1, a unidade é inibida e a saída é 0. Caso contrário, o total de entradas (x= x 1 + x x n ) excitat ó rias é computado e comparado com o threshold. Caso contrário, o total de entradas (x= x 1 + x x n ) excitat ó rias é computado e comparado com o threshold. Se a saída é 1 (a unidade dispara). Se x < o resultado é 0. Se a saída é 1 (a unidade dispara). Se x < o resultado é 0.

36 36 Perceptron Basicamente o perceptron consiste de uma única camada de neurônios com pesos sinápticos e bias ajustáveis. Se os padrões de entrada forem linearmente separáveis, o algoritmo de treinamento possui convergência garantida, i.é, tem capacidade para encontrar um conjunto de pesos que classifica corretamente os dados. Os neurônios do perceptron são similares ao de McCulloch-Pitts, por terem a função de ativação do tipo degrau, mas possuem pesos associados e bias. Função degrau

37 37 Perceptron - O neurônio genérico de Redes Neurais Artificiais (RNAs) As principais partes de um neurônio genérico de RNAs são: As principais partes de um neurônio genérico de RNAs são: –As sinapses (entradas), com seus pesos associados –A jun ç ão somadora e –A fun ç ão de ativa ç ão.

38 Princípio de funcionamento Sinais são apresentados à entrada (x 1 à x m ); Sinais são apresentados à entrada (x 1 à x m ); Cada sinal é multiplicado por um peso que indica sua influência na saída da unidade (w k ); Cada sinal é multiplicado por um peso que indica sua influência na saída da unidade (w k ); É feita a soma ponderada dos sinais que produz um nível de atividade (u k ); É feita a soma ponderada dos sinais que produz um nível de atividade (u k ); A fun ç ão de ativa ç ão f(u k ) tem a função de limitar a saída e introduzir não-linearidade ao modelo. A fun ç ão de ativa ç ão f(u k ) tem a função de limitar a saída e introduzir não-linearidade ao modelo. O bias b k tem o papel de aumentar ou diminuir a influência do valor das entradas. O bias b k tem o papel de aumentar ou diminuir a influência do valor das entradas. É possível considerar o bias como uma entrada de valor constante 1, multiplicado por um peso igual a b k. É possível considerar o bias como uma entrada de valor constante 1, multiplicado por um peso igual a b k. Função degrau

39 39 Expressão matemática do neurônio artificial Matematicamente a sa í da pode ser expressa por: Matematicamente a sa í da pode ser expressa por: ou considerando o bias como entrada de valor x 0 =1 e peso w k0 =b k, ou considerando o bias como entrada de valor x 0 =1 e peso w k0 =b k,

40 40

41 41 Arquitetura das RNAs Uma rede neural artificial é composta por várias unidades de processamento (neurônios), cujo funcionamento é bastante simples. Uma rede neural artificial é composta por várias unidades de processamento (neurônios), cujo funcionamento é bastante simples. Essas unidades, geralmente são conectadas por canais de comunicação que estão associados a determinado peso. Essas unidades, geralmente são conectadas por canais de comunicação que estão associados a determinado peso. As unidades fazem operações apenas sobre seus dados locais, que são entradas recebidas pelas suas conexões. As unidades fazem operações apenas sobre seus dados locais, que são entradas recebidas pelas suas conexões. O comportamento inteligente de uma Rede Neural Artificial vem das interações entre as unidades de processamento da rede. O comportamento inteligente de uma Rede Neural Artificial vem das interações entre as unidades de processamento da rede.

42 42 Características Gerais das RNAs São modelos adaptativos treináveis São modelos adaptativos treináveis Podem representar domínios complexos (não lineares) Podem representar domínios complexos (não lineares) São capazes de generalização diante de informação incompleta São capazes de generalização diante de informação incompleta Robustos Robustos São capazes de fazer armazenamento associativo de informações São capazes de fazer armazenamento associativo de informações Processam informações Espaço/temporais Processam informações Espaço/temporais Possuem grande paralelismo, o que lhe conferem rapidez de processamento Possuem grande paralelismo, o que lhe conferem rapidez de processamento

43 43 Tipos de Redes Neurais Artificiais Existem basicamente 3 tipos básicos de arquitetura de RNAs: –Feedforward (alimentação de avanço) de uma única camada –Feedforward (alimentação de avanço) de múltiplas camadas e –Redes recorrentes.

44 Usualmente as camadas são classificadas em três grupos: Usualmente as camadas são classificadas em três grupos: –Camada de Entrada: onde os padrões são apresentados à rede; –Camadas Intermediárias ou Ocultas: onde é feita a maior parte do processamento, através das conexões ponderadas; podem ser consideradas como extratoras de características; –Camada de Saída: onde o resultado final é concluído e apresentado. Classificação de Camadas

45 45 camada de entrada camada de saída camada escondida Classificação de Camadas

46 46 Rede feedforward de uma única camada Os neurônios da camada de entrada correspondem aos neurônios sensoriais que possibilitam a entrada de sinais na rede (não fazem processamento). Os neurônios da camada de entrada correspondem aos neurônios sensoriais que possibilitam a entrada de sinais na rede (não fazem processamento). Os neurônios da camada de sa í da fazem processamento. Os neurônios da camada de sa í da fazem processamento. o

47 47 Rede feedforward de Múltiplas Camadas (Multilayer Perceptron - MLP) Essas redes tem uma ou mais camadas intermedi á rias ou escondidas. Essas redes tem uma ou mais camadas intermedi á rias ou escondidas.

48 48 Redes recorrentes Essas redes possuem pelo menos uma interconexão realimentando a saída de neurônios para outros neurônios da rede (conexão cíclica). Exemplo: Rede de Hopfield

49 49 Rede de Kohonen

50 50 Topologias das redes neurais

51 51 Rede de Elman & Rede de Jordan

52 52 Redes de Base Radial (RBF)

53 53 Treinamento da rede

54 54 Treinamento A propriedade mais importante das redes neurais é a habilidade de aprender de seu ambiente e com isso melhorar seu desempenho. Isso é feito através de um processo iterativo de ajustes aplicado a seus pesos, o treinamento. O aprendizado ocorre quando a rede neural atinge uma solução generalizada para uma classe de problemas. A propriedade mais importante das redes neurais é a habilidade de aprender de seu ambiente e com isso melhorar seu desempenho. Isso é feito através de um processo iterativo de ajustes aplicado a seus pesos, o treinamento. O aprendizado ocorre quando a rede neural atinge uma solução generalizada para uma classe de problemas. Denomina-se algoritmo de aprendizado a um conjunto de regras bem definidas para a solução de um problema de aprendizado. Existem muitos tipos de algoritmos de aprendizado específicos para determinados modelos de redes neurais. Estes algoritmos diferem entre si principalmente pelo modo como os pesos são modificados. Denomina-se algoritmo de aprendizado a um conjunto de regras bem definidas para a solução de um problema de aprendizado. Existem muitos tipos de algoritmos de aprendizado específicos para determinados modelos de redes neurais. Estes algoritmos diferem entre si principalmente pelo modo como os pesos são modificados.

55 55 Modelos de Aprendizagem Os principais modelos (paradigmas) de aprendizagem são: 1)supervisionado; 2) não-supervisionado; e 3) com reforço.


Carregar ppt "1 Prof. Dr. Helder Anibal Hermini. 2 3 Sumário Introdução Introdução Histórico Histórico Neurônio artificial Neurônio artificial Treinamento do neurônio."

Apresentações semelhantes


Anúncios Google