Redes Neurais Artificiais (RNA): Introdução Disciplina: Sistemas Inteligentes II CONTEÚDO (1) Introdução (2) Histórico (3) Redes e Neurônios Biológicos (4) Neurônios Artificiais (5) Funções de Ativação (6) Principais Arquiteturas

Ressurgiu no final da década de 80 Lembram a estrutura de um cérebro. (1) Introdução Ressurgiu no final da década de 80 Conexionismo: Computação não algorítmica Lembram a estrutura de um cérebro. Sistemas paralelos distribuídos, compostos por unidades de processamento (nodos), que calculam funções matemáticas! Unidades compostas em camadas e interligadas por conexões -> Inspirado no cérebro humano

Solução bastante atrativa (1) Introdução Solução bastante atrativa Desempenho superior às soluções convencionais. Fase de Aprendizagem Exemplos são apresentados; Extrai-se características necessárias; Características utilizadas para gerar respostas aos problemas.

Capacidade de aprender (1) Introdução Capacidade de aprender Através de exemplos, generalizando a informação aprendida. É o maior atrativo das RNAs

Primeiro modelo artificial – Warren McCulloch e Walter Pitts em 1943 (2) Histórico Primeiro modelo artificial – Warren McCulloch e Walter Pitts em 1943 McCulloch - Psiquiatra e Pitts – Matemático Modelo de Nodos ou nodos MCP Discussão em cima dos métodos de aprendizagem. Modelo MCP – Descrição do modelo artificial.

Primeiro trabalho ligado ao aprendizado – Donald Hebb – 1949 (2) Histórico Primeiro trabalho ligado ao aprendizado – Donald Hebb – 1949 Variação dos pesos de entrada dos nodos Utilizado hoje em vários algoritmos de aprendizagem 1958 – Frank Rosenblatt demonstrou que o perceptron poderiam classificar certos tipos de padrões.

Perceptron de 3 camadas: (2) Histórico Perceptron de 3 camadas: 1 – Valores de Entrada (conexões fixas); 2 – Recebe os valores de entrada, cuja transmissão é ajustável; 3 – Envia as saídas como resposta. Faz classificação dividindo o espaço de valores em regiões distintas. Valores devem ser linearmente separáveis

Os conexionistas buscam até hoje: (2) Histórico Os conexionistas buscam até hoje: Projetar RNAs que fossem capazes de fazer descobertas interessantes sem a necessidade de regras! Em 1969 – Minsky e Papert descobriram que o perceptron não resolvia “problemas difíceis de aprender”(hard learning problems) – problemas não linearmente separáveis!

Anos adormecidos (anos 70), apenas alguns trabalhos na área. (2) Histórico Problema de tempo e espaço da IA simbólica, logo afetaria os conexionistas. Anos adormecidos (anos 70), apenas alguns trabalhos na área. 1982 – artigo de John Hopfield estimula a retomadas das pesquisas na área. Redes neurais de múltiplas camadas poderiam resolver os “problemas difíceis de aprender”.

(3) Motivação: Redes Biológicas Cérebro humano, comunicação de neurônios, processamento de informações e comportamento conjunto são a base para as RNAs. As RNAs tentam reproduzir as funções das redes biológicas. Mas, pelo menos fisicamente, se diferem bastante.

(3) Motivação: Redes Biológicas Ambos são baseados em unidades de computação paralela e distribuídas, que se comunicam via conexões sinápticas nervosas. As RNAs podem reproduzir com fidelidade funções só encontradas no seres humanos.

(3) Motivação: Neurônios Biológicos Neurônios são divididos em 3 seções: Corpo, dendritos e o axônio.

(3) Motivação: Neurônios Biológicos O efeito das sinapses é variável, dando ao neurônio uma capacidade de adaptação. Sinais recebidos são passados para o corpo, onde são comparados com os outros sinais. Se o percentual é suficientemente alto, a célula dispara um impulso nervoso!! Entradas: inibidoras ou excitatórias!

(4) Neurônios Artificiais: modelo MCP Simplificação do que se sabia sobre os neurônios biológicos. Modelo de n terminais de entrada x1, x2,...,xn (dendritos) e apenas uma saída y (axônio). Os terminais de entrada possuem pesos associados: w1, w2,...,wn (que podem ser positivos ou negativos – excitatórias ou inibitórias)

(4) Neurônios Artificiais: modelo MCP O efeito de uma entrada é dado por: xiwi Os pesos determinam “em que grau” o neurônio deve considerar sinais de disparo que ocorrem naquela conexão. Um neurônio biológico dispara quando a soma dos impulsos que ele recebe ultrapassa o seu limiar de excitação (threshold)

(4) Neurônios Artificiais: modelo MCP É feito a soma de cada xiwi (soma ponderada) e decide-se se o neurônio deve ou não disparar (saída 1 ou 0). No MCP, a ativação é dada pela “função de ativação”, que ativa ou não a saída. ∑ xiwi ≥ θ i = 1 n Função de Limiar:

(4) Neurônios Artificiais: modelo MCP É considerado que os nodos de cada camada disparam sincronamente, todos são avaliados ao mesmo tempo. Limitações do MCP: Com apenas 1 camada só resolvem problemas linearmente separáveis; Pesos negativos são mais adequados para representar disparos inibidores; Proposto com pesos fixos, não ajustáveis.

{ (5) Funções de Ativação Função DEGRAU: Produz saídas + para os valores de x maiores que zero e saída - para valores de x menores que zero. + se x > + - se x ≤ - { y =

Outros modelos propostos que produzem uma saída qualquer (≠ 1 ou ≠ 0) (5) Funções de Ativação Outros modelos propostos que produzem uma saída qualquer (≠ 1 ou ≠ 0) Função linear: y = αx α – número real y – saída x - entrada

{ (5) Funções de Ativação Função linear restringida, produzindo valores constantes em uma faixa [-,+], sendo chamada de função RAMPA; + se x ≥ + x se |x| < + - se x ≤ - { y =

(5) Funções de Ativação Função SIGMOIDAL (S-shape): Utilizadas na construção de diversos modelos nas mais diversas áreas. Função Sigmoidal Logística: y = 1 + є-x/T 1 T - representa a suavidade da curva

(6) Principais Arquiteturas das RNAs Redes com uma única camada de NODOS MCP, só resolvem problemas linearmente separáveis. Com mais camadas, resolvem outros tipos de problemas. Parâmetros da arquitetura: número de camadas da rede; número de nodos nas camadas; tipo de conexão entre os nodos; topologia da rede.

(6) Principais Arquiteturas das RNAs Número de camadas: Camada única: Múltiplas camadas: X1 x2 x3 x1 x2 x3 x4 x5 x6

(6) Principais Arquiteturas das RNAs Tipos de conexões: feedforward ou acíclica: saída de um nodo não pode ser usada como entrada de outro em camada inferior ou na mesma camada. x1 x2 x3 x4 x5 x6 x1 x2 x3 x4 x5

(6) Principais Arquiteturas das RNAs Tipos de conexões: feedback ou cíclica: a saída de algum neurônio pode ser usada como entrada de outro em camada inferior ou na mesma camada: x1 x2 x3 x4 Se todas as ligações são cíclicas, a rede é denominada auto-associativa. Úteis para recuperação de padrões de entrada.

(6) Principais Arquiteturas das RNAs Conectividade: Rede fracamente (ou parcialmente) conectada: Rede completamente conectada: x1 x2 x3 x4 x5 x1 x2 x3 x4 X1 x2 x3