Aspectos da Implementação de Redes Neurais

Apresentação em tema: "Aspectos da Implementação de Redes Neurais"— Transcrição da apresentação:

1 Aspectos da Implementação de Redes Neurais
Jorge Dantas de Melo DCA-CT-UFRN Junho, 2004

2 Introdução Redes Neurais Artificiais
Máquinas massivamente paralelas com inspiração no sistema nervoso biológico, onde a programação é substituída pela aprendizagem a partir de exemplos ou pela aprendizagem baseada em interação. São sistemas de processamento de sinais ou de informações compostos por um grande número de processadores elementares, chamados neurônios artificiais, operando de forma paralela e distribuída de modo a resolver um determinado problema físico/computacional.

3 Introdução Neurônio artificial – modelo computacional
Função de ativação típica – função sigmóide

4 Introdução Topologias das redes neurais

5 Aprendizagem em Redes Neurais
Contexto da aprendizagem Em redes neurais artificiais, a aprendizagem está relacionada com a melhoria do desempenho do sistema. Isto pode ser alcançado pela minimização da medida do erro, pela auto-organização da informação através da medida da correlação entre os dados ou pela maximização de recompensas através de um processo de tentativa e erro. Algoritmo de aprendizagem Refere-se ao procedimento através do qual as regras de aprendizagem são usadas para ajustar os pesos sinápticos de uma rede neural e, possivelmente, sua topologia (número de camadas, número de neurônios por camada ou o perfil das interconexões).

6 Aprendizagem em Redes Neurais
Classificação dos algoritmos de aprendizagem Supervisionado – baseado na correção do erro entre as saídas apresentadas pela rede e aquelas saídas desejadas. Ambiente Professor Resposta desejada Agente - Rede Resposta da rede erro

7 Aprendizagem em Redes Neurais
Classificação dos algoritmos de aprendizagem Aprendizagem por reforço – baseado na interação entre o agente e seu ambiente. Ambiente Percepção (estado) do ambiente Recompensa (punição) Resposta (ação) da rede Agente - Rede

8 Aprendizagem em Redes Neurais
Classificação dos algoritmos de aprendizagem Não supervisionado – baseado na análise das correlações entre as entradas de forma a agrupá-las, codificá-las ou categorizá-las. Entradas similares são classificadas como pertencentes à mesma categoria e devem ativar a mesma unidade de saída (neurônio), que corresponderá a um protótipo desta categoria. Baseada no princípio da competição entre os neurônios pela ativação, normalmente o vencedor-leva-tudo.

9 Perceptron de Múltiplas Camadas
Arquitetura

10 Perceptron de Múltiplas Camadas
Algoritmo de aprendizagem – backpropagation Regra de aprendizagem baseada na correção do erro Minimização da função objetivo Para a minimização, normalmente utiliza-se o Método do Gradiente O algoritmo de aprendizagem é composto de duas fases: Cálculo do erro (forward) Correção dos pesos sinápticos (backward)

11 Perceptron de Múltiplas Camadas
Algoritmo de aprendizagem – backpropagation Normalmente o tempo de processamento é elevado A arquitetura da rede deve ser fixada a priori

12 Perceptron de Múltiplas Camadas
Algoritmo de aprendizagem – neuroevolution Busca no espaço das arquiteturas Conectividade variável

13 Hardware para Redes Neurais
Implementações analógicas e digitais Analógica – extremamente compactas, inerentemente paralelas e com baixo consumo de potência. Controvérsias existem com relação à precisão e capacidade de armazenamento dos pesos sinápticos. Amplificador Não linear

14 Hardware para Redes Neurais
Implementações analógicas e digitais Digital Máquinas dedicadas – neurocomputers – são basicamente sistemas multiprocessados compostos de processadores comercialmente disponíveis ou customizados. As principais arquiteturas empregadas são baseadas nos paradigmas SIMD (single-instruction multiple data) e systolic arrays Circuitos dedicados – são usados para resolver problemas com requisitos especiais de tempo e área. Podem ser do tipo offline learning, onde a aprendizagem é realizada em uma máquina convencional e on-chip learning, onde o algoritmo de aprendizagem e o sistema de aprendizagem são implementados no hardware. Sistema de aprendizagem – adapta continuamente seus ganhos sinápticos, em um ambiente dinâmico.

15 Hardware para Redes Neurais
Classificação do hardware digital Grau de paralelismo – granularidade grossa (2-16 proc.), média (8-128 proc.), fina ( proc.) e massiva (+1024 proc.). Circuito de interconexão – malha bi-dimensional, crossbar, broadcast bus, array linear, systolic ring Representação numérica – ponto fixo, ponto flutuante, stochastic pulse stream coding Partição da rede por processador – synapse, neurônio, sub-rede, rede

16 Hardware para Redes Neurais
Outra classificação do hardware digital

17 Hardware para Redes Neurais
Características desejadas em uma implementação Treinamento + computação Mapeamento do paralelismo inerente Interface amigável Velocidade de processamento, precisão, flexibilidade, custo, escalabilidade Arquiteturas reconfiguráveis

18 Hardware para Redes Neurais
Aplicações OCR – talvez a maior aplicação comercial de redes neurais Reconhecimento de voz – Sensory Inc – vocabulário limitado Neuromorphic Hardware – buscam aproximar a estrutura e as funções de sistemas neurais biológicos, tais como: retinas de silício e analog cochlears (canal auditivo interno) Física das altas energias –sensores para detecção de partículas subatômicas