A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Aspectos da Implementação de Redes Neurais Jorge Dantas de Melo DCA-CT-UFRN Junho, 2004.

Apresentações semelhantes


Apresentação em tema: "Aspectos da Implementação de Redes Neurais Jorge Dantas de Melo DCA-CT-UFRN Junho, 2004."— Transcrição da apresentação:

1 Aspectos da Implementação de Redes Neurais Jorge Dantas de Melo DCA-CT-UFRN Junho, 2004

2 Introdução Redes Neurais Artificiais –Máquinas massivamente paralelas com inspiração no sistema nervoso biológico, onde a programação é substituída pela aprendizagem a partir de exemplos ou pela aprendizagem baseada em interação. –São sistemas de processamento de sinais ou de informações compostos por um grande número de processadores elementares, chamados neurônios artificiais, operando de forma paralela e distribuída de modo a resolver um determinado problema físico/computacional.

3 Introdução Neurônio artificial – modelo computacional –Função de ativação típica – função sigmóide

4 Introdução Topologias das redes neurais

5 Aprendizagem em Redes Neurais Contexto da aprendizagem –Em redes neurais artificiais, a aprendizagem está relacionada com a melhoria do desempenho do sistema. Isto pode ser alcançado pela minimização da medida do erro, pela auto-organização da informação através da medida da correlação entre os dados ou pela maximização de recompensas através de um processo de tentativa e erro. Algoritmo de aprendizagem –Refere-se ao procedimento através do qual as regras de aprendizagem são usadas para ajustar os pesos sinápticos de uma rede neural e, possivelmente, sua topologia (número de camadas, número de neurônios por camada ou o perfil das interconexões).

6 Aprendizagem em Redes Neurais Classificação dos algoritmos de aprendizagem –Supervisionado – baseado na correção do erro entre as saídas apresentadas pela rede e aquelas saídas desejadas. Ambiente Agente - Rede Professor Resposta desejada Resposta da rede erro

7 Aprendizagem em Redes Neurais Classificação dos algoritmos de aprendizagem –Aprendizagem por reforço – baseado na interação entre o agente e seu ambiente. Ambiente Agente - Rede Resposta (ação) da rede Percepção (estado) do ambiente Recompensa (punição)

8 Aprendizagem em Redes Neurais Classificação dos algoritmos de aprendizagem –Não supervisionado – baseado na análise das correlações entre as entradas de forma a agrupá-las, codificá-las ou categorizá-las. Entradas similares são classificadas como pertencentes à mesma categoria e devem ativar a mesma unidade de saída (neurônio), que corresponderá a um protótipo desta categoria. Baseada no princípio da competição entre os neurônios pela ativação, normalmente o vencedor-leva-tudo.

9 Perceptron de Múltiplas Camadas Arquitetura

10 Perceptron de Múltiplas Camadas Algoritmo de aprendizagem – backpropagation –Regra de aprendizagem baseada na correção do erro Minimização da função objetivo Para a minimização, normalmente utiliza-se o Método do Gradiente O algoritmo de aprendizagem é composto de duas fases: –Cálculo do erro (forward) –Correção dos pesos sinápticos (backward)

11 Perceptron de Múltiplas Camadas Algoritmo de aprendizagem – backpropagation –Normalmente o tempo de processamento é elevado –A arquitetura da rede deve ser fixada a priori

12 Perceptron de Múltiplas Camadas Algoritmo de aprendizagem – neuroevolution –Busca no espaço das arquiteturas –Conectividade variável

13 Hardware para Redes Neurais Implementações analógicas e digitais –Analógica – extremamente compactas, inerentemente paralelas e com baixo consumo de potência. Controvérsias existem com relação à precisão e capacidade de armazenamento dos pesos sinápticos. Amplificador Não linear

14 Hardware para Redes Neurais Implementações analógicas e digitais –Digital Máquinas dedicadas – neurocomputers – são basicamente sistemas multiprocessados compostos de processadores comercialmente disponíveis ou customizados. As principais arquiteturas empregadas são baseadas nos paradigmas SIMD (single-instruction multiple data) e systolic arrays Circuitos dedicados – são usados para resolver problemas com requisitos especiais de tempo e área. Podem ser do tipo offline learning, onde a aprendizagem é realizada em uma máquina convencional e on-chip learning, onde o algoritmo de aprendizagem e o sistema de aprendizagem são implementados no hardware. Sistema de aprendizagem – adapta continuamente seus ganhos sinápticos, em um ambiente dinâmico.

15 Hardware para Redes Neurais Classificação do hardware digital –Grau de paralelismo – granularidade grossa (2-16 proc.), média ( proc.), fina ( proc.) e massiva (+1024 proc.). –Circuito de interconexão – malha bi-dimensional, crossbar, broadcast bus, array linear, systolic ring –Representação numérica – ponto fixo, ponto flutuante, stochastic pulse stream coding –Partição da rede por processador – synapse, neurônio, sub-rede, rede

16 Hardware para Redes Neurais Outra classificação do hardware digital

17 Hardware para Redes Neurais Características desejadas em uma implementação –Treinamento + computação –Mapeamento do paralelismo inerente –Interface amigável –Velocidade de processamento, precisão, flexibilidade, custo, escalabilidade –Arquiteturas reconfiguráveis

18 Hardware para Redes Neurais Aplicações –OCR – talvez a maior aplicação comercial de redes neurais –Reconhecimento de voz – Sensory Inc – vocabulário limitado –Neuromorphic Hardware – buscam aproximar a estrutura e as funções de sistemas neurais biológicos, tais como: retinas de silício e analog cochlears (canal auditivo interno) –Física das altas energias –sensores para detecção de partículas subatômicas


Carregar ppt "Aspectos da Implementação de Redes Neurais Jorge Dantas de Melo DCA-CT-UFRN Junho, 2004."

Apresentações semelhantes


Anúncios Google