José Reinaldo Lemes Júnior Orientador: Prof. Wilian Soares Lacerda.

Slides:



Advertisements
Apresentações semelhantes
Redes de Computadores - RC
Advertisements

Desempenho da Computação Paralela em Ambientes Virtualizados
Agenda Introdução Justificativa Objetivo Detecção de Spam
Sistemas distribuídos Metas de Projeto Prof. Diovani Milhorim
Introdução aos Sistemas Distribuídos
REDES NEURAIS ARTIFICIAIS
Aspectos de Implementação do Algoritmo Backpropagation
RECONHECIMENTO DE CARACTERES MANUSCRITOS APLICANDO REDES NEURAIS
Araken de Medeiros Santos Anne Magály de Paula Canuto
ARQUITETURA DE COMPUTADORES II
Backpropagation Through Time
AULA 03 PERCEPTRON SIMPLES.
AULA04 PERCEPTRON MULTI-CAMADAS MULTI-LAYER PERCEPTRON (MLP)
Aprendizado de Máquina
Redes Neurais Artificiais
Java RMI Alcides Calsavara. Objetivos Permitir que um método de uma classe Java em execução em uma máquina virtual JVM chame um método de um objeto (instância.
Comunicação Distribuída
Prof. João Bosco M. Sobral
Curso Introdução às Redes Neuronais Parte 2 Prof. Dr. rer.nat. Aldo von Wangenheim.
Aspectos da Implementação de Redes Neurais
Centro de Informática - UFPE
Germano C. Vasconcelos Centro de Informática - UFPE
Inteligência Artificial
Inteligência Artificial
Análise Multivariada Aplicada as Ciências Agrárias
1 Comunicação Inter-Processos -> RMI -> RPC -> TCP -> UDP (Abstração de passagem de mensagem)
INF 1771 – Inteligência Artificial
INF 1771 – Inteligência Artificial
INF 1771 – Inteligência Artificial
Inteligência Artificial Redes Neurias
Previsão de consumos a curto prazo
Introdução à Programação Distribuída em Java
Inteligência Artificial
Uma Introdução às Redes Neurais
Sistemas Distribuídos
Tópicos em redes e sistemas distribuídos Carlos Oberdan Rolim Ciência da Computação Sistemas de Informação.
Redes Neurais Prof. Alex F. V. Machado.
Concorrência e Java RMI
Sistemas Distribuídos Carlos A. G. Ferraz DI/UFPE Aula 05.
Redes Neuronais/Neurais/ Conexionistas Introdução
Concorrência e thread Petrônio Júnior(pglj) Márcio Neves(mmn2)
RMI x C# Remote Emilena Specht – 1113/01/9 2004/01
Redes Neurais Artificiais
Java RMI João Gabriel (jggxm).
(OU) Hardware da Rede Implementacao da rede
Redes Neurais Artificiais. Introdução RNA são modelos matemáticos que se assemelham às estruturas neurais biológicas Capacidade computacional adquirida.
CONECTIVIDADE Prof.: Alessandro V. Soares Ferreira
RMI Objetos Distribuídos Luiz C. D´oleron SCJP
Prof. Anne Magály de Paula Canuto
Linguagem de Programação IV Carlos Oberdan Rolim Ciência da Computação Sistemas de Informação.
Universidade Federal de Lavras Departamento de Ciência da Computação
Combinação de Preditores utilizando o Coeficiente de Correlação aplicado aos Problemas de Regressão Resumo Este trabalho apresenta um algoritmo de Boosting.
A High Performance Java Middleware with a Real Application HUERT, Fabrice; CAROMEL, Denis; Bal, Henri E. Supercomputing 2004 Trabalho desenvolvido por:
Java – Remote Method Invocation (RMI)
Redes Neurais Treinamento de MLP. Treinamento Divisão das entradas Parâmetros de treinamento –350 iterações –Nº de nós da camada interna (26, 46, 92)
1 Programação Distribuída em Java Aula Na aula de hoje veremos: Introdução Conceito de Rede Protocolos Modelo ISO/OSI Modelo TCP/IP Modelo Cliente/Servidor.
Aprendizado da rede O aprendizado, na maioria das vezes, constitui no ajuste do conjunto de pesos de modo que a rede consiga executar uma tarefa específica.
Design and Performance Analysis of a Distributed Java Virtual Machine Felipe Damasio Rita Kalile Almeida Andrade Mihai Surdeanu, Member, IEEE; Dan Moldovan,
Luana Bezerra Batista Redes Neurais Luana Bezerra Batista
Redes Neurais Artificiais
Inteligência Artificial
Implementação Distribuída Escalonamento de Tempo-Real Prof. Dr. Norian Marranghello Grupo 8 Daniela Gonçalves Strozi – Sayuri Watanabe
Sistemas Operacionais Distribuídos
Sistemas Distribuídos Nadilma Nunes Aula Inicial – Apresentação da disciplina.
REDES NEURAIS E SUAS APLICAÇÕES ALUNO: Paulo Celso da Silva e Souza Junior.
Detecção de tráfego Skype na Web através de Redes Neurais Artigo Original: Freire, P. E., Ziviani, A., and Salles, R. M. (2008). Detecting skype flows.
Objetivo Este projeto destina-se ao estudo e à elaboração de modelos neurais artificiais, com o auxílio do programa Matlab. O objetivo principal deste.
SOCKET - É um canal de comunicação entre processos que estabelece uma conexão entre eles na forma de cliente-servidor. Por meio de sockets, os computadores.
Ciência da Computação Aprendizado de Máquina (Machine Learning) Aula 12 Aprendizado não Supervisionado Mapas auto-organizáveis Max Pereira.
Transcrição da apresentação:

José Reinaldo Lemes Júnior Orientador: Prof. Wilian Soares Lacerda

 Introdução  Estrutura do Trabalho  Redes Neurais  Paralelismo em Redes Neurais  Java RMI  Implementação  Resultados  Conclusão

 Motivação ◦ Ampla aplicação das Redes Neurais na solução de problemas ◦ Tempo de treinamento pode ser muito longo  Objetivo ◦ Estudo do paralelismo em Redes Neurais ◦ Implementação de uma aplicação distribuída capaz de realizar o treinamento da rede neural em paralelo ◦ Diminuição do tempo de treinamento

 Revisão Bibliográfica ◦ Redes Neurais ◦ Paralelismo em Redes Neurais  Implementação do Sistema  Resultados

 Coleção de neurônios interconectados que aprendem de forma incremental seu ambiente (dados)  Proporcionar prognósticos confiáveis para novas situações  Neurônios formam redes massiçamente paralelas

 Aproximação de Funções  Classificação de Padrões  Aglomeração (Clustering)  Previsão (Forecasting)

RNA-Perceptron

Multilayer Perceptron

 Para cada par de treinamento ◦ Para cada camada da rede  Calcular as saídas dos neurônios  Calcular os termos de erro ◦ Calcular as variações de pesos  Atualizar os pesos da rede

 Paralelismo de Seção de Treinamento  Paralelismo Pipelining  Paralelismo de Nós ◦ Paralelismo de Neurônios ◦ Paralelismo de Pesos  Paralelismo de Exemplos

 O treinamento pode consumir várias tentativas devido a propensão de ficar preso em mínimos locais  Distribuindo uma cópia do backpropagation para cada processador e inicializando cada instância da rede em um diferente estado

Pipelining Parallelism

Neuron Parallelism

Weight Parallelism

Training Set Parallelism

 Java RMI – Remote Method Invocation ◦ Facilidade de implementação ◦ Objetos residindo em uma JVM executam métodos de objetos residindo em outra JVM em diferentes máquinas localizadas em uma rede  Java na Computação Paralela ◦ Serialização de objetos ◦ Interconexões através do protocolo TCP/IP ◦ Frameworks alternativas baseadas no Java RMI (KaRMI, RMIX, Manta, Ibis) JVM = Java Virtual Machine

 Sistema Cliente-Servidor  Cliente ◦ Recebe as matrizes de pesos da rede do Servidor ◦ Calcula as variações de pesos para um subconjunto de treinamento ◦ Envia os pesos para o Servidor  Servidor ◦ Soma as variações de pesos ◦ Atualiza os pesos da rede

Controle dos clientes através de Threads Sincronização e broadcast de mensagens

Interface do Servidor

Interface do Cliente

 Treinamento da função seno(x)  5000 valores de zero à 2Pi  Rede Neural  Critério de Parada 5000 épocas  Teste não paralelo  Teste paralelo com 1 a 6 clientes

Tempo de treinamento pelo número de Clientes

Generalização obtida pelo treinamento

 Considerações Finais ◦ Tempo total = Tempo Cliente +Tempo Servidor +Comunicações ◦ Tempo Cliente é proporcional ao tamanho do subconjunto de treinamento ◦ Tempo Servidor é proporcional ao número de Clientes ◦ A paralelização do treinamento reduz o tempo gasto em função do número de clientes

 Propostas de Continuidade - Melhorias no desempenho do Sistema Implementado ◦ Aplicação de heurísticas de treinamento em redes neurais, visando acelerar o aprendizado (ex: taxa de aprendizagem adaptativa) ◦ Utilização de alguma variação do JavaRMI, visando reduzir o tempo gasto em comunicações