CMP 157 Processamento Paralelo e Distribuído Prof Claudio Geyer TL 2 Análise de Artigo Marcelo Panosso Edson Berreta.

Apresentação em tema: "CMP 157 Processamento Paralelo e Distribuído Prof Claudio Geyer TL 2 Análise de Artigo Marcelo Panosso Edson Berreta."— Transcrição da apresentação:

1 CMP 157 Processamento Paralelo e Distribuído Prof Claudio Geyer TL 2 Análise de Artigo Marcelo Panosso Edson Berreta

2 Computing Low Latency Batches with Unreliable Workers in Volunteer Computing Environments David P. Anderson · University of California, Berkeley, Berkeley, CA, USA Eric Martin Heien and Kenichi Hagihara Graduate School of Information Science and Technology, Osaka University, Suita, Osaka 565-0871, Japan J Grid Computing DOI 10.1007/s10723-009-9131-6 Received: 20 February 2009 / Accepted: 12 August 2009

3 Motivação e estado-da-arte VC - Computação voluntária, SETI@home (busca sinais inteligência ET) e Folding@home (proteínas x doenças)SETI@homeFolding@home Modelo atual VC:  Máquina Mestre distribui tarefas para trabalhadores  Pouca confiabilidade de comunicação e computação  Processamento de grande massa de dados, com duração de horas ou dias.  Escalonamento difícil das tarefas Proposta de novos algoritmos para computação de lotes de tarefas com deadlines em sistemas de VC, baseado em vários tipos de confiabilidade (comunicação e computação).

4 Objetivo Maximizar a quantidade de tarefas concluídas antes do prazo final do lote. Através da diminuição dos prazos de execução de tarefas para minutos ou horas “computação de baixa latência” Para otimizar/aumentar a eficiência de aplicações tais como:  molecular dynamics simulations with multiple trajectories,  Evolutionary based optimization algorithms with periodic swapping of solutions  and any other problem with medium grained tasks and periodic barrier synchronizations.  Exemplo Folding@home

5 Modelo de Computação

6 Classificação dos trabalhadores  Comunicação Confiável Semiconfiável  Computação Confiável Semiconfiável

7 Análise de Trabalhadores na VC Real Rastreamento utilizando BOINC Dados  Total de 112.268 máquinas trabalhador  01 abr 07 a 12 de fev de 2008,  16.293 anos no valor de disponibilidade de CPU  66% Windows XP, 12% Windows Vista, 9% Mac OS X, 7% UNIX / Linux, e os restantes 6% variante do Windows.  Avaliação cerca de 5% estão disponíveis mais de 80% da sua vida útil  metade dos trabalhadores estão disponíveis em menos de 40% da sua vida útil.

8 Modeling VC Worker Communication Examinar o efeito da indisponibilidade do trabalhador sobre os pedidos de tarefa e propor um modelo para solicitações de tarefas dos trabalhadores da VC Os resultados das simulações indicam que as solicitações de tarefas dos trabalhadores VC pode ser modelado como um processo de Poisson Esse resultado foi usado na criação dos algorítimos

9 Modeling VC Worker Computation Propõe um modelo de confiabilidade para cálculo com base na previsão de disponibilidade do trabalhador. Para avaliar a previsibilidade de trabalho, realizamos um milhão de simulações utilizando o subconjunto de dados descritos anteriormente procurando determinar com base no estado dos trabalhadores no passado recente, procurando prever a futura disponibilidade Nossa hipótese é que a disponibilidade/indisponibilidade de trabalhador pode ser previsto com base no comportamento periódico deste Descobrimos que períodos de tempo mais curtos resultam em melhor precisão para a previsão do estados

10 Algoritmos de Distribuição de Tarefas A fim de cumprir os prazos de lote, as tarefas devem ser distribuídas aos trabalhadores em tempo hábil. pedidos de tarefa Pull-style VC (dos trabalhadores para o mestre) descrevemos algoritmos para garantir uma alta probabilidade de pedidos de tarefa suficiente para completar todos os lotes antes de seus prazos. Algoritmos:  comunicação e computação confiável, e prova que preenche todos os prazos em determinadas condições.  comunicação semi-confiável com um probabilística vinculada em caso de falha.  semi-confiável em comunicação computação e também fornece um probabilística vinculada em caso de falha. A eficácia destes algoritmos é demonstrado

11 Algoritmo 1: Trabalhadores Homogêneos inteiramente confiáveis

12 Algoritmo 2: Trabalhadores Homogêneos com comunicação semi-confiável Se comportam como os trabalhadores VC ao solicitar tarefas, mas sempre vão completar uma tarefa a tempo, uma vez que é recebida demonstra como usar a contagem de trabalhador ativos para distribuir tarefas. Garante pedidos de tarefa suficiente antes do prazo de distribuição, mesmo com falta de fiabilidade de cada trabalhador e as flutuações diárias. Difere do algoritmo 1 pois não tem pré- atribuição de tarefas aos trabalhadores. Em vez disso, a meta de pedidos de tarefa N é implicitamente alcançadas pela alteração da taxa de religação (linha 12)

13 Algoritmo 3: Trabalhadores Heterogêneos com comunicação e computação semi-confiável Semelhante ao algoritmo 2, exceto que criar réplicas de algumas tarefas que têm uma baixa probabilidade de terminar antes do prazo. Para decidir quais as tarefas para replicar, mantemos uma estimativa do PriFail probabilidade de perder o prazo para cada tarefa Ti. Esta estimativa começa em 1 para todas as tarefas, então é atualizada (linha 9) com base na probabilidade estimada de sucesso (linha 6), as tarefas são atribuídas aos trabalhadores. Também, porque os trabalhadores são heterogêneos, L é calculado usando o tempo de conclusão média tarefa C'. Complexidade de tempo O(M(NlogN+P)).  No entanto o fator limitante é geralmente a largura de banda para o mestre em vez de tempo de CPU.

14 Experimentos Teste dos algorítimos 2 e 3 foram feitos com simulador EventDriven Trabalhadores não abortam uma tarefa se o prazo já passou. 37.472 trabalhadores selecionados aleatoriamente a partir dos dados de rastreamento definido anteriormente

15 Comparação do algoritmo Shifting reconnection com Poisson Fração de tarefas em um lote que foram distribuídos antes do prazo de distribuição, comparação de dois algoritmos. Da esquerda para a direita, os gráficos representam os lotes com 1024, 2048 e 4096 tarefas

16 Índices de satisfação de tarefas do lote Com base nesses resultados, o Algoritmo 3 apresenta uma boa maneira de execução de lotes de baixa latência em um ambiente de VC. Comparado com os métodos mais simples de falta de fiabilidade de comunicação de gestão, tais como o algoritmo Shifting reconnection, o método de Poisson descrito neste artigo fornece um método mais preciso de gerenciamento computacional da insegurança.

17 Trabalhos relacionados Referente a distribuição de tarefas em ambientes de rede e VC, os trabalhos existentes assumem um modelo de envio de tarefas e não sendo válidos para ambientes de pull-estilo VC. Outros descrevem métodos para maximizar o rendimento total do sistema ao invés de cumprir os prazos das tarefas específicas. Há também várias obras, analisando as características do VC e ambientes de rede desktop que são aplicáveis para a computação com alta taxa de transferência, mas não com foco em baixa latência estilo VC. Até onde os autores conhesem, este artigo é o primeiro a investigar métodos para calcular lotes de baixa latência em um ambiente de pull- estilo VC. Há um trabalho similar em relação a completar lotes de tarefas com prazos, embora esteja focado em ambientes de rede desktop ao invés de computação voluntária.

18 Conclusões do grupo de PDP Constam provas teóricas e também práticas Artigo é bem estruturado, de fácil leitura e entendimento

19 Notas a) Motivação e estado-da-arte........................5 b) Problemas a resolver e Modelo..................5 c) Protótipo, Resultados e comparação com trabalhos relacionados................................... 5 d) Redação e formatação.............................. 5