Análise de padrões de uso em grades computacionais oportunistas

Apresentação em tema: "Análise de padrões de uso em grades computacionais oportunistas"— Transcrição da apresentação:

1 Análise de padrões de uso em grades computacionais oportunistas
Danilo M. R. Conde

2 Visão geral Grades computacionais InteGrade LUPA
Aprendizado Computacional Análise de Agrupamentos Implementação Atual do LUPA

3 Grades computacionais
Origem Uso de vários computadores de baixo custo resultando em grande poder de processamento Grades oportunistas: uso de computadores não dedicados quando estão ociosos Exemplo grade oportunista:

4 InteGrade IME-USP, PUC-Rio, UFMA, UFG, UFMS
CNPq, CAPES, IBM, Microsoft Provê uma infra-estrutura que permite a implantação de grades computacionais oportunistas

5 InteGrade Linhas de pesquisa Tolerância a falhas
Identificação de padrões de uso Gerenciamento de recursos entre aglomerados Desenvolvimento de aplicações paralelas Agentes móveis Segurança Desenvolvimento de aplicações para a grade Gerenciamento de recursos entre aglomerados: falar dos aglomerados e que

6 InteGrade Orientado a objetos Comunicação CORBA entre módulos
C++, Java, LUA CORBA: independência de plataforma e linguagem

7 InteGrade – executando uma aplicação na grade
Explicar o que cada um dos módulos faz e o esquema dos tipos de nós. Falar que ASCT permite que sejam especificados alguns requisitos mínimos para a execução da aplicação. GRM mantém visão atualizada dos LRMs.

8 LUPA Local Usage Pattern Analyzer
Coleta dados sobre utilização dos recursos CPU, memória, swap, uso de mouse e teclado Privacidade Analisa dados de forma a estabelecer padrões de uso Prediz uso futuro baseado no padrão de utilização atual

9 LUPA O objetivo do LUPA é estabelecer padrões como estes a partir dos dados coletados. Quando inicia um nó compartilhado, o coletor de dados é iniciado. Explicar como é feita a predição. Voltar para o slide da execução para mostrar onde o LUPA entra na história.

10 Aprendizado Computacional
O processo de identificação dos padrões é um processo de aprendizado. Um sistema aprende quando altera sua estrutura, algoritmos e dados de forma a melhorar seu desempenho. “Qualquer mudança num sistema que melhore o seu desempenho na segunda vez que ele repetir a mesma tarefa, ou uma tarefa da mesma população” (Simon, 1983) Definição do Simon é interessante porque fala de repetição da tarefa, ou seja, aprendizado por experiência, e da mesma população, ou seja, analogia. Importância do aprendizado para a Inteligência artificial.

11 Aprendizado Computacional
Por que aprender ? Algumas aplicações dependem de exemplos Mineração de dados Agentes que atuam em ambientes que não são completamente conhecidos Exemplos: classificador de spams Mineração: aprender relações /agentes: ambiente pode ser desconhecido, ou pode alterar conforme o tempo, tem que aprendê-lo através de sensores (?)

12 Aprendizado Computacional
Supervisionado Presença de um tutor que fornece exemplos Não-supervisionado Aprende relações e propriedades entre um conjunto de objetos Por reforço Recompensa e punição Classificação baseada na forma de realimentação dos dados. Supervisionado: tentar achar uma função h que se aproxime de f dados alguns exemplos de f - classificador de spams - analogias Não-supervisionado: aprende relações e proriedades sobre os objetos, de forma a conseguir classificá-los ou separá-los em categorias. - reconhecimento de faces, lupa Reforço: robô perdido no mundo

13 Análise de Agrupamentos
Análise de conglomerados, clustering, cluster analysis É uma técnica de aprendizado não-supervisionado cujo objetivo é separar um conjunto de objetos em grupos de objetos semelhantes Falar que é uma técnica natural aos humanos. Citar exemplos de utilização. E que é o bagulho usado pelo LUPA.

14 Análise de Agrupamentos

15 Análise de Agrupamentos

16 Análise de Agrupamentos
Não se trata de um algoritmo, mas de uma técnica com várias implementações diferentes O processo de aplicar a análise de agrupamentos a um problema possui vários elementos

17 Análise de Agrupamentos - Elementos
Escolha dos dados a serem analisados Seleção de variáveis Homogeneização das variáveis Medidas de semelhança Escolha dos algoritmos e implementação Número de agrupamentos Interpretação dos resultados

18 Análise de Agrupamentos
Dois principais tipos de algoritmos: Hierárquicos De Partição

19 Análise de Agrupamentos - Algoritmos hierárquicos aglomerativos
Preparação: Construa n agrupamentos, um com cada elemento do conjunto de entrada, rotulando-os de 1 a n, e construa uma matriz de similaridade entre os agrupamentos. Algoritmo: Repita os seguintes passos até haver apenas um agrupamento: Encontre o par de agrupamentos p e q, p > q, com menor distância entre si, ou seja, os dois elementos mais semelhantes. Eles serão a entrada na matriz com o menor valor. Reduza o número de agrupamentos em um, transformando o agrupamento q na fusão de p e q. Atualize matriz de similaridade, removendo a linha e a coluna referentes a p e calculando as novas distâncias para q. Armazene que nesse passo os agrupamentos p e q foram fundidos e qual era a distância entre eles antes da operação. Esse algoritmo é a estrutura geral, varia basicamente no cálculo das distâncias

20 Análise de Agrupamentos - Algoritmos hierárquicos aglomerativos
B A C D E d1 d2 d3 d4 Este dendograma é importante pois ajuda o analista a decidir onde pára de fundir os agrupamentos.

21 Análise de Agrupamentos - Algoritmos hierárquicos aglomerativos
Formas de calcular as distâncias entre dois agrupamentos Centróide Médias das distâncias Single Linkage: d(A, B) Complete Linkage: d(A, B) Fazem o resultado ficar bem diferente.

22 Análise de Agrupamentos – Algoritmo k-Médias (k-means)
Número k de agrupamentos é pré-definido Algoritmo: Escolha k objetos e crie uma partição com cada um deles Insira cada objeto que ainda não está em nenhuma partição à partição da qual ele está menos distante. Calcule a distância de cada objeto a cada uma das partições. Se a partição mais próxima não for a que ele está, mova-o para ela. Repita o passo 3 até convergir, ou seja, não existir mais nenhum objeto que precise trocar de partição. Escolha dos k objetos iniciais: aleatória, k primeiros, técnicas mais sofisticadas Variação do item 3: cálculo de homogeneidade de cada agrupamento Distância agrupamento a objeto, diferente do hierárquico que é agrupamento x agrupamento. Mais popular: distância do objeto ao centro. Algoritmo mais rápido que o hierárquico.

23 Implementação Atual do LUPA
A única informação coletada é a utilização de CPU, a cada 5 minutos Usando intervalos de 48 horas Atualmente não utiliza análise de agrupamentos Infra-estrutura já está pronta, falta adicionar os algoritmos mais sofisticados Questões abertas: Comportamento do sistema quando não possui dados para identificar o padrão atual Quando devem ser recalculados os padrões Falta de dados para identificar o padrão: - quando ainda não tem dados suficientes para calcular os padrões - quando acabou de ligar o sistema e não possui informação para descobrir o padrão Falar do que será meu trabalho. - integrar código do germano - resolver essas questões