DETECÇÃO DE COMUNIDADES TAIA

Apresentação em tema: "DETECÇÃO DE COMUNIDADES TAIA"— Transcrição da apresentação:

1 DETECÇÃO DE COMUNIDADES TAIA
Hugo de Lima Santos (hls3)

2 Roteiro Motivação Conceitos Algoritmos Caso de uso no mundo real

3 MOTIVAÇÃO Redes complexas modelam as redes existentes no mundo real
Obter características da rede, sem invadir a privacidade Em redes sociais, as comunidades representam grupo de pessoas reais. Logo...

4 MOTIVAÇÃO Descobrindo os nós mais importantes da rede, pode-se analisar mais facilmente o tráfego na rede. Nós que ligam comunidades diferentes têm grande importância no mundo real (redes de contágio)

5 Assortative Mixing K-core Conceitos
Tendência que nós tem de se relacionar com nós semelhantes a eles. K-core Maior sub grafo de uma rede, onde todos nós possuem ao menos k ligações

6 Conceitos Caminho Geodésico (próxima página.)

7 Conceitos

8 Medida de Centralidade
Degree Geral Grafos direcionado Indregree Outdegree

9 Medidas de Centralidade
Betweeness Importância do vértice, no controle do fluxo de informação Fração dos Caminhos Geosédicos, que passam pelo vértice

10 Medidas de Centralidade
Closeness Grau de proximidade de um vértice, em relação aos outros vértices do grafo É calculado através da distância média do vértice em questão, até os outros

11 Medida de Densidade Coeficiente de Clustering
Local: Mede o quão perto um vértice está de se tornar um clique Probabilidade de dois amigos meus se conhecerem é maior do que duas pessoas aleatórias

12 Comunidades... Sub-redes de uma rede maior
Alto grau de conexões entre vértices de uma mesma comunidade Baixo grau de conexões entre vértices de comunidades diferentes

13 Comunidades...

14 Detecção de Comunidades

15 DETECÇÃO DE COMUNIDADES
Clustering Particional Clustering Hierarquical

16 DETECÇÃO DE COMUNIDADES
Clustering Particional K-Means Muito simples de ser implementado Necessita de capacidade computacional moderada

17 DETECÇÃO DE COMUNIDADES
K-Means Algoritmo: 1 – São definidas K partições 2 – É calculado o centróide de cada uma delas 3 – Reorganizam-se os nós, de acordo com os centróides mais próximos 4 – Volta para 2, até que a rede permaneça estável

18 DETECÇÃO DE COMUNIDADES
K-Means Problemas: Depende do K arbitrado Depende da configuração inicial das comunidades geradas

19 DETECÇÃO DE COMUNIDADES
K-Means Algumas variações foram desenvolvidas Ex: Definir K como raiz quadrada da metade de N

20 DETECÇÃO DE COMUNIDADES
Clustering Hierárquico Girvan-Newman

21 DETECÇÃO DE COMUNIDADES
Girvan-Newman Divisivo A cada passo, uma aresta é excluída A escolha da aresta é feita através do Edge Betweenness

22 DETECÇÃO DE COMUNIDADES
Girvan-Newman Para calcular o edge betweennes: Shortest-path Random-walk Current-flow

23 DETECÇÃO DE COMUNIDADES
Girvan-Newman A cada retirada de uma arestas, será gerado uma nova configuração da rede. Após atingir a condição de parada, teremos as nossas comunidades

24 Algoritmo Girvan-Newman
Calcular Edge Betweennes para cada aresta da rede Remover aresta com maior Edge Betweennes Recalcular Edge Betweennes para arestas restantes (!) Repete até que a condição de parada seja atingida

25 Dendrograma Girvan-Newman
A cada iteração do algoritmo é gerado um dendrograma Árvore binária que sinaliza cada remoção que aconteceu na rede

26 Dendrograma

27 Questões: Girvan-Newman
Como decidir qual a hora de parar de tirar arestas da rede? Quando as comunidades encontradas são boas o suficiente?

28 Solução: Girvan-Newman Modularidade!
Medida da qualidade da rede gerada, em relação as comunidades existentes

29 Modularidade: Girvan-Newman
Deve ser calculado a cada evolução do dendrograma No final do processo, escolhemos o maior Q Com maior Q, temos a melhor divisão da rede em comunidades

30 Modularidade: Girvan-Newman Dada rede com K comunidades
Define uma matriz K x K E(i,j) corresponde a fração de arestas que ligam elementos de (i) aos de (k)

31 Calculando o Traço da matriz

32 Traço da Matriz Girvan-Newman
Corresponde a fração das arestas da rede que ligam nós de uma mesma comunidade. Boa divisão das comunidades acarreta em alto valor de Tr. Porém usar SÓ essa medição é pobre. Rede com apenas 1 comunidade tem Tr = 1

33 Girvan-Newman Logo... Definição de mais uma medida:

34 Girvan-Newman Corresponde a somatória de todas arestas que possuem pelo menos um vértice da comunidade (i) Com esse novo valor, podemos recalcular a modularidade...

35 Calculando a modularidade:
Girvan-Newman Calculando a modularidade: |e²| = Valor calculado baseado na geração aleatória de uma matriz correspondente a nossa

36 Girvan-Newman Exemplo prático...

37 Girvan-Newman

38 Dois anos de observação...
Caso de Estudo Real Academia Zacharty’s Década de 1970 Dois anos de observação...

39 Caso de Estudo Real Durante o experimento, a academia foi dividida em duas Uma formada pelo antigo dono (#1) Outra formada pelo antigo professor (#33) Os alunos se dividiram de acordo com a proximidade com o novo chefe

40 Caso de Estudo Real

41 Caso de Estudo Real Aplicaram-se três configurações diferentes do algoritmo de Girvan-Newman Shortest path Ramdom walk Shortest path – sem recálculo

42 Caso de Estudo Real - Resultados

43 CONCLUSÃO Algoritmos de clustering particional são mais rápidos, porém pouco precisos. K-means Algoritmos de clustering hierárquico são mais eficientes e precisos Girvan-Newman Recalculo essencial para bons resultados Usando shortest path, conseguimos resultados mais confiáveis para redes conhecidas (verificáveis)

44 CONCLUSÃO Para redes não conhecidas, podemos usar modularidade para gerar comunidades

45 Dúvidas ?

46 REFERÊNCIAS Newman M, Girvan M. Finding and evaluating community structure in networks. August 2003 M. E. J. Newman, Phys. Rev. E 64, U. Brandes, J. Math. Sociol. 25, _presentation/2008/Community%20Detect ion%20in%20Social%20Networks.pdf