Detecção de Comunidades

Apresentação em tema: "Detecção de Comunidades"— Transcrição da apresentação:

1 Detecção de Comunidades
Henrique Menezes Pedro Lopes

2 Roteiro Introdução Detecção de Comunidades Método Proposto
Redes Geradas por Computador Redes Reais Estrutura de Comunidade Conhecida Estrutura de Comunidade Não Conhecida Demonstração Conclusão

3 Introdução Muitos sistemas tem a forma de rede
Ex.: Redes sociais, redes de conhecimento, web, cadeias alimentares, redes metabólicas, etc. Pesquisadores têm focado em algumas propriedades que essas redes compartilham Efeito mundo pequeno Desvio a direita das distribuições de graus Clustering ou transitividade da rede

4 Introdução Outra propriedade comum a muitas redes Comunidade
Estrutura da comunidade Comunidade Subconjuntos de vértices em que conexões vértice- vértice são densas, mas entre os subconjuntos as conexões são menos densas. Nós da rede estão unidos em grupos coeso, entre os quais existem apenas ligações mais frouxas. Estrutura de comunidade - (clustering*)

5 Introdução Método para detecção de comunidades
Índices de centralidade para encontrar limites da comunidade

6 Introdução Aplicações práticas:
Redes sociais: pode indicar grupos reais Redes de citação: artigos de um mesmo topico Redes metabólicas: ciclos e grupos funcionais Redes na Web: páginas sobre temas relacionados Ser capaz de identificar estas comunidades poderiam nos ajudar a entender e explorar as redes de forma mais eficaz

7 Detecção de Comunidades
Método Tradicional Clustering hierárquico Baseado em pesos entre dois vértices Número de caminhos independentes de nós (node- independent) ou arestas (edge-indepentent) Número total de caminhos entre os vértices Agrupa os vértices, adicionando arestas de acordo com os pesos O grafo resultante pode ser representado por estrutura de árvore Primeiro calcula um peso Wi,j para cada par i,j de vértices na rede. Em seguinda, toma-se os n vértices na rede, sem arestas entre eles, e acrescenta as arestas entre pares, um por um, por ordem de seus pesos, começando com o par com o peso mais forte e progredindo para o mais fraco. Como as arestas são adicionadas, o grafico resultante mostra um conjunto aninhado de componentes e podem ser representados por meio de uma árvore

8 Detecção de Comunidades
Árvore de clustering hierárquico (dendograma)

9 Detecção de Comunidade
Método Tradicional Possui resultados razoáveis Falha Vértices periféricos ficam fora da comunidade a qual deveriam pertencer

10 Detecção de Comunidade
Caso de falha

11 Método Proposto Intermediação de vértices
B G F E Intermediação de vértices Medida de centralidade de um vértice Mede a frequência com que o nó aparece no menor caminho entre dois nós quaisquer Pontecial para conectar comunidades diferentes Eliminar nós de alta intermediação pode ter o efeito de desconectar a rede

12 Método Proposto Alta Intermediação (pontos críticos para disseminação)

13 Método Proposto Algoritmo
Calcula-se o grau de intermediação de cada aresta da rede Remove-se a aresta com maior grau de intermediação Calcula-se o grau de intermediação de todas as arestas afetadas pela remoção Volta para o passo 2 até que não reste nenhuma aresta

14 Redes geradas por computador
Parâmetros 128 vértices 4 comunidades 32 vértices por comunidade Grau médio z igual a 16 Procedimento Arestas inseridas aleatoriamente para cada par de vértices 𝑃 𝑖𝑛 - probabilidade de ligação com um vértice da mesma comunidade (intracommunity) 𝑃 𝑜𝑢𝑡 - probabilidade de ligação com um vértice de outra comunidade (intercommunity)

15 Redes geradas por computador

16 Redes Reais Estrutura de Comunidade Conhecida
Zachary’s Karate Club Rede de amizade Clube que foi divido após disputa entre o administrador e instrutor Foi ignorado o grau de afinidade Administrador – 1 Instrutor - 34

17 Redes Reais Estrutura de Comunidade Conhecida

18 Redes Reais Estrutura de Comunidade Conhecida
Dendograma gerado a partir do Proposto

19 Redes Reais Estrutura de Comunidade Conhecida
Dendograma gerado a partir do Método Tradicional

20 Redes Reais Estrutura de Comunidade Conhecida
Observações O algoritmo conseguiu detectar as comunidades formadas Previsão da evolução da rede Falha: O único caso de falha foi o nó 3

21 Redes Reais Estrutura de Comunidade Conhecida
College Football Vértices: times de futebol americano da divisão I da liga do ano de 2000 Arestas: jogos realizados numa temporada Estrutura de comunidade Conferências formadas por 8 a 12 times Obs: Cada time tem mais jogos com time que pertence a mesma conferência em média Falar da distribuição de jogos entre conferências – não uniforme.

22 Redes Reais Estrutura de Comunidade Conhecida

23 Redes Reais Estrutura de Comunidade Conhecida

24 Redes Reais Estrutura de Comunidade Conhecida
Observações Conferências identificadas com alta precisão Falha: A conferência Sunbelt foi separa em duas comunidades Motivo: A estrutuda da rede não corresponde a estrutura da comunidade Sunbelt realizou mais jogos com a conferência Western Athletic do que a própria conferência

25 Redes Reais Estrutura de Comunidade Não Conhecida
Rede de Colaboração Vertices: 271 cientistas do Institute de Pesquisa de Santa Fé nos anos de 1999 e 2000 Arestas: co-autoria em artigos nos anos de 1999 e 2000 Grau médio = 5

26 Redes Reais Estrutura de Comunidade Não Conhecida
Rede de Colaboração 118 vértices Maior Componente

27 Redes Reais Estrutura de Comunidade Não Conhecida
Rede de Colaboração Observações Identificação de áreas de pesquisa Divisão de subáreas Interesse de pesquisa de membro dominante Interessante: agrupamento por metodologia Divisão primária correspondente às linhas de pesquis: formato dos vértices Divisão entre estudo de tráfego e economia subáreas: losangos. Estrutura Bastante coesa: círculos pretos. Interesse de um pesquisador influente dita comunidades Metodologia: agrupamento de Economia e Trafego pelo fato de serem Multiagente: interdisciplicariedade.

28 Redes Reais Estrutura de Comunidade Não Conhecida
Teia Alimentar Vértices: 33 taxa mais proeminetes de Chesapeak Bay Espécies ou Gênero Grupos de espécies relacionadas Arestas: relação trófica entre vértices ligados Direção ignorada

29 Redes Reais Estrutura de Comunidade Não Conhecida
Teia Alimentar

30 Redes Reais Estrutura de Comunidade Não Conhecida
Teia Alimentar Observações Pelágicos vs Bênticos Ecossistemas razoavelmente independentes Bênticos relacionando com Pelágicos Nesse caso a divisão pode não ser apropriada Em cada grupo vários níveis tróficos observados Problema: teias alimentares são densas ou não possuem estruturas de comunidade Separação por profundidade: habitat Interessante, diferentemente do convencional, a clusterização é por habitat em vez de nível trófico. Densa: arestas quadrado vértices

31 Demonstração TouchGraph Aqui

32 Conclusão Verificamos os métodos de detecção de comunidade
Clássico: núcleos fortementes conectados Proposto: intermediação de arestas Vimos que esses métodos são úteis na análise de redes e que o método proposto é superior ao clássico Várias melhorias podem ser realizadas ainda para método proposto Diversas aplicações podem ser realizadas a partir da detecção de comunidades

33 Referência [1] M. Girvan and M. E. J. Newman Community structure in social and biological networks PNAS (12) ; doi: /pnas [2]

34 Dúvidas ?