Caracterização, classificação e análise de redes complexas

Apresentação em tema: "Caracterização, classificação e análise de redes complexas"— Transcrição da apresentação:

1 Caracterização, classificação e análise de redes complexas
Instituto de Física de São Carlos 20 de agosto de 2007 Caracterização, classificação e análise de redes complexas Francisco Aparecido Rodrigues Orientador: Luciano da Fontoura Costa

2 S U M Á R I O

3 S U M Á R I O

4 S U M Á R I O

5 S U M Á R I O

6

7 I N T R O D U Ç Ã O início... Sete Pontes de Konigsberg - Leonhard Euler (1736) É possível atravessar todas as pontes passando-se apenas uma vez por cada uma delas? Leonhard Euler

8 Redes Complexas X Teoria dos Grafos
N T R O D U Ç Ã Redes Complexas X Teoria dos Grafos A teoria das redes complexas está relacionada com a modelagem de redes reais. As redes não são estáticas, mas evoluem com o tempo. As redes podem ser consideradas como objetos topológicos para simulações.

9 Distribuição de Poisson
Ç Ã Grafos aleatórios de Erdös-Rényi (1960) N vértices são conectados aleatoriamente de acordo com uma probabilidade fixa p Paul Erdös ( ) Distribuição de Poisson

10 Modelo de Watts-Strogatz (1998)
I N T R O D U Ç Ã Modelo de Watts-Strogatz (1998) Clustering: Indica a freqüência da ocorrência de ciclos de ordem 3. Watts and Strogatz, Nature 393, 440 (1998)

11 Teia Mundial (1999) I N T R O D U Ç Ã P(k) ~ k-
Vértices: documentos html Links: URL links Albert-Lazlo Barabási R. Albert, H. Jeong, A-L Barabasi, Nature, (1999)

12 M Faloutsos, P Faloutsos, C Faloutsos - Comput. Commun. Rev, 1999
I N T R O D U Ç Ã Internet (1999) Vértices: computadore,roteadores, sistemas autônomos Links: conexões físicas M Faloutsos, P Faloutsos, C Faloutsos - Comput. Commun. Rev, 1999

13 Muitas redes reais têm uma estrutura similar:
N T R O D U Ç Ã Muitas redes reais têm uma estrutura similar: Redes livre de escala

14 Barabási & Albert, Science 286, 509 (1999)
O D U Ç Ã Modelo livre de escala (1999) Crescimento: um novo vértice é adicionado com m arestas. Ligação preferencial: a probabilidade da ligação entre o novo vértice i e um vértice j na rede é dada por P(k) ~ k3 Barabási & Albert, Science 286, 509 (1999)

15 Modelo livre de escala (1999)
N T R O D U Ç Ã Modelo livre de escala (1999) Propriedades: Presença de hubs (vértices altamente conectados). Heterogeneidade: “rico fica mais rico”. Tolerantes à falhas aleatórias.

16 I N T R O D U Ç Ã Universalidade?

17 I N T R O D U Ç Ã Redes com diferentes topologias podem
apresentar a mesma distribuição da conectividade! Li, Alderson, Willinger, 2005

18

19 aij = 1 se i está ligado com j e 0 caso contrário.
Representação Matriz de adjacências: aij = 1 se i está ligado com j e 0 caso contrário.

20 Medidas relacionadas à conectividade
Grau, k Grau médio Distribuição das conexões, P(k)

21 Medidas relacionadas à conectividade
Assortatividade r > 0: vértices com mesmo grau tendem a se ligar. r < 0: hubs tendem a se ligar com vértices pouco conectados. r = 0: não há correlação.

22 Medidas relacionadas aos ciclos
Coeficiente de aglomeração Coeficiente de aglomeração médio

23 = 16/(4(4*3)) = 4/3 l Medidas relacionadas à distância a b c d nd 1 2
Menor caminho médio a b c d a b c d nd 1 2 = 16/(4(4*3)) = 4/3 l D =

24 Medidas relacionadas à distância
Betweeness s (i, u,j) : número de menores caminhos entre os vértices i e j que passam pelo vértice (ou aresta) u, s (i; j) é o número total de menores caminhos entre i e j. Ponto de dominância central CPD=0 CPD=1

25 Medidas hierárquicas M E D I A S R Grau hierárquico g = {1,15,22}
k0(g) = 12; k1(g) = 12; k2(g) = 2.

26 Medidas hierárquicas M E D I A S R
Coeficiente de aglomeração hierárquico: Razão de convergência: Razão de divergência: dvd(g) = 1/cvd(g)

27 Desafio: Obter um método
Detecção de comunidades Desafio: Obter um método rápido e preciso!

28 Detecção de comunidades
R Detecção de comunidades Maximização da modularidade 1. Inicia-se com a rede totalmente desconectada. 2. Vértices são conectados de forma a aumentar a modularidade 3. O processo termina quando a maior modularidade é encontrada

29 Outras medidas M E D I A S R Medidas fractais, Medidas espectrais,
Medidas de complexidade, Medidas de centralidade, Medidas de subgrafos, ... Costa, Rodrigues, Travieso, Villas Boas. Advances in Physics 2007

30

31 Método de classificação
Ç Ã O Método de classificação A caracterização e classificação é feita em termo de poucas medidas! M. E. J. Newman, SIAM, 2002

32 C L A S I F Ç Ã O Método de classificação

33 Método de classificação
Ç Ã O Método de classificação É construída uma matriz de atributos onde cada linha representa uma rede e cada coluna uma medida. Nessa matriz, é aplicado análise das variáveis canônicas. No espaço de características é aplicada a classificação bayesiana.

34 Análise das variáveis canônicas
F Ç Ã O Análise das variáveis canônicas Procedimento: 1 - Para cada classe é construída uma matriz de dispersão e a matriz de soma dos quadrados dentro das classes, 2 – É construída a matriz de soma dos quadrados entre as classes, 3 – Diagonalize-se a matriz: 4 – Os autovalores dentro e entre são interpretados como a quantidade de variação associada a cada autovetor ou eixo de maior variação.

35 Classificação bayesiana
Ç Ã O Classificação bayesiana Critério de decisão: Thomas Bayes ( )

36 C L A S I F Ç Ã O Resultados Rede de transporte aéreo nos Estados Unidos (1997) Medidas: { <k>, <cc>, l, st, <k2>, <C2>, <dv3>, CPD , r } Costa, Rodrigues, Travieso, Villas Boas. Advances in Physics 2007

37 Resultados C L A S I F Ç Ã O Rede de transcrição genética (E. coli)
Medidas: { <k>, <cc>, l, st, <k2>, <C2>, <dv3>, CPD , r } Costa, Rodrigues, Travieso, Villas Boas. Advances in Physics 2007

38 Resultados C L A S I F Ç Ã O Interação de proteínas
(Sacharomices cerevisiae) Medidas: { <k>, <cc>, l, st, r } Medidas: { <k>, <cc>, l, st, <k2>, <cc2>, <dv3>, CPD , r } Costa, Rodrigues, Travieso, Villas Boas. Advances in Physics 2007

39

40 M O D E L A G I N T R Evolução da Internet

41 Modelagem da Internet M O D E L A G
A cada passo um novo sistema autônomo i é adicionado à rede num posição geográfica (x,y) escolhida aleatoriamente dentro de uma caixa L X L. São escolhidos m vizinhos geográficos mais próximos de i. Dentre eles, são escolhidos os r com maior grau e cada um deles é conectado a i com uma probabilidade a. São escolhidos aleatoriamente q sistemas autônomos, já presentes na rede, e conectados aos s sistemas autônomos de maior grau dentro de uma distância L/4, onde cada ligação é estabelecida com uma probabilidade b. O processo termina quando N sistemas autônomos tiverem sido adicionados à rede.

42 Resultados M O D E L A G I N T R
Parâmetros: m= 40, r = 3, a = 0,15, q = 2, s = 2, b = 0,4 50 realizações do modelo

43 Comparação com outros modelos
G I N T R Comparação com outros modelos Modelos: Grafos aleatórios de Erdös e Rényi Small World de Watts e Strogatz Livre de escala de Barabási e Albert Modelo geográfico Livre de escala limitado de Amaral et al. Livre de escala com ligação preferencial de Dorogovtsev et al. Livre de escala não linear de Krapivisky et al. Base de dados National Laboratory of applied Network Research (NLANR) Rede: Topologia da Internet em 2 de abril de 1998 N = 3522 sistemas autônomos e 6324 conexões

44 Resultados M O D E L A G I N T R ER SW BA GEO LSF DMS
Krapivsky (a = 0.5) Krapivsky (a = 1.3) Nosso Modelo

45 Resultados M O D E L A G I N T R ER SW BA GEO LSF DMS
Krapivsky (a = 0.5) Krapivsky (a = 1.3) Nosso Modelo

46 Resultados M O D E L A G I N T R ER SW BA GEO LSF DMS
Krapivsky (a = 0.5) Krapivsky (a = 1.3) Nosso Modelo

47

48 A N Á L I S E D T Letalidade em redes de interação de proteínas Proteínas letais: quando removidas, causam a morte ou esterilidade de um organismo. “Highly connected proteins are more essential (lethal) than less connected proteins.” H. Jeong, S. P. Mason, A.-L. Barabási and Z. N. Oltvai, Nature (2001)

49 Domínios protéicos Piruvato kinase A N Á L I S E D T
domínio regulador b Domínio a/b de ligação de substratos Domínio a/b de ligação de nucleotídeos

50 Rede de interação de domínios protéicos
Á L I S E D T Rede de interação de domínios protéicos

51 A N Á L I S E D T Hipóteses sobre a letalidade em domínios Domínios letais em um sentido fraco: um domínio é letal se ele aparece em proteínas letais. Domínios letais em um sentido forte: um domínio é letal se ele aparece apenas em proteínas letais formadas de um único domínio. L. da F. Costa, F. A. Rodrigues and G. Travieso, APL (2007)

52 Hipóteses sobre a letalidade em domínios
Á L I S E D T Hipóteses sobre a letalidade em domínios Letais-fraco Letais-forte

53 Distribuição cumulativa das conexões
Á L I S E D T Distribuição cumulativa das conexões L. da F. Costa, F. A. Rodrigues and G. Travieso, APL (2007)

54 A N Á L I S E D T Resultados L. da F. Costa, F. A. Rodrigues and G. Travieso, APL (2007)

55

56 Dados sobre os Chateaux
V I N H O S D E B R A U X Dados sobre os Chateaux 571 chateaux pertencentes a 8 distritos.

57 V Atributos da produção I N H O S D E B R A U X Castas das uvas
cabernet sauvignon, merlot, cabernet franc, petit verdot, semillon e sauvignon. Área de cultivo Densidade da plantação Idade média das vinhas Produção por hectare Filtragem Finning Quantidade de garrafas produzidas Tempo de fermentação

58 N chateaux possuem p atributos cada.
V I N H O S D E B R A U X Construção da rede N chateaux possuem p atributos cada. N = 571 e p = 14

59 V I N H O S D E B R A U X Classificação

60 V I N H O S D E B R A U X Quais atributos influenciam na qualidade?

61 Conclusões e trabalhos futuros

62 Conclusões principais
Õ E Conclusões principais A utilização de métodos de estatística multivariada permite a identificação do modelo que melhor representa uma dada rede real. Utilização de poucas medidas pode fornecer resultados incompletos O modelo de Internet sugerido se mostrou mais preciso do que os outros modelos considerados. O crescimento da Internet é regulado por ligação preferencial, distância geográfica entre os sistemas autônomos e adição constante de ligações

63 Conclusões principais
Õ E Conclusões principais A correlação entre conectividade e letalidade é mais definida para os domínios protéicos. Os domínios são fundamentais na definição da letalidade e função das proteínas As propriedades de cultivo e produção de vinhos são fortemente influenciadas pelo território Vinhas mais antigas e maior tempo de fermentação resultam em melhores vinhos

64 C O N L U S Õ E Perspectivas: Utilização de técnicas de mineração de dados na classificação Mais modelos e mais medidas Taxonomia das redes complexas, influência das medidas na classificação. Aperfeiçoamento do modelo de Internet. Análise das funções protéicas no nível dos domínios. Consideração de outros atributos e outras regiões na análise dos produtores de vinhos.

65 R E F Ê N C I A S Luciano da F. Costa, Francisco A. Rodrigues, Gonzalo Travieso and P. R. Villas Boas Characterization of complex networks: A survey of Measurements Advances in Physics, Volume 56 (1), , 2007. M. E. J. Newman, The structure and function of complex networks SIAM Review 45, (2003). S. Boccaletti, V. Latora, Y.Moreno, M. Chavez and D.-U. Hwang Complex Networks: Structure and Dynamics Physics Reports , Physics Reports, 424 (4-5 ),2006. Albert-László Barabási and Zoltán N. Oltvai Network Biology: Understanding the Cells's Functional Organization Nature Reviews Genetics 5, (2004). Luciano da F. Costa, Francisco A. Rodrigues and Gonzalo Travieso Protein domain connectivity and essentiality Appl. Phys. Lett. 89, (2006) . F. A. Rodrigues, P. R. Villas Boas, G. Travieso, L. da F. Costa Seeking the best Internet Model Preprint: arXiv: v1 Francisco A. Rodrigues, Gonzalo Travieso e Luciano da F. CostaF. A. The complex network of Bordeaux wines, submetido.

66 A R T I G O S P U B L C D Luciano da F. Costa, Francisco A. Rodrigues, Gonzalo Travieso and P. R. Villas Boas Characterization of complex networks: A survey of measurements Advances in Physics, Volume 56, pages , Issue 1, January 2007. Francisco A. Rodrigues, Gonzalo Travieso andLuciano da F. Costa Fast Community Identification by Hierarchical Growth International Journal of Modern Physics C, 18(6), June 2007. Luciano da F. Costa, Francisco A. Rodrigues and G. Travieso, Analyzing Trails in Complex Networks Physical Review E, aceito. Luciano da F. Costa, Francisco A. Rodrigues and Gonzalo Travieso Protein domain connectivity and essentiality Applyes Physics Letters 89, (2006) . Francisco A. Rodrigues and Luciano da F. Costa Surviving opinions in Sznajd models on complex networks International Journal of Modern Physics C, 16(11), 2005. Gonzalo Travieso, Francisco A. Rodrigues, Carlos. A. Rugiero and Luciano da F. Costa Complex network modeling and simulation of distributed systems processing II TIDIA Workshop, November 7-9, São Paulo - Brazil.

67 A R T I G O S U B M E D Francisco A. Rodrigues, Paulino R. Villas Boas, Gonzalo Travieso and Luciano da F. Costa Seeking the best Internet Model Preprint: arXiv: v1 Francisco A. Rodrigues, Gonzalo Travieso e Luciano da F. Costa The complex network of Bordeaux wines. Submetido. Paulino R. Villas-Boas, Francisco A. Rodrigues, Gonzalo Travieso, Luciano da F. Costa Chain motifs: The tails and handles of complex networks Preprint: arXiv: Paulino R. Villas Boas, Francisco A. Rodrigues, Gonzalo Travieso, Luciano da F. Costa Border trees of complex networks Preprint: arXiv: v1