Caracterização, classificação e análise de redes complexas Instituto de Física de São Carlos 20 de agosto de 2007 Caracterização, classificação e análise de redes complexas Francisco Aparecido Rodrigues Orientador: Luciano da Fontoura Costa

S U M Á R I O

S U M Á R I O

S U M Á R I O

S U M Á R I O

I N T R O D U Ç Ã O início... Sete Pontes de Konigsberg - Leonhard Euler (1736) É possível atravessar todas as pontes passando-se apenas uma vez por cada uma delas? Leonhard Euler

Redes Complexas X Teoria dos Grafos N T R O D U Ç Ã Redes Complexas X Teoria dos Grafos A teoria das redes complexas está relacionada com a modelagem de redes reais. As redes não são estáticas, mas evoluem com o tempo. As redes podem ser consideradas como objetos topológicos para simulações.

Distribuição de Poisson Ç Ã Grafos aleatórios de Erdös-Rényi (1960) N vértices são conectados aleatoriamente de acordo com uma probabilidade fixa p Paul Erdös (1913-1996) Distribuição de Poisson

Modelo de Watts-Strogatz (1998) I N T R O D U Ç Ã Modelo de Watts-Strogatz (1998) Clustering: Indica a freqüência da ocorrência de ciclos de ordem 3. Watts and Strogatz, Nature 393, 440 (1998)

Teia Mundial (1999) I N T R O D U Ç Ã P(k) ~ k- Vértices: documentos html Links: URL links Albert-Lazlo Barabási R. Albert, H. Jeong, A-L Barabasi, Nature, 401 130 (1999)

M Faloutsos, P Faloutsos, C Faloutsos - Comput. Commun. Rev, 1999 I N T R O D U Ç Ã Internet (1999) Vértices: computadore,roteadores, sistemas autônomos Links: conexões físicas M Faloutsos, P Faloutsos, C Faloutsos - Comput. Commun. Rev, 1999

Muitas redes reais têm uma estrutura similar: N T R O D U Ç Ã Muitas redes reais têm uma estrutura similar: Redes livre de escala

Barabási & Albert, Science 286, 509 (1999) O D U Ç Ã Modelo livre de escala (1999) Crescimento: um novo vértice é adicionado com m arestas. Ligação preferencial: a probabilidade da ligação entre o novo vértice i e um vértice j na rede é dada por P(k) ~ k3 Barabási & Albert, Science 286, 509 (1999)

Modelo livre de escala (1999) N T R O D U Ç Ã Modelo livre de escala (1999) Propriedades: Presença de hubs (vértices altamente conectados). Heterogeneidade: “rico fica mais rico”. Tolerantes à falhas aleatórias.

I N T R O D U Ç Ã Universalidade?

I N T R O D U Ç Ã Redes com diferentes topologias podem apresentar a mesma distribuição da conectividade! Li, Alderson, Willinger, 2005

aij = 1 se i está ligado com j e 0 caso contrário. Representação Matriz de adjacências: aij = 1 se i está ligado com j e 0 caso contrário.

Medidas relacionadas à conectividade Grau, k Grau médio Distribuição das conexões, P(k)

Medidas relacionadas à conectividade Assortatividade r > 0: vértices com mesmo grau tendem a se ligar. r < 0: hubs tendem a se ligar com vértices pouco conectados. r = 0: não há correlação.

Medidas relacionadas aos ciclos Coeficiente de aglomeração Coeficiente de aglomeração médio

= 16/(4(4*3)) = 4/3 l Medidas relacionadas à distância a b c d nd 1 2 Menor caminho médio a b c d a b c d nd 1 2 = 16/(4(4*3)) = 4/3 l D =

Medidas relacionadas à distância Betweeness s (i, u,j) : número de menores caminhos entre os vértices i e j que passam pelo vértice (ou aresta) u, s (i; j) é o número total de menores caminhos entre i e j. Ponto de dominância central CPD=0 CPD=1

Medidas hierárquicas M E D I A S R Grau hierárquico g = {1,15,22} k0(g) = 12; k1(g) = 12; k2(g) = 2.

Medidas hierárquicas M E D I A S R Coeficiente de aglomeração hierárquico: Razão de convergência: Razão de divergência: dvd(g) = 1/cvd(g)

Desafio: Obter um método Detecção de comunidades Desafio: Obter um método rápido e preciso!

Detecção de comunidades R Detecção de comunidades Maximização da modularidade 1. Inicia-se com a rede totalmente desconectada. 2. Vértices são conectados de forma a aumentar a modularidade 3. O processo termina quando a maior modularidade é encontrada

Outras medidas M E D I A S R Medidas fractais, Medidas espectrais, Medidas de complexidade, Medidas de centralidade, Medidas de subgrafos, ... Costa, Rodrigues, Travieso, Villas Boas. Advances in Physics 2007

Método de classificação Ç Ã O Método de classificação A caracterização e classificação é feita em termo de poucas medidas! M. E. J. Newman, SIAM, 2002

C L A S I F Ç Ã O Método de classificação

Método de classificação Ç Ã O Método de classificação É construída uma matriz de atributos onde cada linha representa uma rede e cada coluna uma medida. Nessa matriz, é aplicado análise das variáveis canônicas. No espaço de características é aplicada a classificação bayesiana.

Análise das variáveis canônicas F Ç Ã O Análise das variáveis canônicas Procedimento: 1 - Para cada classe é construída uma matriz de dispersão e a matriz de soma dos quadrados dentro das classes, 2 – É construída a matriz de soma dos quadrados entre as classes, 3 – Diagonalize-se a matriz: 4 – Os autovalores dentro e entre são interpretados como a quantidade de variação associada a cada autovetor ou eixo de maior variação.

Classificação bayesiana Ç Ã O Classificação bayesiana Critério de decisão: Thomas Bayes (1702-1761)

C L A S I F Ç Ã O Resultados Rede de transporte aéreo nos Estados Unidos (1997) Medidas: { <k>, <cc>, l, st, <k2>, <C2>, <dv3>, CPD , r } Costa, Rodrigues, Travieso, Villas Boas. Advances in Physics 2007

Resultados C L A S I F Ç Ã O Rede de transcrição genética (E. coli) Medidas: { <k>, <cc>, l, st, <k2>, <C2>, <dv3>, CPD , r } Costa, Rodrigues, Travieso, Villas Boas. Advances in Physics 2007

Resultados C L A S I F Ç Ã O Interação de proteínas (Sacharomices cerevisiae) Medidas: { <k>, <cc>, l, st, r } Medidas: { <k>, <cc>, l, st, <k2>, <cc2>, <dv3>, CPD , r } Costa, Rodrigues, Travieso, Villas Boas. Advances in Physics 2007

M O D E L A G I N T R Evolução da Internet

Modelagem da Internet M O D E L A G A cada passo um novo sistema autônomo i é adicionado à rede num posição geográfica (x,y) escolhida aleatoriamente dentro de uma caixa L X L. São escolhidos m vizinhos geográficos mais próximos de i. Dentre eles, são escolhidos os r com maior grau e cada um deles é conectado a i com uma probabilidade a. São escolhidos aleatoriamente q sistemas autônomos, já presentes na rede, e conectados aos s sistemas autônomos de maior grau dentro de uma distância L/4, onde cada ligação é estabelecida com uma probabilidade b. O processo termina quando N sistemas autônomos tiverem sido adicionados à rede.

Resultados M O D E L A G I N T R Parâmetros: m= 40, r = 3, a = 0,15, q = 2, s = 2, b = 0,4 50 realizações do modelo

Comparação com outros modelos G I N T R Comparação com outros modelos Modelos: Grafos aleatórios de Erdös e Rényi Small World de Watts e Strogatz Livre de escala de Barabási e Albert Modelo geográfico Livre de escala limitado de Amaral et al. Livre de escala com ligação preferencial de Dorogovtsev et al. Livre de escala não linear de Krapivisky et al. Base de dados National Laboratory of applied Network Research (NLANR) Rede: Topologia da Internet em 2 de abril de 1998 N = 3522 sistemas autônomos e 6324 conexões

Resultados M O D E L A G I N T R ER SW BA GEO LSF DMS Krapivsky (a = 0.5) Krapivsky (a = 1.3) Nosso Modelo

Resultados M O D E L A G I N T R ER SW BA GEO LSF DMS Krapivsky (a = 0.5) Krapivsky (a = 1.3) Nosso Modelo

Resultados M O D E L A G I N T R ER SW BA GEO LSF DMS Krapivsky (a = 0.5) Krapivsky (a = 1.3) Nosso Modelo

A N Á L I S E D T Letalidade em redes de interação de proteínas Proteínas letais: quando removidas, causam a morte ou esterilidade de um organismo. “Highly connected proteins are more essential (lethal) than less connected proteins.” H. Jeong, S. P. Mason, A.-L. Barabási and Z. N. Oltvai, Nature (2001)

Domínios protéicos Piruvato kinase A N Á L I S E D T domínio regulador b Domínio a/b de ligação de substratos Domínio a/b de ligação de nucleotídeos

Rede de interação de domínios protéicos Á L I S E D T Rede de interação de domínios protéicos

A N Á L I S E D T Hipóteses sobre a letalidade em domínios Domínios letais em um sentido fraco: um domínio é letal se ele aparece em proteínas letais. Domínios letais em um sentido forte: um domínio é letal se ele aparece apenas em proteínas letais formadas de um único domínio. L. da F. Costa, F. A. Rodrigues and G. Travieso, APL (2007)

Hipóteses sobre a letalidade em domínios Á L I S E D T Hipóteses sobre a letalidade em domínios Letais-fraco Letais-forte

Distribuição cumulativa das conexões Á L I S E D T Distribuição cumulativa das conexões L. da F. Costa, F. A. Rodrigues and G. Travieso, APL (2007)

A N Á L I S E D T Resultados L. da F. Costa, F. A. Rodrigues and G. Travieso, APL (2007)

Dados sobre os Chateaux V I N H O S D E B R A U X Dados sobre os Chateaux 571 chateaux pertencentes a 8 distritos.

V Atributos da produção I N H O S D E B R A U X Castas das uvas cabernet sauvignon, merlot, cabernet franc, petit verdot, semillon e sauvignon. Área de cultivo Densidade da plantação Idade média das vinhas Produção por hectare Filtragem Finning Quantidade de garrafas produzidas Tempo de fermentação

N chateaux possuem p atributos cada. V I N H O S D E B R A U X Construção da rede N chateaux possuem p atributos cada. N = 571 e p = 14

V I N H O S D E B R A U X Classificação

V I N H O S D E B R A U X Quais atributos influenciam na qualidade?

Conclusões e trabalhos futuros

Conclusões principais Õ E Conclusões principais A utilização de métodos de estatística multivariada permite a identificação do modelo que melhor representa uma dada rede real. Utilização de poucas medidas pode fornecer resultados incompletos O modelo de Internet sugerido se mostrou mais preciso do que os outros modelos considerados. O crescimento da Internet é regulado por ligação preferencial, distância geográfica entre os sistemas autônomos e adição constante de ligações

Conclusões principais Õ E Conclusões principais A correlação entre conectividade e letalidade é mais definida para os domínios protéicos. Os domínios são fundamentais na definição da letalidade e função das proteínas As propriedades de cultivo e produção de vinhos são fortemente influenciadas pelo território Vinhas mais antigas e maior tempo de fermentação resultam em melhores vinhos

C O N L U S Õ E Perspectivas: Utilização de técnicas de mineração de dados na classificação Mais modelos e mais medidas Taxonomia das redes complexas, influência das medidas na classificação. Aperfeiçoamento do modelo de Internet. Análise das funções protéicas no nível dos domínios. Consideração de outros atributos e outras regiões na análise dos produtores de vinhos.

R E F Ê N C I A S Luciano da F. Costa, Francisco A. Rodrigues, Gonzalo Travieso and P. R. Villas Boas Characterization of complex networks: A survey of Measurements Advances in Physics, Volume 56 (1), 167 - 242, 2007. M. E. J. Newman, The structure and function of complex networks SIAM Review 45, 167-256 (2003). S. Boccaletti, V. Latora, Y.Moreno, M. Chavez and D.-U. Hwang Complex Networks: Structure and Dynamics Physics Reports , Physics Reports, 424 (4-5 ),2006. Albert-László Barabási and Zoltán N. Oltvai Network Biology: Understanding the Cells's Functional Organization Nature Reviews Genetics 5, 101-113 (2004). Luciano da F. Costa, Francisco A. Rodrigues and Gonzalo Travieso Protein domain connectivity and essentiality Appl. Phys. Lett. 89, 174101 (2006) . F. A. Rodrigues, P. R. Villas Boas, G. Travieso, L. da F. Costa Seeking the best Internet Model Preprint: arXiv:0706.3225v1 Francisco A. Rodrigues, Gonzalo Travieso e Luciano da F. CostaF. A. The complex network of Bordeaux wines, submetido.

A R T I G O S P U B L C D Luciano da F. Costa, Francisco A. Rodrigues, Gonzalo Travieso and P. R. Villas Boas Characterization of complex networks: A survey of measurements Advances in Physics, Volume 56, pages 167 - 242, Issue 1, January 2007. Francisco A. Rodrigues, Gonzalo Travieso andLuciano da F. Costa Fast Community Identification by Hierarchical Growth International Journal of Modern Physics C, 18(6), June 2007. Luciano da F. Costa, Francisco A. Rodrigues and G. Travieso, Analyzing Trails in Complex Networks Physical Review E, aceito. Luciano da F. Costa, Francisco A. Rodrigues and Gonzalo Travieso Protein domain connectivity and essentiality Applyes Physics Letters 89, 174101 (2006) . Francisco A. Rodrigues and Luciano da F. Costa Surviving opinions in Sznajd models on complex networks International Journal of Modern Physics C, 16(11), 2005. Gonzalo Travieso, Francisco A. Rodrigues, Carlos. A. Rugiero and Luciano da F. Costa Complex network modeling and simulation of distributed systems processing II TIDIA Workshop, November 7-9, 2006. São Paulo - Brazil.

A R T I G O S U B M E D Francisco A. Rodrigues, Paulino R. Villas Boas, Gonzalo Travieso and Luciano da F. Costa Seeking the best Internet Model Preprint: arXiv:0706.3225v1 Francisco A. Rodrigues, Gonzalo Travieso e Luciano da F. Costa The complex network of Bordeaux wines. Submetido. Paulino R. Villas-Boas, Francisco A. Rodrigues, Gonzalo Travieso, Luciano da F. Costa Chain motifs: The tails and handles of complex networks Preprint: arXiv:0706.2365 Paulino R. Villas Boas, Francisco A. Rodrigues, Gonzalo Travieso, Luciano da F. Costa Border trees of complex networks Preprint: arXiv:0706.3403v1