1 Data Integration in a Bandwidth-Rich World Ian Foster and Robert L. Grossman Universidade Federal Fluminense Doutorado em Computação – Engenharia de Redes Daniela Quitete de Campos Vianna

2 Introdução Avanços nas tecnologias de redes Sistemas computacionais cada vez mais velozes Crescimento do conhecimento Obtenção de grandes quantidades de dados Computação em Grid? E-Science?

3 Computação em Grid Objetivo: tornar a computação de alto desempenho acessível a usuários que não possuem recursos disponíveis localmente. Desafios: – Heterogeneidade; – Múltiplos domínios administrativos; – Escalabilidade; – Natureza dinâmica do ambiente; – Compartilhamento de dados e de recursos; – Transparência.

4 e-Science Diversos tipos de pesquisa que envolvem aplicações científicas de grande escala. Classes de Problemas : –modelagens e simulações sociais, climáticas e de oceanos; –bio-informática; –bio-medicina; –física de alta energia; –entre outros.

5 Integração de Dados Paradigma Tradicional x Paradigma Atual Foco –middlewares para permitir que organizações distribuídas acessem e compartilhem dados, redes e outros recursos de uma maneira controlada e segura.

6 Integração de Dados Dados distribuídos possuem diferentes: –formatos; –qualidade; –mecanismos e políticas de acesso... É preciso definir soluções e padrões para: –acesso e descoberta de dados; –exploração e análise de dados; –gerenciamento de recursos e segurança.

7 Acesso e Descoberta de Dados Descoberta de dados: middlewares que examinem metadados; –web services; –XML e bancos de dados relacionais; –Serviços de acesso a dados e integração em Grids; –LDAP (Lightweight Directory Access Protocol). Mecanismos de acesso –OPeNDAP (Open source project for a Network Data Access Protocol); –SRB (Storage Resource Broker); –DSTP (DataSpace Transfer Protocol); –GridFTP; –OGSA-DAI (OGSA-based Data Access and Integration).

8 Exploração e Análise de Dados Necessidade de serviços que identifiquem a relevância dos dados obtidos; –estatística; –exploração visual dos dados... Existência de ferramentas que gravam, organizam e obtêm novos dados a partir de dados já explorados.

9 Gerenciamento de Recursos e Segurança Acesso seguro a dados distribuídos; Controle no acesso aos recursos envolvidos na integração dos dados; Técnicas de replicação e distribuição de dados através da rede; Identificação da localização de dados mais próxima ao ponto de solicitação.

10 Exemplo 1 (iGrid 2002) Integração (on the fly) de dados; Taxas de transferência maiores que 2.4Gbps. DataSpace Data Web: movimentação de dados através do Atânctico; Versão paralela do SABUL: transporte de Dados; DSTP: gerenciamento de chaves, metadados e dados.

11 Sloan Digital Sky Survey (SDSS) Estudo de imagens digitais - até 2007 terá mapeado ¼ do espaço; 250 milhões de objetos detectados 10 TB de imagens 2 TB catálogos

12 Sloan Digital Sky Survey (SDSS)

13 Gerenciamento de Dados no Globus Componente que fornecem interfaces de acesso uniformes para vários tipos de dados –GridFTP; –OGSA-DAI; –Metadata Catalog Service (MCS).

14 Gerenciamento de Dados no Globus Componentes para movimentação e transferência de dados –Globus-url-copy; –Reliable File Transfer (RFT) Service; –UberFTP: cliente GridFTP; –GSI-SCP/SFTP: ferramenta OpenSSH que suporta autenticação no Grid.

15 Gerenciamento de Dados no Globus Componentes para otimização do acesso aos dados –Replica Location Service (RLS); –NeST; –DataCutter.

16 Conclusão Avanços nas tecnologias de redes proporcionando o compartilhamento de recursos e dados; Necessidade de middlewares para integração de dados.