A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Versus: a Model for a Web Repository Jo₧o CamposMário J. Silva Grupo XLDB, LaSIGE Departamento de Informática Faculdade de Ci ₨ ncias Universidade de Lisboa.

Apresentações semelhantes


Apresentação em tema: "Versus: a Model for a Web Repository Jo₧o CamposMário J. Silva Grupo XLDB, LaSIGE Departamento de Informática Faculdade de Ci ₨ ncias Universidade de Lisboa."— Transcrição da apresentação:

1 Versus: a Model for a Web Repository Jo₧o CamposMário J. Silva Grupo XLDB, LaSIGE Departamento de Informática Faculdade de Ci ₨ ncias Universidade de Lisboa

2 Modelo para repositório de dados da Web Armazenar documentos recolhidos da Internet para serem utilizados por outras aplica₤ões Suporte temporal Permitir reconstruir vistas sobre o estado passado dos objectos arquivados Distribuído Permitir a opera₤₧o eficiente de aplica₤ões que recolhem e usam grandes quantidades de dados Escalável Armazenar uma elevada quantidade de dados

3 Cenário: Sistema de recolha e análise de informa₤₧o de Web Recolha particionada em várias recolhas de subconjuntos da Web – Eventuais prejuízos em caso de falha Recolha com utiliza₤₧o intensiva de recursos – Distribui₤₧o e paraleliza₤₧o das actividades de recolha Integra₤₧o num arquivo coerente dos dados recolhidos em tempos diferentes – Uma recolha pode demorar vários dias, a Web muda continuamente Manuten₤₧o de estado entre recolhas – Optimizar o processo de recolha “aprendendo” com as recolhas realizadas anteriormente

4 Modo de opera₤₧o Dados a processar Particionar os dados a processar em subconjuntos Escolher uma parti₤₧o e separá-la Processar dados na parti₤₧o Consolidar os resultados do processamento com os restantes dados Dados processados sim n₧o Conjunto de documentos a recolher Documentos recolhidos e meta-dados da recolha exemplo: recolher os documentos do site exemplo: escolher um site e isolar os meta-dados do site exemplo: restabelecer links entre documentos exemplo: todos os documentos recolhidos? Tudo processado? exemplo: site a site

5 Conceitos do Modelo Workspace – ambiente onde as aplica₤ões só v ₨ em os objectos que o workspace cont₫m – 3 tipos consoante a visibilidade dos dados: Archive - dados visíveis por todas as aplica₤ões Group - dados visíveis por todos os processos de uma aplica₤₧o Private - dados visíveis apenas por um processo da aplica₤₧o Versões – instância de um objecto num determinado momento

6 Layers – unidade de armazenamento capaz de conter uma vers₧o de cada objecto. Utilizadas para impor ordem parcial sobre o tempo em que as versões s₧o armazenadas Predicados – fun₤ões booleanas usadas para particionar o espa₤o dos objectos em working units Working Units – contentores usados para transferir dados entre workspaces – Podem ser estritas ou latas Check-out / Check-in – opera₤ões de transfer ₨ ncia de dados entre workspaces

7 Group Workspace Private Workspace time ii iv Processamento de Dados i) aplica₤₧o de parti₤₧o a partir de predicados baseados na forma do objecto ii) check-out de working unit gerada a partir do predicado “₫ um circulo?” iii) processamento dos objectos existentes e inser₤₧o de novos objectos isoladamente no private workspace iv) check-in de working unit processada iv iii i

8 Resultados Modelo para armazenamento de dados da Web capaz de armazenar a dimens₧o temporal dos dados Modelo para a opera₤₧o de aplica₤ões que manipulem grandes quantidades de dados da Web Protótipo implementado e testado, demonstrando a exequibilidade do modelo e apresentando desempenho aceitável Integra₤₧o em progresso do Versus como componente de armazenamento do Tumba (http://www.tumba.fc.ul.pt)


Carregar ppt "Versus: a Model for a Web Repository Jo₧o CamposMário J. Silva Grupo XLDB, LaSIGE Departamento de Informática Faculdade de Ci ₨ ncias Universidade de Lisboa."

Apresentações semelhantes


Anúncios Google