Junções Adaptativas em consultas Federadas sobre Linked Data

Apresentação em tema: "Junções Adaptativas em consultas Federadas sobre Linked Data"— Transcrição da apresentação:

1 Junções Adaptativas em consultas Federadas sobre Linked Data
Macedo Maia Vânia Vidal, José Maria Monteiro, Fabio Porto, Ana Maria e Regis Pires

2 Sumário Motivação; Problema; Contexto; Solução Proposta;
Contribuições; Cenário de Testes; Conclusões.

3 A Web como a conhecemos!

4 Motivação As práticas de Linked Data tem impulsionado a publicação de dados na Web; Linked Data é um conjunto de boas práticas para publicar, consumir e integrar dados estruturados na Web de Dados; No padrão Linked Data, cada fragmento de dado no formato de triplas RDF descreve a si mesmo e suas relações, com outros fragmentos de dados de forma descentralizada; Para consultar dados de repositórios de triplas RDF, usa-se a linguagem SPARQL.

5 Motivação

6 Motivação

7 Motivação

8 Motivação

9 Motivação

10

11

12

13 Introdução –LOD Datasets 2007

14 Introdução – LOD Datasets 2009

15 Introdução – LOD Datasets 2011

16 Problema O processamento de consultas federadas em Linked Data envolve diversos desafios: Desempenho das consultas; Imprevisibilidade do ambiente; Grande volume de dados; Ausência de informações estatísticas e históricas. Neste contexto, a realização de operações de junção, de maneira eficiente, configura-se em um problema relevante e em aberto;

17 Contexto Processamento de consultas em sistemas de integração linked-data; Integração de fontes de dados em Linked Data; Ex: DrugBank, Diseasome, DBpedia; Sistemas de integração; Ex: FedX, DARQ, Jena, Sesame,QEF

18 Solução Proposta Estratégias (algoritmos) de junções adaptativas para ambientes Linked Data; Geração de estatísticas e históricos sobre as fontes; Monitoramento de atividades: Checar periodicamente a disponibilidade das fontes e às atividades realizadas durante a execução. Tratar restrições nos tipos de consultas submetidas.

19 Solução Proposta - Arquitetura

20 Soluçao Proposta - Componentes
Translator Traduz as consultas SPARQL para o QEP(Query Execution Plan) correspondente. Executor Executa o QEP e retorna os resultados. Monitor Monitora as atividades do ambiente federado durante a execução.

21 Contribuições Front-end que recebe a consulta do Usuário
O usuário escreve a consulta SPARQL de maneira intuitiva; Depois de validada, a mesma é transformada em um QEP; Depois de terminadas as consultas, envia o resultado da consulta para a interface.

22 Contribuições Operador de Controle: Baseado no Eddies;
Re-ordena constantemente os operadores de um plano para se adaptar às variações que podem ocorrer nos dados durante a execução; Realiza a leitura dos dados das fontes e determina um roteamento para cada tupla segundo as informações observadas (i.e. seletividade de cada operador);

23 Contribuições Arquitetura do Eddies: Project Eddy S T R S R S T

24 Contribuições Arquitetura do Eddies: BufferOut Buffer RS Buffer ST R S

25 Contribuições Framework para integração de dados do PELD com o DBPedia
Dados PELD são triplificados a partir do modelo Relacional; Parte dos dados são Materializados; Permite ligações com o DBPedia através do predicado SameAs.

26 Cenário de Testes Testes e Resultados da análise das consultas:
Domínios: Fontes de dados sobre Lifescience(PELD, Diseasome, Drugbank, Sider, DBPEDIA); Comparação com outros ambientes: QEF, Fedx,Jena, Darq;

27 Cenário de Testes DBPedia Diagrama do PELD: Plankton Taxon & Region
Catfish Fish DBPedia

28 Cenário de Testes Diagrama dos Datasets D&D: Dailymed DBPedia Drugbank
Diseasome Sider

29 Conclusão Nós propomos uma solução para a implementação de junções adaptativas em consultas federadas; O algoritmos de junção adaptativa se ajustará dinamicamente em tempo de execução, sem interromper a transmissão dos dados do endpoint SPARQL para o ambiente de execução; A adaptação da consulta é baseada em estatísticas que são coletadas em tempo de execução.

30 Referências Avnur, R. and Hellerstein, J. M. (2000). Eddies: Continuously adaptive query processing. In SIGMOD Conference, pages 261–272. Porto, F., Tajmouati, O., Da Silva, V. F. V., Schulze, B., and Ayres, F. V. M. (2007). Qef - supporting complex query applications. In Proceedings of the Seventh IEEE International Symposium on Cluster Computing and the Grid, CCGRID ’07, pages 846–851, Washington, DC, USA. IEEE Computer Society. Pinheiro, J. C. (2011). Processamento de consulta de um framework baseado em mediador para integração de dados no padrão de Linked Data. PhD thesis, Universidade Federal do Ceará.

31 Obrigado! Perguntas, comentários ou sugestões? Macedo Maia