Unidade 3- Consulta a dados semi-estruturados. Requisitos desejáveis (Maier ’98) Expressividade – linguagem de consulta ao estilo SQL – possibilitar a.

Apresentação em tema: "Unidade 3- Consulta a dados semi-estruturados. Requisitos desejáveis (Maier ’98) Expressividade – linguagem de consulta ao estilo SQL – possibilitar a."— Transcrição da apresentação:

1 Unidade 3- Consulta a dados semi-estruturados

2 Requisitos desejáveis (Maier ’98) Expressividade – linguagem de consulta ao estilo SQL – possibilitar a restruturação de dados semi-estruturados Semântica precisa – muito importante para XML Composição – o resultado de uma consulta deve poder ser utilizado dentro de uma outra consulta Consulta ao esquema – visando otimização Facilitar a geração automática de consultas Consulta

3 Expressões de caminho (Path expressions) Expressões que permitem navegar no grafo de dados Expressões de caminho simples – sequências de labels – exemplos root.pessoas {&p1,&p2,&p3} root.pessoas.filhos {&p2,&p3} – semântica o resultado de uma expressão de caminho r.l1. ….ln, onde l1,…,ln são os labels e r um objeto, é o conjunto de nodos do grafo acessíveis de r por um caminho do grafo tal que os arcos percorridos passam sucessivamente pelos labels l1,…,ln. Consulta

4 Expressões de caminho Expressões de caminho generalizadas Idéia: além de especificar completamente um caminho, permite exprimir restrições (constraints) sobre o caminho Utilização de expressões regulares Exemplos _ é um caracter coringa que designa um label qualquer (pessoa|estudante)._.idade As expressões de caminho definidas até o presente retornam os conjuntos de objetos e não de dados semi-estruturados Consulta

5 LOREL: uma linguagem de consultas para dados semi-estruturadoss Dados exemplo Consulta &bibdb &n1 &n2 &n3 paper book biblio Roux author Combalusier date1976 titleDatabase systems Smith author date1999 titleDatabase systems

6 LOREL Sintaxe baseada em OQL Exemplo select author:X from biblio.book.author X Semântica – para cada nodo do conjunto biblio.book.author X toma o valor deste nodo cria um nodo de label author e de valor X Resultado {author:"Roux", author:"Combalusier", author:"Smith"} Consulta

7 Query 1: SELECT author: X FROM biblio.book.author X &o1 &o12&o24&o29 &96 &30 paper book author date title author date title biblio &o47&o48 &o50 &o52 &25 Smith 1999Database Systems Roux Combalusier 1976 Database Systems... resposta author Resposta = {author: “Smith”, author: “Roux”, author: “Combalusier”} Resposta = {author: “Smith”, author: “Roux”, author: “Combalusier”}

8 LOREL Restrição dentro da cláusula where Exemplo select row:X from biblio._ X where "Smith" in X.author Resultado {row:{ author:"Smith", date:1999, title:"Database systems" } Observações – X.author é uma expressão de caminho – X.author é um conjunto de valores, "Smith" in X.author é um predicado de pertinência a um conjunto Consulta

9 Query 2: SELECT row: X FROM biblio._ X WHERE “Smith” in X.author &o1 &o12&o24&o29 &96 &30 paper book author date title author date title biblio &o47&o48 &o50 &o52 &25 Smith 1999Database Systems Roux Combalusier 1976 Database Systems... resposta row... resposta = {row: {author:“Smith”, date: 1999, title: “Database…”}, row: … } resposta = {row: {author:“Smith”, date: 1999, title: “Database…”}, row: … }

10 LOREL Restrições dentro da cláusula where Exemplo select author:Y from biblio._ X, X.author Y, X.title Z where Z matches "*[D|d]atabase*" Resultado – retorna os autores de publicações cujo título contém a palavra "database". Tratamento de uma consulta select-from-where – três momentos: determinação do conjunto de valores definido dentro da cláusula from restrição deste conjunto com a cláusula definida dentro do where projeção dentro da cláusula select Consulta

11 LOREL Criação de vários nodos dentro da projeção select row:{title:Y, author:Z} from biblio.book X, X.title Y, X.author Z Composição de consultas select row:{ select author:Y from X.author Y} from biblio.book X Lorel também permite o uso de expressões de caminho na cláusula select: select X.author from biblio.book X Consulta

12 Query 3: SELECT row: ( SELECT author: Y FROM X.author Y) FROM biblio.book X &o1 &o12&o24&o29 &96 &30 paper book author date title author date title biblio &o47&o48 &o50 &o52 &25 Smith 1999Database Systems Roux Combalusier 1976 Database Systems... resposta row &a1 &a2 author Resposta = {row: {author:“Smith”}, row: {author:“Roux”, author:“Combalusier”,}, }

13 LOREL Outro exemplo de composição select row:{ select author:Y, title:T from X.author Y X.title T} from biblio.book X where "Roux" in X.author Consulta

14 Query 4: SELECT ( SELECT row: {author: Y, title: T} FROM X.author Y, X.title T) FROM biblio.book X WHERE “Roux” in X.author &o1 &o12&o24&o29 &96 &30 paper book author date title author date title biblio &o47&o48 &o50 &o52 &25 Smith 1999Database Systems Roux Combalusier 1976 Database Systems... resposta row &a1 &a2 author title Resposta = {row: {author:“Roux”, title: “Database…”}, row: {author:“ Combalusier ”, title: “Database…”}, } Resposta = {row: {author:“Roux”, title: “Database…”}, row: {author:“ Combalusier ”, title: “Database…”}, } (Query está errada no livro texto) title

15 LOREL Semântica dos predicados de comparação select a:A, c:C from r1.row X, r2.row Y, X.a A, X.b B, Y.b B', Y.c C where B=B' – se r1 e r2 são representações de relações, esta consulta calcula a junção natural destas relações sobre os atributos b. – Dentro do contexto semi-estruturado, certos valores de B ou B' podem ser multi-valorados Consulta

16 LOREL Comparações de valores select row:X from biblio.paper X where X.author = "Smith" – X.author é um conjunto de objetos, "Smith" é um valor atômico where exists Y in X.author : Y="Smith" select row:X from biblio.paper X where X.year>1993 Consultas

17 Lorel Pequenas diferenças sintáticas na expressões de caminho (% ao invés de _, # ao invés de _*) Convenção de caminho: torna-se: SELECT biblio.book.author FROM biblio.book WHERE biblio.book.year = 1999 SELECT X.author FROM biblio.book X WHERE X.year = 1999

18 Lorel Variáveis existenciais: – O que acontece com livros com múltiplos autores? Author é existencialmente quantificado: SELECT biblio.book.year FROM biblio.book WHERE biblio.book.author = “Roux” SELECT biblio.book.year FROM biblio.book X, X.author Y WHERE Y = “Roux”

19 UnQL Patterns: Equivalente a: SELECT row: X WHERE {biblio.book: {author “Roux”, title X}} in DB, SELECT row: X FROM biblio.book Y, Y.author Z, Y.title X WHERE Z=“Roux”

20 UnQL Variávels Label: – “encontre todos os tipos de publicação e seus títulos onde Roux é autor” SELECT row: {type: L, title : Y} WHERE {biblio.L: {author “Roux”, title X}} in DB,

21 Bases de dadoss semi-estruturados O sistema LORE

22 LORE: Lightweight Object Repository Um SGBD para dados semi-estruturados Desenvolvido em Stanford Utiliza o modelo OEM LORE

23 Arquitetura LORE Compilação de consultas Data Engine Armazenamento físico gerente de dados externos gerente de índices operadores físicos gerente de objetos parserpréprocessador gerador de planos de consultas optimizador de consultas A P I GUIApplications consultas

24 Linguagem de Consulta XML-QL

25 Primeira linguagem declarativa para XML Como obter uma query language para XML rapidamente ? – Assumir OEM como modelo de dados – Usar características de UnQL e StruQL Patterns Templates – Projetar uma sintaxe XML-like

26 Patterns em XML-QL WHERE Morgan Kaufmann $A in “www.a.b.c/bib.xml” CONSTRUCT $A WHERE Morgan Kaufmann $A in “www.a.b.c/bib.xml” CONSTRUCT $A Encontre todos os autores que publicaram pela Morgan Kaufmann: Abreviação: fecha qualquer tag.

27 Exemplo2 Encontre os autores e títulos dos livros da AWL where AWL $T $A in “www.a.b.c/bib.xml” construct $A $T

28 Resultado do Exemplo2 Ceri Active Database System Widom Active Database System...

29 Patterns em XML-QL where Jones in “www.a.b.c/bib.xml” construct $X where Jones in “www.a.b.c/bib.xml” construct $X Encontre as linguagens nas quais Jones têm publicado:

30 Construtores em XML-QL where $A in “www.a.b.c/bib.xml” construct $A $L where $A in “www.a.b.c/bib.xml” construct $A $L Resultado: Smith English Smith French Doe English.. Encontre todos os autores e as linguagens nas quais eles publicaram:

31 Consultas aninhadas em XML-QL WHERE $A in “www.a.b.c/bib.xml” CONSTRUCT $A WHERE $A in “www.a.b.c/bib.xml” CONSTRUCT $L WHERE $A in “www.a.b.c/bib.xml” CONSTRUCT $A WHERE $A in “www.a.b.c/bib.xml” CONSTRUCT $L Encontre os autores e as linguagens nas quais eles publicaram; agrupando por autores: Obs: book.author é uma expressão de caminho

32 Smith English French … Doe English … Resultado:

33 Junção em XML-QL WHERE $a CONTENT_AS $p in “www.a.b.c/bib.xml” $a in “www.a.b.c/bib.xml”, $L = “English” CONSTRUCT $p WHERE $a CONTENT_AS $p in “www.a.b.c/bib.xml” $a in “www.a.b.c/bib.xml”, $L = “English” CONSTRUCT $p Encontre os artigos que têm pelo menos um autor que também escreveu um livro em inglês

34 Variáveis Tag em XML-QL WHERE $t 2000 Carlos in “www.a.b.c/bib.xml”, in {author, editor} CONSTRUCT $t Carlos WHERE $t 2000 Carlos in “www.a.b.c/bib.xml”, in {author, editor} CONSTRUCT $t Carlos Encontre as publicações publicadas em 2000 nas quais Carlos é um autor ou editor

35 Path Expressions em XML-QL Seja o DTD: A consulta: “Encontre os nomes da peças que contêm um fabricante “Ford” sem considerar o nível de aninhamento em que a peça occorre: WHERE $r Ford in “www.a.b.c/pecas.xml” CONSTRUCT $r

36 Path Expressions em XML-QL No exemplo anterior peca* é uma expressão de caminho regular que é equivalente à seguinte sequência infinita de patterns: $r Ford...

37 Path Expressions em XML-QL A consulta a seguir ilustra o uso de alternativa (|), concatenação(.) e asterisco(*) em expressões regulares: WHERE $r IN “www.a.b.c/peca.xml” CONSTRUCT $r

38 Integrando dados de diferentes fontes XML Encontre os nomes e CPF das fontes www.receita.gov.br/contribuintes.xml e www.ufpb.br/professores.xml WHERE $n $c IN “www.ufpb.br/professores.xml”, $c $i IN “www.receita.gov.br/contribuintes.xml” CONSTRUCT $n $i

39 Linguagem de Consulta X-Query

40 XQuery Baseda em Quilt (que é baseda em XML-QL) http://www.w3.org/TR/xquery/2/2001 XML Query data model

41 FLWR (“Flower”) Expressions FOR... LET... WHERE... RETURN...

42 XQuery Encontre os títulos dos livros publicados após 1995: FOR $x IN document("bib.xml") /bib/book WHERE $x/year > 1995 RETURN $x/title FOR $x IN document("bib.xml") /bib/book WHERE $x/year > 1995 RETURN $x/title Resultado: abc def ghi

43 XQuery Para cada autor de um livro publicado pela Morgan Kaufmann, listar os livros publicados: FOR $a IN distinct( document("bib.xml") /bib/book[publisher=“Morgan Kaufmann”]/author) RETURN $a, FOR $t IN /bib/book[author=$a]/title RETURN $t FOR $a IN distinct( document("bib.xml") /bib/book[publisher=“Morgan Kaufmann”]/author) RETURN $a, FOR $t IN /bib/book[author=$a]/title RETURN $t distinct = elimina duplicatas

44 XQuery Resultado: Jones abc def Smith ghi

45 XQuery FOR $x in expr -- liga $x a cada valor na lista expr LET $x = expr -- liga $x à inteira lista expr – Usado para subexpressões comuns e para agregações

46 XQuery count = função (aggregate) que retorna o número de elementos FOR $p IN distinct(document("bib.xml")//publisher) LET $b := document("bib.xml")/book[publisher = $p] WHERE count($b) > 100 RETURN $p FOR $p IN distinct(document("bib.xml")//publisher) LET $b := document("bib.xml")/book[publisher = $p] WHERE count($b) > 100 RETURN $p

47 XQuery Encontre os livros cujos preços são maiores do que a média de preços: FOR $b in document("bib.xml") /bib/book LET $a=avg( document("bib.xml") /bib/book/price) WHERE $b/price > $a RETURN $b FOR $b in document("bib.xml") /bib/book LET $a=avg( document("bib.xml") /bib/book/price) WHERE $b/price > $a RETURN $b

48 XQuery Sumário: FOR-LET-WHERE-RETURN = FLWR FOR/LET Clauses WHERE Clause RETURN Clause Lista de tuplas Instância do modelo de dados Xquery

49 FOR versus LET FOR liga variáveis nodo  iteration LET liga variáveis coleção  one value

50 FOR versus LET FOR $x IN document("bib.xml") /bib/book RETURN $x FOR $x IN document("bib.xml") /bib/book RETURN $x Retorna:... LET $x IN document("bib.xml") /bib/book RETURN $x LET $x IN document("bib.xml") /bib/book RETURN $x Retorna:...

51 Coleções em XQuery Conjuntos e Bags – /bib/book/author = uma coleção do tipo Bag – Distinct(/bib/book/author) = uma coleção do tipo conjunto (Set) LET $a = /bib/book  $a é uma coleção $b/author  uma coleção (vários autores...) RETURN $b/author Retorna:...

52 Ordenação em XQuery FOR $p IN distinct(document("bib.xml")//publisher) RETURN $p/text(), FOR $b IN document("bib.xml")//book[publisher = $p] RETURN $b/title, $b/price SORTBY(price DESCENDING) SORTBY(name) FOR $p IN distinct(document("bib.xml")//publisher) RETURN $p/text(), FOR $b IN document("bib.xml")//book[publisher = $p] RETURN $b/title, $b/price SORTBY(price DESCENDING) SORTBY(name) Argumentos de sort referem-se ao namespace da cláusula RETURN e não da cláusula FOR

53 If-Then-Else FOR $h IN //holding RETURN $h/title, IF $h/@type = "Journal" THEN $h/editor ELSE $h/author SORTBY (title) FOR $h IN //holding RETURN $h/title, IF $h/@type = "Journal" THEN $h/editor ELSE $h/author SORTBY (title)

54 Quantificador Existencial FOR $b IN //book WHERE SOME $p IN $b//para SATISFIES contains($p, "sailing") AND contains($p, "windsurfing") RETURN $b/title FOR $b IN //book WHERE SOME $p IN $b//para SATISFIES contains($p, "sailing") AND contains($p, "windsurfing") RETURN $b/title

55 Quantificador Universal FOR $b IN //book WHERE EVERY $p IN $b//para SATISFIES contains($p, "sailing") RETURN $b/title FOR $b IN //book WHERE EVERY $p IN $b//para SATISFIES contains($p, "sailing") RETURN $b/title