INTEGRAÇÃO DE DADOS: UMA PERSPECTIVA TEÓRICA Guilherme P. K. Caminha Disciplina: IF696.

Apresentação em tema: "INTEGRAÇÃO DE DADOS: UMA PERSPECTIVA TEÓRICA Guilherme P. K. Caminha Disciplina: IF696."— Transcrição da apresentação:

1 INTEGRAÇÃO DE DADOS: UMA PERSPECTIVA TEÓRICA Guilherme P. K. Caminha Disciplina: IF696

2 ROTEIRO Introdução Introdução Motivação Motivação Objetivos Objetivos Conceitos Conceitos Modelagens Modelagens GAV: Um exemplo GAV: Um exemplo Estado da Arte Estado da Arte Aplicações Aplicações Referências Referências

3 INTRODUÇÃO Integração de dados Integração de dados Conjunto de fontes Conjunto de fontes Dados reais Dados reais Esquema global Esquema global View virtual e integrada das fontes View virtual e integrada das fontes

4 MOTIVAÇÃO Processo importante Processo importante Comercial Comercial Caso de uso: unir bancos de dados Caso de uso: unir bancos de dados Científico Científico Combinando resultados de repositórios diferentes Combinando resultados de repositórios diferentes

5 MOTIVAÇÃO Fontes isoladas de dados (Information Silos) Fontes isoladas de dados (Information Silos) Fontes distribuídas Fontes distribuídas Fontes heterogêneas Fontes heterogêneas

6 MOTIVAÇÃO No contexto de Warehousing No contexto de Warehousing ETL (Extract, Transform, and Load) ETL (Extract, Transform, and Load) Arquitetura fortemente acoplada Arquitetura fortemente acoplada Dados fisicamente reconciliados Dados fisicamente reconciliados Único repositório de dados Único repositório de dados Queries mais rápidas Queries mais rápidas E se as fontes forem frequentemente atualizadas? E se as fontes forem frequentemente atualizadas? E se não houver acesso aos dados completos, apenas a interface de query? E se não houver acesso aos dados completos, apenas a interface de query?

7 OBJETIVOS Estudar uma arquitetura que atenda às questões levantadas. Estudar uma arquitetura que atenda às questões levantadas.

8 CONCEITOS Solução: Solução: Integração fracamente acoplada Integração fracamente acoplada Interface de query unificada Interface de query unificada Através de um esquema mediador Através de um esquema mediador Informação obtida diretamente das fontes Informação obtida diretamente das fontes Não mais de um único repositório Não mais de um único repositório

9 CONCEITOS Mapeamentos Mapeamentos Entre esquema mediador e esquemas fonte Entre esquema mediador e esquemas fonte Query no esquema mediador Query no esquema mediador é transformada em query especializada

10 CONCEITOS Há dois tipos de mapeamento Há dois tipos de mapeamento Global as View (GAV) Global as View (GAV) Mapeia entidades do esquema Mapeia entidades do esquema mediador para fontes Local as View (LAV) Local as View (LAV) Mapeia entidades das fontes Mapeia entidades das fontes para o esquema mediador

11 CONCEITOS Queries feitas em termos Queries feitas em termos do esquema global Portanto, é necessário reformular Portanto, é necessário reformular as queries

12 CONCEITOS Formalizando: Formalizando: Componentes de um sistema de integração de dados (I) Componentes de um sistema de integração de dados (I) Esquema Global (G) Esquema Global (G) Fontes (S) Fontes (S) Mapeamento (M) Mapeamento (M) Resulta na tripla (G, S, M) Resulta na tripla (G, S, M)

13 CONCEITOS Esquema Global (G) Esquema Global (G) Expresso numa linguagem L G Expresso numa linguagem L G Sobre um alfabeto A G Sobre um alfabeto A G A G inclui um símbolo para cada elemento de G A G inclui um símbolo para cada elemento de G (relações, classes, etc...) (relações, classes, etc...)

14 CONCEITOS Esquema Fonte (S) Esquema Fonte (S) Expresso numa linguagem L S Expresso numa linguagem L S Sobre um alfabeto A S Sobre um alfabeto A S A S inclui um símbolo para cada elemento das fontes A S inclui um símbolo para cada elemento das fontes

15 CONCEITOS

16 CONCEITOS Queries em I são portanto... Queries em I são portanto... Feitas em termos de G Feitas em termos de G Expressas numa linguagem L Q Expressas numa linguagem L Q Sobre o alfabeto A G Sobre o alfabeto A G

17 CONCEITOS Semântica de um sistema I = (G, S, M) Semântica de um sistema I = (G, S, M) Dado um banco de dados fonte D para I Dado um banco de dados fonte D para I D é conforme com o esquema S D é conforme com o esquema S Um banco de dados global B é legal com respeito a I, se Um banco de dados global B é legal com respeito a I, se B satisfaz todas as restrições de G B satisfaz todas as restrições de G B satisfaz o mapeamento M com respeito a D B satisfaz o mapeamento M com respeito a D

18 MODELAGENS

19 MODELAGENS

20 MODELAGENS

21 MODELAGENS

22 GAV: UM EXEMPLO

23 Consideremos 3 fontes de dados Consideremos 3 fontes de dados s 1, de aridade 4, contém informações sobre empregados s 1, de aridade 4, contém informações sobre empregados s 2, de aridade 2, contém códigos e nomes de companhias s 2, de aridade 2, contém códigos e nomes de companhias s 3, de aridade 2, contém informações sobre empregação s 3, de aridade 2, contém informações sobre empregação

24 GAV: UM EXEMPLO

25

26

27 Façamos uma query: Façamos uma query: {x | employee(x, y, z)} {x | employee(x, y, z)}

28 ESTADO DA ARTE OLE-DB OLE-DB API de SQL para acessar várias fontes API de SQL para acessar várias fontes Permite data mining em várias fontes OLE-DB Permite data mining em várias fontes OLE-DB Permite OLAP Permite OLAP Oracle Oracle Através da tecnologia Oracle Gateway Através da tecnologia Oracle Gateway

29 ESTADO DA ARTE Cast Iron (www.castiron.com) Cast Iron (www.castiron.com)www.castiron.com Permite a criação de projetos com listeners para: Permite a criação de projetos com listeners para: HTTP, HTTP, FTP, FTP, SMTP, e SMTP, e BDs BDs

30 ESTADO DA ARTE Cast Iron (www.castiron.com) Cast Iron (www.castiron.com)www.castiron.com Permite fluxo de controle Permite fluxo de controle If/Then If/Then Do/While Do/While Try/Catch Try/Catch

31 ESTADO DA ARTE Cast Iron (www.castiron.com) Cast Iron (www.castiron.com)www.castiron.com Totalmente visual Totalmente visual Facilita uso em empresas não TI Facilita uso em empresas não TI O objetivo é tornar fácil mover dados O objetivo é tornar fácil mover dados Ex: Sincronizar um BD de clientes com seu BD do salesforce.com Ex: Sincronizar um BD de clientes com seu BD do salesforce.com Possível associar dados apenas arrastando: Possível associar dados apenas arrastando:

32 APLICAÇÕES Mineração de Dados Mineração de Dados Uma view unificada facilita a mineração Uma view unificada facilita a mineração Consolidação de Dados Consolidação de Dados Coletar e integrar dados em um único lugar Coletar e integrar dados em um único lugar Merge de databases Merge de databases Combinação de resultados Combinação de resultados

33 APLICAÇÕES Exemplo Exemplo Aplicação web com consultas a estatísticas de cidades Aplicação web com consultas a estatísticas de cidades Crime, Crime, Tempo, Tempo, Hotéis, etc Hotéis, etc Tradicionalmente, a informação fica em um BD Tradicionalmente, a informação fica em um BD Porém, problemas surgem utilizando diversas fontes Porém, problemas surgem utilizando diversas fontes Exemplo: duplicações Exemplo: duplicações

34 APLICAÇÕES Exemplo Exemplo Solução: Integração de dados! Solução: Integração de dados!

35 REFERÊNCIAS M. Lenzerini, Data Integration: A Theoretical Perspective M. Lenzerini, Data Integration: A Theoretical Perspective https://en.wikipedia.org/wiki/Data_integration https://en.wikipedia.org/wiki/Data_integration https://en.wikipedia.org/wiki/Data_integration G. Thomas et al, Heterogeneous Distributed Database Systems for Production Use G. Thomas et al, Heterogeneous Distributed Database Systems for Production Use http://orbinary.com/blog/2010/07/enterprise-data-integration-the-state-of-the-art http://orbinary.com/blog/2010/07/enterprise-data-integration-the-state-of-the-art http://orbinary.com/blog/2010/07/enterprise-data-integration-the-state-of-the-art S. Pllana et al, A Survey of the State of the Art in Data Mining and Integration Query Languages S. Pllana et al, A Survey of the State of the Art in Data Mining and Integration Query Languages https://en.wikipedia.org/wiki/Semantic_data_model https://en.wikipedia.org/wiki/Semantic_data_model https://en.wikipedia.org/wiki/Semantic_data_model

36 REFERÊNCIAS T. Kirk, The Information Manifold T. Kirk, The Information Manifold A. Calì et al, On the Expressive Power of Data Integration Systems A. Calì et al, On the Expressive Power of Data Integration Systems

37 REFERÊNCIAS Abiteboul, Hull, Vianu Abiteboul, Hull, Vianu