INTEGRAÇÃO DE DADOS: UMA PERSPECTIVA TEÓRICA Guilherme P. K. Caminha Disciplina: IF696

ROTEIRO Introdução Introdução Motivação Motivação Objetivos Objetivos Conceitos Conceitos Modelagens Modelagens GAV: Um exemplo GAV: Um exemplo Estado da Arte Estado da Arte Aplicações Aplicações Referências Referências

INTRODUÇÃO Integração de dados Integração de dados Conjunto de fontes Conjunto de fontes Dados reais Dados reais Esquema global Esquema global View virtual e integrada das fontes View virtual e integrada das fontes

MOTIVAÇÃO Processo importante Processo importante Comercial Comercial Caso de uso: unir bancos de dados Caso de uso: unir bancos de dados Científico Científico Combinando resultados de repositórios diferentes Combinando resultados de repositórios diferentes

MOTIVAÇÃO Fontes isoladas de dados (Information Silos) Fontes isoladas de dados (Information Silos) Fontes distribuídas Fontes distribuídas Fontes heterogêneas Fontes heterogêneas

MOTIVAÇÃO No contexto de Warehousing No contexto de Warehousing ETL (Extract, Transform, and Load) ETL (Extract, Transform, and Load) Arquitetura fortemente acoplada Arquitetura fortemente acoplada Dados fisicamente reconciliados Dados fisicamente reconciliados Único repositório de dados Único repositório de dados Queries mais rápidas Queries mais rápidas E se as fontes forem frequentemente atualizadas? E se as fontes forem frequentemente atualizadas? E se não houver acesso aos dados completos, apenas a interface de query? E se não houver acesso aos dados completos, apenas a interface de query?

OBJETIVOS Estudar uma arquitetura que atenda às questões levantadas. Estudar uma arquitetura que atenda às questões levantadas.

CONCEITOS Solução: Solução: Integração fracamente acoplada Integração fracamente acoplada Interface de query unificada Interface de query unificada Através de um esquema mediador Através de um esquema mediador Informação obtida diretamente das fontes Informação obtida diretamente das fontes Não mais de um único repositório Não mais de um único repositório

CONCEITOS Mapeamentos Mapeamentos Entre esquema mediador e esquemas fonte Entre esquema mediador e esquemas fonte Query no esquema mediador Query no esquema mediador é transformada em query especializada

CONCEITOS Há dois tipos de mapeamento Há dois tipos de mapeamento Global as View (GAV) Global as View (GAV) Mapeia entidades do esquema Mapeia entidades do esquema mediador para fontes Local as View (LAV) Local as View (LAV) Mapeia entidades das fontes Mapeia entidades das fontes para o esquema mediador

CONCEITOS Queries feitas em termos Queries feitas em termos do esquema global Portanto, é necessário reformular Portanto, é necessário reformular as queries

CONCEITOS Formalizando: Formalizando: Componentes de um sistema de integração de dados (I) Componentes de um sistema de integração de dados (I) Esquema Global (G) Esquema Global (G) Fontes (S) Fontes (S) Mapeamento (M) Mapeamento (M) Resulta na tripla (G, S, M) Resulta na tripla (G, S, M)

CONCEITOS Esquema Global (G) Esquema Global (G) Expresso numa linguagem L G Expresso numa linguagem L G Sobre um alfabeto A G Sobre um alfabeto A G A G inclui um símbolo para cada elemento de G A G inclui um símbolo para cada elemento de G (relações, classes, etc...) (relações, classes, etc...)

CONCEITOS Esquema Fonte (S) Esquema Fonte (S) Expresso numa linguagem L S Expresso numa linguagem L S Sobre um alfabeto A S Sobre um alfabeto A S A S inclui um símbolo para cada elemento das fontes A S inclui um símbolo para cada elemento das fontes

CONCEITOS

CONCEITOS Queries em I são portanto... Queries em I são portanto... Feitas em termos de G Feitas em termos de G Expressas numa linguagem L Q Expressas numa linguagem L Q Sobre o alfabeto A G Sobre o alfabeto A G

CONCEITOS Semântica de um sistema I = (G, S, M) Semântica de um sistema I = (G, S, M) Dado um banco de dados fonte D para I Dado um banco de dados fonte D para I D é conforme com o esquema S D é conforme com o esquema S Um banco de dados global B é legal com respeito a I, se Um banco de dados global B é legal com respeito a I, se B satisfaz todas as restrições de G B satisfaz todas as restrições de G B satisfaz o mapeamento M com respeito a D B satisfaz o mapeamento M com respeito a D

MODELAGENS

MODELAGENS

MODELAGENS

MODELAGENS

GAV: UM EXEMPLO

Consideremos 3 fontes de dados Consideremos 3 fontes de dados s 1, de aridade 4, contém informações sobre empregados s 1, de aridade 4, contém informações sobre empregados s 2, de aridade 2, contém códigos e nomes de companhias s 2, de aridade 2, contém códigos e nomes de companhias s 3, de aridade 2, contém informações sobre empregação s 3, de aridade 2, contém informações sobre empregação

GAV: UM EXEMPLO

Façamos uma query: Façamos uma query: {x | employee(x, y, z)} {x | employee(x, y, z)}

ESTADO DA ARTE OLE-DB OLE-DB API de SQL para acessar várias fontes API de SQL para acessar várias fontes Permite data mining em várias fontes OLE-DB Permite data mining em várias fontes OLE-DB Permite OLAP Permite OLAP Oracle Oracle Através da tecnologia Oracle Gateway Através da tecnologia Oracle Gateway

ESTADO DA ARTE Cast Iron ( Cast Iron ( Permite a criação de projetos com listeners para: Permite a criação de projetos com listeners para: HTTP, HTTP, FTP, FTP, SMTP, e SMTP, e BDs BDs

ESTADO DA ARTE Cast Iron ( Cast Iron ( Permite fluxo de controle Permite fluxo de controle If/Then If/Then Do/While Do/While Try/Catch Try/Catch

ESTADO DA ARTE Cast Iron ( Cast Iron ( Totalmente visual Totalmente visual Facilita uso em empresas não TI Facilita uso em empresas não TI O objetivo é tornar fácil mover dados O objetivo é tornar fácil mover dados Ex: Sincronizar um BD de clientes com seu BD do salesforce.com Ex: Sincronizar um BD de clientes com seu BD do salesforce.com Possível associar dados apenas arrastando: Possível associar dados apenas arrastando:

APLICAÇÕES Mineração de Dados Mineração de Dados Uma view unificada facilita a mineração Uma view unificada facilita a mineração Consolidação de Dados Consolidação de Dados Coletar e integrar dados em um único lugar Coletar e integrar dados em um único lugar Merge de databases Merge de databases Combinação de resultados Combinação de resultados

APLICAÇÕES Exemplo Exemplo Aplicação web com consultas a estatísticas de cidades Aplicação web com consultas a estatísticas de cidades Crime, Crime, Tempo, Tempo, Hotéis, etc Hotéis, etc Tradicionalmente, a informação fica em um BD Tradicionalmente, a informação fica em um BD Porém, problemas surgem utilizando diversas fontes Porém, problemas surgem utilizando diversas fontes Exemplo: duplicações Exemplo: duplicações

APLICAÇÕES Exemplo Exemplo Solução: Integração de dados! Solução: Integração de dados!

REFERÊNCIAS M. Lenzerini, Data Integration: A Theoretical Perspective M. Lenzerini, Data Integration: A Theoretical Perspective G. Thomas et al, Heterogeneous Distributed Database Systems for Production Use G. Thomas et al, Heterogeneous Distributed Database Systems for Production Use S. Pllana et al, A Survey of the State of the Art in Data Mining and Integration Query Languages S. Pllana et al, A Survey of the State of the Art in Data Mining and Integration Query Languages

REFERÊNCIAS T. Kirk, The Information Manifold T. Kirk, The Information Manifold A. Calì et al, On the Expressive Power of Data Integration Systems A. Calì et al, On the Expressive Power of Data Integration Systems

REFERÊNCIAS Abiteboul, Hull, Vianu Abiteboul, Hull, Vianu