Alinhamento de esquemas baseado em instâncias PROPOSTA DE DOUTORADO Daniela F. Brauner Orientador: Prof. Marco Antonio Casanova

Agenda Definição do problema Abordagem proposta Trabalhos relacionados Alinhamento de tesauros Alinhamento de esquemas conceituais Trabalhos relacionados Contribuições Organização da tese Cronograma

Agenda Definição do problema Abordagem proposta Trabalhos relacionados Alinhamento de tesauros Alinhamento de esquemas conceituais Trabalhos relacionados Contribuições Organização da tese Cronograma

Esquema de Classificação: Definição do problema Como acessar bancos de dados que adotam esquemas heterogêneos? SA SB ? DBA DBB TA TB ? ? Esquema conceitual: descreve em alto nível como organizar os dados armazenados em um BD Esquema de Classificação: classifica os dados armazenados em um BD em categorias pré-definidas Ex: palavras-chave, tesauros, taxonomias.

Definição do problema Ex: DBA DBB ID FULL_NAME_ND DSG DMS_LAT DMS_LONG 67203 Rio de Janeiro PPLA -225400 -431400 -22.9 -43.2333333 39870 STM -115100 -450900 -11.45 -45.15 76124 São Sebastião do Rio de Janeiro DBB identifier display-name class gml:y gml:x adlgaz-1-1457057-00 Rio de Janeiro, Estado do - Brazil administrative areas -22.0 -42.5 adlgaz-1-1457059-20 Rio de Janeiro, Serra do - Brazil mountains -17.95 -44.95 adlgaz-1-1457061-32 Rio de Janeiro - Brazil populated places -22.9 -43.2333 adlgaz-1-1437138-6b Janeiro, Rio de - Brazil streams -11.85 -45.15 adlgaz-1-3223719-6f Rio de Janeiro - Loreto, Departamento de - Peru -4.3833 -71.8167

 Definição do problema Solução: Alinhamento de esquemas (schema matching): Dados dois esquemas como entrada, gerar um mapeamento entre os elementos desses esquemas que correspondem semanticamente um ao outro. SA  sb = (sa) SB

Definição do problema Aplicações: Transformação de dados Ex: data warehousing Mediação de consultas Ex: arquitetura de mediadores

? Definição do problema Transformação de dados: DBA DBB “Populated places” ≠ “PPL” ? ______ ______ TA TB DBA DBB

Definição do problema Transformação de dados: DBA DBB “Populated places” “PPL” ______ ______ TA TB DBA DBB

Request “Populated places” Definição do problema Mediação de consultas: TB TA Populated places PPL Client Request “Populated places” Request “PPL” ______ ______ TA TB DBA DBB

? Mediator Definição do problema Mediação de consultas: DBA DBB Populated places Client Request “Populated places” ? “Populated places” “PPL” Mediator ______ Request “Populated places” ______ Request “PPL” ______ TA TB DBA DBB

Definição do problema Como obter os mapeamentos? Manualmente: Nível de esforço linear com relação ao número de mapeamentos Processo tedioso e dispendioso Consome cerca de 40% do tempo de trabalho dos departamentos de TI Abordagens a priori: Requer amadurecimento das técnicas de projeto de BDs Abordagens sintáticas: Suscetíveis a erros Abordagens semânticas: Utilizam instâncias KEENE, C. Data Services for Next-Generation SOAs. SOA WebServices Journal, 4(12), 2004. http://webservices.syscon.com/read/47283.htm CASANOVA, M. A.; BREITMAN, K. K.; BRAUNER, D. F.; MARINS, A. L. Database Conceptual Schema Matching. IEEE Computer Society, Computer, vol. 40,  n. 10,  pp. 102-104,  Oct.,  2007.

Agenda Definição do problema Abordagem proposta Trabalhos relacionados Alinhamento de tesauros Alinhamento de esquemas conceituais Trabalhos relacionados Contribuições Organização da tese Cronograma

Abordagem proposta Alinhamento de esquemas utilizando instâncias Abordagem a priori: descoberta dos mapeamentos antes da implantação do mediador Abordagem adaptativa: descoberta e adaptação dos mapeamentos de forma incremental, utilizando as respostas às consultas dos usuários como evidências dos mapeamentos

Agenda Definição do problema Abordagem proposta Trabalhos relacionados Alinhamento de tesauros Alinhamento de esquemas conceituais Trabalhos relacionados Contribuições Organização da tese Cronograma

Alinhamento de tesauros Utilizando instâncias Identifica instâncias equivalentes Conta os casamentos entre termos de tesauros distintos Define taxa de mapeamento para pares de termos DBA ID FULL_NAME_ND DSG DMS_LAT DMS_LONG LAT LONG 67203 Rio de Janeiro PPLA -225400 -431400 -22.9 -43.2333333 39870 STM -115100 -450900 -11.45 -45.15 DBB identifier display-name class gml:y gml:x adlgaz-1-1457057-00 Rio de Janeiro, Estado do - Brazil administrative areas -22.0 -42.5 adlgaz-1-1457059-20 Rio de Janeiro, Serra do - Brazil mountains -17.95 -44.95 adlgaz-1-1457061-32 Rio de Janeiro - Brazil populated places -22.9 -43.2333 adlgaz-1-3223719-6f Rio de Janeiro - Loreto, Departamento de - Peru -4.3833 -71.8167

Alinhamento de tesauros Abordagem a priori Mapping Rate Estimator Module 1 2 CA CB Thesaurus RA RB Mapping Rates Matrix BRAUNER, D. F.; CASANOVA, M. A.; MILIDIU, R. L. Towards Gazetteer Integration Through an Instance-based Thesauri Mapping Approach. In: Clodoveu A. Davis Jr; Antonio M.V.M. Monteiro. (Org.). Advances in Geoinformatics. Heidelberg: Springer, 2007, v.1, p.235-245.

Alinhamento de tesauros Abordagem a priori: transformação de dados “Populated places” “PPL” ______ ______ TA TB DBA DBB

Alinhamento de tesauros Abordagem adaptativa Client CA CB Query 1 Query Thesaurus Thesaurus 3 Query Manager Module 4 2 Cache 5 Mappings 6 Mapping Rate Estimator Module 8 7 Mapping Rates Matrix BRAUNER, D. F.; CASANOVA, M. A.; MILIDIU, R. L. Mediation as Recommendation: An Approach to Design Mediators for Object Catalogs. In: 5th International Conference on Ontologies, DataBases, and Applications of Semantics, 2006, Montpellier, OTM 2006 Workshops. Berlin/Heidelberg:Springer, 2006. v. 4277. p. 46-47.

Alinhamento de tesauros Abordagem adaptativa: mediação de consultas TB TA Populated places PPL Client ..in a user session.. Request “Populated places” using TA Request “PPL” using TB Mediator Cache Mappings ______ ______ ______ ______ TA TB DBA DBB

Alinhamento de tesauros Geração de tesauro de referência: Abordagem a priori: Assume-se um dos tesauros das fontes como tesauro de referência A pertinência dos elementos é confirmada a partir dos mapeamentos realizados Abordagem adaptativa: Assume-se um dos tesauros das fontes como referência (por exemplo, o da primeira fonte cadastrada) A pertinência dos elementos é confirmada a medida que os mapeamentos são descobertos Novos elementos são incluídos quando novos mapeamentos são descobertos

Agenda Definição do problema Abordagem proposta Trabalhos relacionados Alinhamento de tesauros Alinhamento de esquemas conceituais Trabalhos relacionados Contribuições Organização da tese Cronograma

Alinhamento de esquemas conceituais Utilizando instâncias Utiliza um conjunto de instâncias de referência Conta re-ocorrência dos valores dos atributos Define matrizes de ocorrência Ref. ID NAME IDTYPE LAT LONG 67203 Rio de Janeiro PPLA -22.9 -43.2333333 266178 Alps MTS 46.41666 10.0 433587 Mississippi River STM 29.15105 -89.253342 DBA identifier display-name class gml:y gml:x adlgaz-1-1457057-00 Rio de Janeiro, Estado do - Brazil administrative areas -22.0 -42.5 adlgaz-1-1457059-20 Rio de Janeiro, Serra do - Brazil mountains -17.95 -44.95 adlgaz-1-1457061-32 Rio de Janeiro - Brazil populated places -22.9 -43.2333 adlgaz-1-3223719-6f Rio de Janeiro - Loreto, Departamento de - Peru -4.3833 -71.8167

Alinhamento de esquemas conceituais Abordagem a priori DBA DBB SB Global Instances + Global Schema SG 1 SA RG 2 Query Manager Module 3 Cache 4 Mapping Rate Estimator Module 6 Mappings 5 Occurrence Matrix between SG e SA Occurrence Matrix between SG e SB BRAUNER, D. F.; INTRATOR, C.; FREITAS, J. C.; CASANOVA, M. A. An Instance-based Approach for Matching Export Schemas of Geographical Database Web Services. In: IX Brazilian Symposium on GeoInformatics, 2007, Campos do Jordão. IX Brazilian Symposium on GeoInformatics (GeoInfo 2007), 2007.

Alinhamento de esquemas conceituais Abordagem adaptativa Client DBA DBB SB 1 Query SA 2 Query Manager Module 3 Cache 4 Mapping Rate Estimator Module 6 Mappings 8 5 7 Occurrence Matrix EMI Matrix BRAUNER, D. F.; GAZOLA, A.; CASANOVA, M. A.; BREITMAN, K. K. Matching Schemas of Database Web Services by Mediating User Queries. In: 10th International Conference on Enterprise Information Systems (ICEIS 2008), 12-16, June, 2008. Barcelona, Spain (Submitted).

Alinhamento de esquemas conceituais Geração de esquema conceitual global: Abordagem a priori: O esquema conceitual global é definido a priori A pertinência dos elementos (atributos) é confirmada a partir dos mapeamentos realizados Abordagem adaptativa: Assume-se um dos esquemas conceituais das fontes cadastradas como esquema global (por exemplo, o da primeira fonte cadastrada) A pertinência dos elementos (atributos) é confirmada a medida que os mapeamentos são descobertos Novos atributos são incluídos quando novos mapeamentos são descobertos

Agenda Definição do problema Abordagem proposta Trabalhos relacionados Alinhamento de tesauros Alinhamento de esquemas conceituais Trabalhos relacionados Contribuições Organização da tese Cronograma

Trabalhos Relacionados Rahm e Bernstein (2001) apresentam um survey incluindo diversas técnicas de alinhamento de esquemas conceituais, e propõem uma taxonomia para classificá-las. Bernstein e Melnik (2007) apresentam uma revisão dos requisitos para um Sistema de Gerenciamento de Modelos (que inclui operações para alinhamento de esquemas, diff de esquemas, transformação de dados a partir dos mapeamentos, etc.). Apontam a necessidade de inclusão de um componente para execução dos mapeamentos em runtime. Rahm, E.; Bernstein, P. A. A Survey of Approaches to Automatic Schema Matching, The VDLB Journal, vol. 10, pp. 334–350, 2001. Bernstein, P. A.; Melnik, S. Model management 2.0: manipulating richer mappings. In Proc. of the 2007 ACM SIGMOD International Conference on Management of Data, Beijing, China, 2007. pp.1 - 12.

Trabalhos Relacionados (Wang et al. 2004) Técnica de alinhamento de esquemas baseada em instâncias usando sondagem de consultas específica de domínio, aplicada a bancos de dados na Web Um banco de dados na Web é composto por: Esquema de Interface: o que pode ser consultado Esquema de Resultado: o que é apresentado aos usuários Assume a existência/definição prévia de: um esquema global para bancos de dados na Web de um mesmo domínio um conjunto de instâncias de referência Wang, J., Wen, J. Lochovsky, F.H. and Ma, W. (2004). Instance-based schema matching for web databases by domain-specific query probing, In Proceedings of 30th Intl. Conference on Very Large Data Bases, pp. 408-419.

Trabalhos Relacionados Esquema global + Instâncias de referência Web Database (Esquema de Interface) Instâncias de Referência Title Author Publisher ISBN xxxx xxxxxxx xxxx xxxx Wang, J., Wen, J. Lochovsky, F.H. and Ma, W. (2004). Instance-based schema matching for web databases by domain-specific query probing, In Proceedings of 30th Intl. Conference on Very Large Data Bases, pp. 408-419.

Trabalhos Relacionados Esquema global + Instâncias de referência Web Database (Esquema de Interface) Instâncias de Referência Title Author Publisher ISBN xxxx xxxxxxx xxxx xxxx Result Page (Esquema de Resultado) Wang, J., Wen, J. Lochovsky, F.H. and Ma, W. (2004). Instance-based schema matching for web databases by domain-specific query probing, In Proceedings of 30th Intl. Conference on Very Large Data Bases, pp. 408-419.

Agenda Definição do problema Abordagem proposta Trabalhos relacionados Alinhamento de tesauros Alinhamento de esquemas conceituais Trabalhos relacionados Contribuições Organização da tese Cronograma

Contribuições Técnicas baseadas em instâncias para alinhamento de: esquemas de classificação (tesauros) esquemas conceituais Classificação das técnicas em a priori e adaptativas Técnicas para, a partir destes alinhamentos, criação de: esquemas de classificação (tesauros) de referência esquemas conceituais globais

Agenda Definição do problema Abordagem proposta Trabalhos relacionados Alinhamento de tesauros Alinhamento de esquemas conceituais Trabalhos relacionados Contribuições Organização da tese Cronograma

Organização da tese Introdução Trabalhos relacionados Alinhamento de tesauros Alinhamento de esquemas Conclusões

Agenda Definição do problema Abordagem proposta Trabalhos relacionados Alinhamento de tesauros Alinhamento de esquemas conceituais Trabalhos relacionados Contribuições Organização da tese Cronograma

Cronograma

Alinhamento de esquemas baseado em instâncias PROPOSTA DE DOUTORADO Daniela F. Brauner Orientador: Prof. Marco Antonio Casanova