2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Formatos de metadados para bibliotecas, arquivos e museus Tendências -Garantia de interoperabilidade.

Apresentação em tema: "2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Formatos de metadados para bibliotecas, arquivos e museus Tendências -Garantia de interoperabilidade."— Transcrição da apresentação:

1 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Formatos de metadados para bibliotecas, arquivos e museus Tendências -Garantia de interoperabilidade Marcia Lei Zeng, Kent State University, USA

2 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Introdução 1.1 O movimento dos metadados desde os anos 90s Crescimentos excepcional da World Wide Web e dos recursos na Web A emergência das bibliotecas digitais  Muitas bibliotecas, arquivos e museus estão envolvidos com o desenvolvimento das coleções digitais, bibliotecas digitais, exibições digitais, etc. A necessidade de descrever e de organizar os estoques de recursos disponíveis na Web a partir de bibliotecas digitais e repositórios

3 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil A necessidade de metadados na sociedade Conhecimento Informação Dados

4 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Proliferação dos esquemas de metadados Esquemas de metadados têm sido desenvolvidos desde os anos 90 para diferentes tipos de recursos e para diferentes funções.

5 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil 1.2 Principais padrões de metadados para bibliotecas, arquivos e museus MARC  MODS (Metadata Object Description Schema)  MARCXML Dublin Core EAD (Encoded Archival Description) Categories for the Description of Works of Art (CDWA) VRA Core Categories Learning Object Metadata (LOM)

6 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Padrões de Metadados Existentes Descri ç ão bibliogr á fica (geral)  MARC (Machine Readable Cataloging)  Dublin Core Element Set  GILS (Government Information Locator Service)  RFC 1807 (Format for Bibliographic Records)  TEI Headers (Text Encoding Initiative)  MCF (Meta Content Format)  PICS (Platform for Internet Content Selection)  SOIF (Summary Object Interchange Format) Dados num é ricos  ICPSR Data Documentation Initiative  Standard for Survey Design and Statistical Methodology Metadata (SDSM) Dados geoespaciais  Content Standards for Digital Geospatial Metadata (CSDGM)

7 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Imagens and objetos  Categories for the Description of Works of Art (CDWA)  VRA Core Categories  MESL (Museum Education Site Licensing Project) Data Dictionary  Object ID Checklist  NISO Metadata for Images in XML Schema (MIX)  IPTC (International Press Communications Council) Core Descri ç ão do Plano da Cole ç ão  EAD (Encoded Archival Description) DTD  Z39.50 Profile for Access to Digital Collection Educa ç ão  Instructional management Systems (IMS)  The Gateway to Educational Materials (GEM) Schema  DC Education Schema  Learning Objects Metadata (LOM)  The Sharable Content Object Reference Model (SCORM) Computa ç ão para a Internet  CORBA (Common Object Request Broker Architecture) Padrões de metadados existentes (cont.)

8 Preservação e objetos digitais  CEDARS Project: CEDARS Preservation Metadata Elements  National Library of Australia. Preservation Metadata for Digital Collections:Exposure Draft  Networked European Deposit Library. Metadata for Long Term Preservation  PREMIS (PREservation Metadata: Implementation Strategies)  Open Archival Information System (OAIS) Comércio eletrônico  The INDEXS project  ONIX (Online Information Exchange)  Publishing Requirements for Industry Standard Metadata (PRISM) Gerenciamento de Direitos  Rights Metadata  DOI -- Digital Object Identifier Mídia-específica  MPEG-4 and MPEG-7 for Audio and Video Música  Standard Music Description Language (SMDL), ISO/IEC 10743

9 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Padrões de metadados sobrepostos Não existe limite para o tipo ou a quantidade de recursos que podem ser descritos pelos metadados. Um padrão de metadados pode ser desenvolvido ou proposto para qualquer área que tiver interesse na recuperação e compartilhamento de recursos eletrônicos. Não existe limite para o número de padrões de metadados sobrepostos para qualquer tipo de recurso ou qualquer assunto específico. Ex., para se descrever recursos de museus ou recursos visuais existem pelo menos, 9 esquemas de metadados muito bem estruturados e muito bem documentados Não existe limite para os tipos de profissões ou assuntos específicos que poderiam estar envolvidos no desenvolvimento e aplicação de padrões de metadados

10 1.3. Diferentes fases dos projetos de bibliotecas digitais Select a schema Finding out users ’ needs Providing search for this collection Providing search across collections Building a digital collection Federated search

11 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil No in í cio da fase: selecionar ou criar um esquema  Que padrão de metadado n ó s dever í amos escolher?  N ó s dever í amos adaptar um esquema completo?  N ó s precisamos modificar um esquema?  Parece que 3 esquemas são ú teis para n ó s. N ó s dever í amos adaptar os 3 esquemas?  O nosso projeto utiliza o mesmo esquema que outro projeto Decisões sobre os metadados em diferentes fases (1)

12 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Na fase de constru ç ão da cole ç ão digital  Eu descobri que os nossos registros de metadados são muito simples e faltam dados importantes. O quê eu deveria fazer agora?  Eu gostaria de fundir com os registros de outra cole ç ão. Mas eles utilizam um formato diferente. O quê eu devo fazer? Decisões sobre os metadados em diferentes fases (2)

13 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Na fase da busca unificada e depois da integração  Um grande projeto de biblioteca digital solicitou os nossos metadados para integrar o seu repositório. Entretanto, o nosso formato é diferente do deles. O que nós deveríamos fazer?  Nós gostaríamos de de nos juntar a um catálogo coletivo e oferecer uma interface única para busca de todos os dados de várias coleções. Mas, nós temos formatos diferentes. Como poderíamos oferecer uma busca unificada? Decisões sobre os metadados em diferentes fases (3)

14 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil TENDÊNCIAS A necessidade de metadados na sociedade Interoperabilidade dos metadados “O movimento dos metadados” nos anos 90

15 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil 1.4 Interoperabilidade dos metadados -- Por quê é importante? Conciliar diversos esquemas num ambiente particular de busca Compartilhar e trocar dados Busca “One-stop” sem cortes (“unificada”) Interoperabilidade dos metadados: a habilidade de vários sistemas, que usam diferentes plataformas de hardware e de software, diferentes estruturas de dados e diferentes interfaces em trocar e compartilhar dados. -- NISO, Understanding Metadata http://www.niso.org/standards/resources/UnderstantingMetadata.pdf

16 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Princípios dos metadados  Simplicidade  Modularidade  Reutilização  Extensibilidade  Interoperabilidade 2. Implementação da Interoperabilidade em vários níveis

17 Records Repository Schema A Schema B Schema C Application Profile a b c d Os vários níveis dos projetos de metadados

18 2.1 Nível de esquema Source schema e.g. ： DC, VRA Core New schema 2.1.1 Origem Adaptação, modificação, expansão, adaptação parcial, tradução, etc. Esquema novo depende do esquema fonte

19 MARC MODS MARC XML Mudança no formato de codificação, manuteñção dos elementos originais 2.1 Nível de esquema 2.1.1 Origem Adaptação, modificação, expansão, adaptação parcial, tradução, etc. Esquema novo depende do esquema fonte

20 Versão reduzida, versão traduzida 2.1 Nível de esquema MARC Lite DC DC in Various languages 2.1.1 Origem Adaptação, modificação, expansão, adaptação parcial, tradução, etc. Esquema novo depende do esquema fonte MARC MODS MARC XML

21 Dublin Core DC-ED -- audience ETD-MS* -- thesis.degree (name,level,disci pline,grantor) Expansão 2.1 Nível de esquema *ETD-MS: an Interoperability Metadata Standard for Electronic Theses and Dissertations 2.1.1 Origem Adaptação, modificação, expansão, adaptação parcial, tradução, etc. Esquema novo depende do esquema fonte

22 ETDmetadatarepository Other Harvesters Other Harvesters MTD-BrOAI-PMHMTD-BrOAI-PMH Data Providers Etd-msDCEtd-msDC Harvester IBICT BDTD BDTD Biblioteca Digital de Teses e Dissertações Source: Pavani & Maffia. BDTD - The Brazilian National ETD Project. ETD 2005 The Brazilian National ETD Project. ETD 2005

23 BDTD member institutions & numbers of ETDs – Sep 27, 2005 BDTD BDTD Biblioteca Digital de Teses e Dissertações Source: Pavani & Maffia. BDTD - The Brazilian National ETD Project. ETD 2005 The Brazilian National ETD Project. ETD 2005

24 2.1.2 Perfil de aplicação -- como aqueles esquemas que contém elementos de dados desenhados de um ou mais namespaces* -- Nunca take it or leave it, sempre take what you want, create what you need 2.1 Nível de esquema Schema A Schema B Schema C Application Profile * para definir o contexto de um termo em particular, garantindo assim que o termo tenha uma definição única nos limites do namespace declarado. (Duval et al., 2002)

25 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Perfis de aplicação definições básicas Um perfil de aplica ç ão (PA) é um relat ó rio onde os termos são utilizados por uma organiza ç ão, um recurso informacional, uma aplica ç ão ou uma comunidade de usu á rio para o metadado. --Baker, 2003 for Dublin Core Metadata Initiative (DCMI) Usage Board). Um perfil de aplica ç ão é uma reunião de elementos dos metadados selecionados de um ou mais esquemas de metadados e combinados em um esquema composto. -- Duval, E., et al. Metadata Principles and Practicalities D-Lib Magazine, April 2002

26

27 DC.Identifier DC.Title DC.Creator DC.Subject DC.Description DC.Publisher DC.Contributor DC.Date DC.Type DC.Format DC.Language DC.Coverage DC.Relation DC.Rights AGLS elements supported by AVEL AGLS.Availability AVEL METADATA ELEMENT LIST Dublin Core elements supported by AVEL EDNA elements supported by AVEL EdNA.Review Administrative elements supported by AVEL AC.Creator AC.DateCreated AVEL.Comments

28 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Projeto dos perfis de aplicação  Selecionar o namespace da “ base ” de metadados  Selecionar os elementos de outros namespaces de metadados  Definir elementos dos metadados locais  Impor a aplica ç ão dos elementos Imposi ç ão fundamental Restri ç ão do espa ç o para o valor Especifica ç ão de relacionamento e dependência

29 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Perfis de aplicação Dublin Core DC-Library Application Profile (DC-Lib)  esclarece o uso do conjunto de elementos do metadado DC em bibliotecas e em aplicações e projetos relacionados com bibliotecas DC Government Application Profile  esclarece o uso do DC no contexto governamental DC Collection Description Application Profile

30 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Source: CORES Registry. http://cores.dsd.sztaki.hu/http://cores.dsd.sztaki.hu/

31 2.1.3 Cruzamentos Cruzamentos entre elementos Esquemas são independentes Schema ASchema B 2.1 Nível de esquema Source definition Target definition Mapping definition Mapping template Mapping template language Source Metadata Target Metadata

32 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil 2.1.3 Cruzamentos Exemplos de cruzamentos: MARC21 para Dublin Core MARC para UNIMARC VRA para Dublin Core ONIX para books to MARCXML FGDC para MARC EAD para ISAD(G) ETD-MS para MARCXML Dublin Core/MARC/GILS MARC/LOM/DC ADL/FGDC/MARC/GILS Etc., etc., etc.

33 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Objetivo Fonte Cruzamento Absoluto Cruzamento Relativo VRA Core (3.0)Dublin Core (com qualificadores) Título Título. Variante Título. Tradução Título. Série Título.Entidade Maior Título Título. Alternativo Técnica Formato Localização. Repositório atual Colaborador, Cobertura Duas abordagens ------------------------

34 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil 2.1.3 Cruzamentos Mais operacional se delineado de esquema complexo para simples – one way street Vários graus de equivalência:  One-to-one, one-to-many, many-to-one, one-zero Mais operacional se o número de esquemas envolvidos for pequeno Delinear múltiplos esquemas é extremamente trabalhoso, intensivo e requer um enorme esforço intelectual

35 2.1.4 Transferência Schema ASchema BSchema CSchema D Switch 2.1 Nível de esquema

36 Getty ’ s Crosswalk from CDWA to 7 Schemas http://www.getty.edu/research/conducting_research/standards/introm etadata/3_crosswalks/

37 2.1.5 Registros dos metadados Funcionalidades do arquivo de metadados: registro e publicação do esquema e perfis de aplicação gerenciamento busca e recuperação cruzamento e links de cruzmento Schema A Schema B Schema C Metadata Registry 2.1 Nível de esquema

38 Componentes fundamentais do arquivo Modelos de dados Identificação dos elementos Identificação do esquema (conjuntos de elementos) Identificação da codificação do esquema Identificação do perfil de aplicação Identificação do uso do elemento Identificação do cruzamento do elemento 2.1 Nível de esquema 2.1.5 Registros dos metadados Schema A Schema B Schema C Metadata Registry

39 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Extensões de diferentes arquivos (1) Domínio-cruzado e arquivo de esquema- cruzado.  Por exemplo, o arquivo UKOLN (UK Office for Library Networking)'s SCHEMAS http://www.schemas- forum.org/registry/.http://www.schemas- forum.org/registry/  Agora, intitulado arquivo CORES http://cores.dsd.sztaki.hu/ http://cores.dsd.sztaki.hu/

40 Partners PricewaterhouseCoopers Fraunhofer Gesellschaft Computer and Automation Research Institute, Hungarian Academy of Sciences (MTA SZTAKI) UKOLN, University of Bath

41 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil

42

43 Extensões de diferentes arquivos (cont.) (2) Domínio-específico, arquivo de esquema- cruzado.  For exemplo, o arquivo UKLON's MEG (Metadata for Education Group) facilita o registro do esquema num domínio educacional. (3) Arquivo de um projecto-específico.  O arquivo de metadados da European Library (TEL) foi estabelecido com o objetivo de registrar todas as atividades de metadados associadas à TEL. (4) Arquivo de esquema-específico  Registro DC

44 Dublin Core Metadata Registry （ page 1 ） elements Element refine- ments

45 Element Refine- ments Controlled Vocabulary Terms Vocabulary and Encoding Schemes Dublin Core Metadata Registry (page 2 ）

46 Records Vários níveis dos projetos de metadados Application Profile Schema A Schema B Schema C

47 Records 2.2.1 Conversão de registros Ex.: MARC record  MODS record MARC record  MARCXML record LOM record  DC record 。。。 2.2 Nível de registro

48 ADLstandard report ADLXML report

49 The ADL record is converted to DC record

50 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Desafios da conversão de dados Relacionamentos de combinação complexa One-to-One One-to-Many Many-to-One One-to-Zero Overlapping horizontally or vertically Controlled value spaces Como se designam nos cruzamentos: Como existem nos esquemas verdadeiros: B1 A1 B1 A1=B1 A1 B1

51 record New record 2.2.2 Reutilização de Dados -- criação de novos registros de metadados 2.2 Nível de registro

52 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Revisão dos princípios de metadados  Simplicidade  Modularidade  Reutilização  Extensibilidade  Interoperabilidade Administrativ e metadata Descriptive metadata Technical metadata Use metadata Preservation metadata

53 METS - Metadata Encoding and Transmission Standard (Codificação dos metadados e padrão de transmissão) Fonte: Rebecca Guenther and Sally McCallum, New Metadata Standards For Digital Resources: MODS and METS. ASIST Bulletin, Dec/Jan 2002, Vol.29, No.2 A arquitetura METS 2.2 Nível de registro

54 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil

55

56

57

58 Codificação dos metadados e padrão de transmissão (METS) Um padrão para empacotar os metadados descritivos, administrativos e estruturais em um documento XML Uma estrutura para combinar diversas estruturas internas de metadados com esquemas externos (é o caso do MODS ou MIX) A seção de metadados descritivos pode apontar para o metadado descritivo externo ao documento METS http://www.loc.gov/standards/mets/METSOverview.v2.html

59 Records Repository Vários níveis dos projetos de metadados Application Profile Schema A Schema B Schema C

60 Fonte: NSDL: Core Integration, Technical Overview, 2001 Metadata repository Collection OAI Protocol FTP xfer automatic gathering Search & Discovery Advanced Discovery user profiles Access Management Usúários Portais

61 Open Archives Initiative (OAI) 2.3 Nível de repositório OPAC image FTXT A&I e-print Antes do uso da OAI

62 Open Archives Initiative (OAI) metadata OPACimageFTXTA&Ie-print

63 metadata OPACimageFTXTA&Ie-print Creator Title Description Identifer Subject Type Format Open Archives Initiative (OAI)

64 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Vantagens da abordagem OAI 1. Os materiais podem ser amplamente acessados; 2. Os materiais podem ser explorados para diferentes propósitos por aqueles que originalmente motivaram a criação desses repositórios; 3. Serviços novos e melhorados podem ser construídos devido à possibilidade de acessar múltiplos repositórios; e 4. Há uma economia no custo em potencial inerente aos novos modelos de processos de comunicação científica que podem ser realizados a partir de uma abordagem com arquvos abertos. Resumido por Carpenter (2003)

65 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Conclusão -- Tendência: garantia da interoperabilidade dos metadados “ No ambiente das bibliotecas digitais de hoje, onde diversas cole ç ões precisam ser unificadas e ligadas em um recurso ú nico, n ó s somos testemunhas do crescimento de diferentes metadados e da tentativa de harmonizar os recursos p ú blicos nos padrões sobrepostos existentes. ” -- Zorana Ercegovac. (1999). Introduction. Special topic issue: Integrating multiple overlapping metadata standards. Journal of The American Society for Information Science, 50(13):1165-1168.

66 Considere: 1. Em que fase está o meu projeto? Select a schema Finding out users ’ needs Providing search for this collection Providing search across collections Building a digital collection Federated search

67 Records Repository Application Profile Schema A Schema B Schema C a b c d Considere: 2. Em que fase o meu projeto deveria tratar a questão de interoperabilidade?

68 Considere: Eu posso usar qualquer um desses métodos? 1. Nível de esquema 1. origem 2. perfil de aplicação 3. RDF 4. cruzamentos 5. Transferências- cruzadas 6. estrutura (DLESE) 7. arquivo 2. Nível de registro 1. conversão de dados 2. Reutilização de dados, integração (METS) 3. Nível de repositório 1. protocolo OAI 2. delineamento do arquivo de autoridade 3. delineamento da co- ocorrência de metadados 4. registros enriquecidos (NSDL) Eu acredito que os métodos (em vermelho) deveriam ser considerados pelas bibliotecas brasileiras.

69 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Conclusão Interoperabilidade – um tema over-riding no ambiente digital e em rede Exigência de um esforço enorme, humano e mecânico Perfis de aplicação, arquivos de metadados, repositórios digitais baseados no protocolo OAI deveriam ser considerados no Brasil, em primeiro lugar, pelas comunidades das bibliotecas, dos arquivos e dos museus.

70 2° Congresso INTEGRAR, June 2006, São Paulo, Brasil Obrigada! Questões? mzeng@kent.edu Esta conferência baseou-se no trabalho de Marcia Zeng intitulado ‘Metadata Interoperability” apresentado no 2 nd Advanced Digital Library Seminar em Xiamen, China, de 4-8 de julho de 2005. O artigo completo produzido com a Profa. Lois Chan foi publicado no D-Lib Magazine de junho de 2006.