A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Apresentação Defining a Quality Model for Digital.

Apresentações semelhantes


Apresentação em tema: "Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Apresentação Defining a Quality Model for Digital."— Transcrição da apresentação:

1 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Apresentação Defining a Quality Model for Digital Libraries Bárbara Lagoeiro Moreira

2 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Motivação O que seria uma boa biblioteca digital? Hipótese: Teoria formal pode ajudar a definir o que é uma boa biblioteca digital: –Formalização de indicadores de qualidade dentro do modelo 5S. –Contextualização dos indicadores propostos dentro do ciclo de vida da informação

3 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Contexto(1/2) Para cada conceito principal de bibliotecas digitais, é formalmente definido um número de: –Dimensões de qualidade...e são propostos: –Um conjunto de indicadores numéricos para estas dimensões.

4 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Contexto(2/2) Catálogo Coleção Objeto Digital Metadados Repositório Serviços Accuracy Completeness Conformance Completeness Impact Factor Completeness Consistency Acessibility Pertinence Preservability Relevance Similarity Significance Timeliness Completeness Consistency Composability Efficiency Effectiviness Extensibility Reusability Reliability Indicadores Numéricos

5 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Objetos Digitais – Acessibility (1/3) Um objeto digital é acessível por um ator da biblioteca, se: –Ele existe nas coleções da biblioteca; –É possível recuperá-lo pelo repositório –Ele não apresenta restrições de acesso: Por metadados (rights) Ou, se existe política restritiva, esta não restringe a comunidade a que pertence o ator, ou o ator em particular.

6 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Objetos Digitais – Acessibility (2/3) A Accessibility de um objeto do x por um ator ac x, é dado por: –0, se do x não pertence a nenhuma coleção da biblioteca –Do contrário: Acc = ( z e streams de do r(ac x )) / |streams(do x )| –r(ac x ): 1, se z não tem restrições de acesso, ou se tem, não proíbe ac x 0, do contrário.

7 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Objetos Digitais – Acessibility (3/3) Exemplo: Virginia Techs ETD: LetterUnrestrictedRestrictedMixedAcessibility for users not in VT A164505Mix(0.5,0.5,0.167, ,0.6) Unrestricted: acessibilidade = 1, para todos Restricted: acessibilidade = 1 para VTcm, e 0 para fora de VTcm Mixed: exemplo: 5 dos 6 capítulos(streams) do 3o documento misto são disponíveis só para VTcm. A acessibilidade para fora da VTcm é 1/6 =

8 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Objetos Digitais – Pertinence(1/2) Depende muito do ator: Relação entre a informação que um objeto digital carrega e a necessidade de informação de um ator. Definições: –Inf(do i ) = informação de um objeto digital –IN(ac j ) = necessidade de informação de um ator –Context jk = fatores que podem impactar sobre o julgamento de pertinência por ac j no tempo k (ex: lugar, história de interação do ator, tarefa em questão...)

9 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Objetos Digitais – Pertinence(2/2) Pertinence(do i, ac j ): Inf(do i ) IN(ac j ) Context jk Definida como: –1, se Inf(do i ) é julgada como informativa, em relação a IN(ac j ) no contexto Context jk ; –0, de outra forma Muito subjetiva! Depende do usuário.

10 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Objetos Digitais – Preservability(1/3) Reflete o estado do objeto, que pode variar em relação a mudanças de: –HW (novas tecnologias de gravação) –SW (nova versão de SW que cria o objeto) –formatos padrão (novos padrões para representar imagens) –e processos (migração).

11 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Objetos Digitais – Preservability(2/3) Preservability de um objeto pode ser afetada por: –sua obsolescência: objeto obsoleto é difícil de migrar, pode ser definida como custo da migração do objeto. –pela fidelidade do processo de migração: reflete a distorção do processo de migração, pode ser definida como inverso da distorção do objeto, causada pelo processo Preservability(do i,dl)= (fidelidade na migração(do i,format x,,format y ), obsolescência(do i,dl)).

12 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Objetos Digitais – Preservability(3/3) Exemplo: –1.000 imagens, em TIFF versão 5, –Migração para JPEG –Custo de migração: ferramenta de $500, horas de trabalho, a $66,6 a hora. –Compressão: distorção de 9 por imagem. –Preservability = (1/9, ($ *$66,6)/1.000) = (0,11, $1,83) (f,o)

13 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Objetos Digitais – Relevance (1/2) Contexto: relevância de um objeto em relação a uma consulta, ou um perfil, dentro do contexto de um serviço (Busca, recomendação). Relevância é uma relação entre a representação de um documento e a representação de uma necessidade de informação. != de Pertinência!!

14 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Objetos Digitais – Relevance (2/2) Relevance(do i, q) é definida como: –1, se do i é julgado como relevante para q, por um juiz externo –0, do contrário Relevância pode ser estimada, tendo como base propriedades dos streams do objeto digital. Ex: Medida do cosseno. Define uma noção objetiva, diferente de Pertinência.

15 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Objetos Digitais - Significance Pode ser vista como: – Relevância –Em termos absolutos, calculada pelo # de citações de um documento. Exemplo: ACM – DL –Mais citado/significante Computer Programming Art, CACM, 1974, 279 citações.

16 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Objetos Digitais - Similarity Reflete o quão relacionados são 2 objetos. Define-se a Similaridade em relação a: –Conteúdo (Bag-of-words) –Organização interna (Okapi, medida do cosseno) –Citações (cocit, bibcoup, Amsler) Pode ser usada em serviços de classificação automática

17 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Objetos Digitais - Timeliness Representa atualização do objeto: –(data atual ou última atualização da coleção) – (data da última citação), se o objeto foi citado –(data atual ou ultima atualização da coleção) – (data da criação ou publicação), se o objeto nunca foi citado

18 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Esp. de Metadados – Accuracy (1/2) A Accuracy de uma especificação de metadados é dada pelo somatório do grau de accuracy de seus atributos. O grau de Accuracy de um atributo a se refere á proximidade do valor v de a de um valor v definido como correto para a. Regras devem ser definidas: valor correto e proximidade deste valor.

19 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Esp. de Metadados – Accuracy (2/2) Exemplo de regras: –Grau de accuracy para atributo título: é 1 se não conter informação sobre autores; do contrário é 0.5. –Grau de accuracy para atributo sumário: é 0 se contiver frases como Title from *, Includes bibliographical references; é 0 se for igual a Thesis ou Dissertetion; do contrário é 1.

20 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >>Esp.de Metadados-Completeness(1/2) Grau com o qual os valores estão presentes de acordo com o padrão de metadados. Ou está presente, ou não. Completeness(ms x ) = 1 - (# de atributos ausentes na ms x / total de atributos do schema ao qual a ms x segue)

21 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >>Esp.de Metadados-Completeness(2/2) Exemplo: Especificações de Metadados da NDLTD Union Archives, de acordo com o padrão de metadados DC (15 atributos)

22 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >>Esp.de Metadados–Conformance(1/3) A Conformance de uma especificação de metadados é dada pelo somatório da conformidade de seus atributos O valor de um atributo está em conformidade com o schema, se ele pertence ao domínio de valores definido para o atributo (string, date, number). Conformidade do atributo é 1, se obedece os requisitos, e 0 do contrário.

23 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >>Esp.de Metadados–Conformance(2/3) Cardinally Conformance: definição mais forte: –Valor do atributo deve obedecer domínio definido no esquema. –Cada atributo deve aparecer ao menos uma vez, se este está definido como obrigatório no esquema. –Um atributo não pode aparecer mais de uma vez, se este estiver definido sem a possibilidade de repetição.

24 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >>Esp.de Metadados–Conformance(3/3) Exemplo: ETD Union Archive: – padrão de metadados EDT-MS: – (6 atributos obrigatórios, domínio de dc.type:{Collection,Dataset,Event, Image, InteractiveResource, Software, Sound, Text, PhysicalObject, StillImage, MovingImge, Eletronic Thesis or Dissertation}).

25 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Coleção – Completeness (1/2) Uma coleção completa contém todos os objetos digitais existentes que deveria conter. Mais fácil de estimar para coleções baseadas em outras (harvesting). Completeness(C x )= |C x | / |coleção ideal|

26 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Coleção – Completeness (2/2) Exemplo: ACM Guide, considerado boa aproximação para coleção ideal de computação. ColeçãoGrau de Completeness ACM Guide1 DBLP0.652 CITIDEL0.467 IEEE-DL0.168 ACM-DL0.146

27 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Coleção – Impact Factor Impact Factor CIF: # de citações ou links para objetos digitais da coleção em questão. Imapct factor eCIF: elimina auto- citações. Exemplo: –ACM-DL (referência) e DBLP (inclui ACM- DL). ACM-DLDBLP CIF eCIF

28 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Catálogo – Completeness A completeza de um catálogo(DM c ) é definida por: –Completeness(DM c ) = 1 – (# de objetos digitais sem esp. de metadados / tamanho da coleção) Exemplo: –Apenas 103, dos registros de um catálogo são extraídos: –1-( )/4.446 = 0.023

29 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Catálogo – Consistency A consistência de um catálogo é definida como: –0,se houver pelo menos um conjunto de especificação de metadados atribuído a mais que um objeto digital. –1, do contrário.

30 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Repositório – Completeness Um repositório completo contém todas as coleções que deveria conter. Completeness(R x )= # de coleções em R x | / # ideal de coleções Exemplo: –ACM Guide, como repositório de referência, considerando 11 de suas coleções, temos que a completeza do repositório da CITIDEL(ACM, IEEE, NCTRL, NDLTD-CS), pode ser definida por: 4/11 = 0.36

31 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Repositório – Consistency Se um repositório armazena coleções com seus catálogos de metadados correspondentes, então, a consistência do repositório pode ser definida como: –1, se a consistência de todos os catálogos, em relação às suas coleções descritas for 1. –0, do contrário.

32 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Serviços - Extensibility Serviço A estende o serviço B, se A inclui o comportamento de B e potencialmente inclui sub-fluxos condicionais de eventos. Serv = conjunto de serviços; SM = conjunto de gerentes que executam os serviços: – Macro-Extensibility(Serv) = # de serviços que são estendidos/ # total de serviços –Micro-Extensibility(Serv) = # de linhas de código dos gerentes que executam serviços estendidos/ total de linhas de código dos gerentes.

33 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Serviços – Reusability (1/2) Serviço A reusa o serviço B, se o comportamento de A incorpora o comportamento de B. Serv = conjunto de serviços; SM = conjunto de gerentes que executam os serviços: – Macro-Reusability(Serv) = # de serviços que são reusados/ # total de serviços –Micro-Reusability(Serv) = # de linhas de código dos gerentes que executam serviços reusados/ total de linhas de código dos gerentes.

34 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Serviços – Reusability (2/2) Exemplo: SMComponentLOC Implemeting LOC Reused Total LOC 1Yes No100- 3Yes-700 4No200- 5No50- 6No No550- 8No250- Total: Macro-Reusability= 2/8 = 0.25, Micro-Reusability = 2350/5300 = 0,44

35 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Serviços – Effectiviness Quão bom foi o resultado? Normalmente está relacionado a serviços de satisfação de informação. Medidas mais comuns: Precisão, Revocaçãol, F1, 10-precision, R- Precision

36 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Serviços – Efficiency (1/2) Diferença entre tempo de requisição e tempo de resposta: –t(e) é o tempo em que ocorre um evento e –e ix e e fx são os eventos inicial e final do service se x. –Para o serviço se x, efficiency é definida como: Efficiency(se x ) = t(e fx ) - t(e ix )

37 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Serviços – Efficiency (2/2) Exemplo: –Serviço de indexação: 0.40 GB/hora –Serviço de Busca: 1.2 segundos/consulta

38 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Serviços – Reliability (1/2) Indica a probabilidade com a qual um serviço não falhará durante um dado período de tempo. –Reliability(se x ) = 1 – (# de falhas/ # de acessos a se x )

39 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Dimensões >> Serviços – Reliability (2/2) Exemplo: Serviços da CITIDEL Serviço# falhas/#acessosreliability Busca73/ ,994 Navegação4.130/ ,973 Requisição1.569/ ,995 Busca Estruturada 214/7520,66 Contribuição0/9801

40 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Qualidade e o Ciclo de Vida da Informação Informação nas bibliotecas digitais está contida nos objetos digitais e suas especificações de metadados. Assim, as dimensões de qualidade propostas para esses 2 conceitos, podem ser conectadas ao ciclo de vida da informação nas bibliotecas digitais.

41 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Qualidade e o Ciclo de Vida da Informação Tais conexões podem ser utilizadas para determinar: –Quando e onde pode-se medir, avaliar e aprimorar as questões de qualidade –Como problemas de qualidade podem ser prevenidos, detectados e eliminados.

42 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Qualidade e o Ciclo de Vida da Informação

43 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Avaliação 3 biblitecários, com experiência prática com bibliotecas digitais. Pontos levantados: –Foco definido sobre bibliotecas digitais, não bibliotecas traditionais –Alguns indicadores pode ter uso mais teórico que prático em alguns contextos –Gostaram da estratégia minimalista –Interessante e potencialmente útil para aprendizado e avaliação.

44 Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Referência Arcabouço teórico sobre dimensões de qualidade para avaliar bibliotecas digitais Streams, Structures, Spaces, Scenarios, and Societies: A Formal Framewrok for Digital Libraries and Its Applications: Defining a Quality Model fopr Digital Libraries (Capítulo 8)


Carregar ppt "Modelo de Qualidade Bibliotecas Digitais DIMENSÕES CONTEXTO MOTIVAÇÃO CICLO DE VIDA AVALIAÇÃO REFERÊNCIA Apresentação Defining a Quality Model for Digital."

Apresentações semelhantes


Anúncios Google