Anotação semântica de dados multimídia Paulo Bittencourt Moura CIn - UFPE

Agenda Introdução Anotação semântica por feedback Anotação semântica com ontologias MPEG-7 e a web semântica Sistemas e ferramentas Considerações finais

Introdução Recuperação baseada em texto Recuperação baseada em conteúdo Recuperação baseada em semântica

Anotação semântica por feedback Feedback utilizado para “aprender” semântica Mesclam palavras chaves com dados visuais Utilizam técnicas de IA para efetuar agrupamentos

Anotação semântica por feedback (2) [2003, Zhang] Propaga rotulações durante processo de feedback Utiliza modelos probabilístico para agrupamento e propagação de anotações

Anotação semântica por feedback (3) [2004, Gosselin and Cord] Vetor de relevância para cada busca 1 – relevante 0 – não classificado -1 – irrelevante Faz soma ponderada das buscas Considera competência do usuário Matriz de similaridade compactada

Anotação semântica por feedback (4) [2005, WANG and ZHANG] Descrição em dois níveis: categoria e palavras-chave Redes semânticas ponderadas Hierarquia de palavras-chave

Anotação semântica com ontologias O uso de ontologias altera a anotação em alguns sentidos como: Guiam o processo de anotação Explicitam a relação entre agentes, propriedades etc. Ontologia trazem consigo conhecimento adicional itens que não se enquadram na busca podem ser recomendados

Anotação semântica com ontologias (2) [2002, Hyovonen e Raatikka] Eventos promocionais da Universidade de Helsinki Consultas na forma classe=instancia ou classe=subclasse Contador de visitas para recomendar imagens mais populares Mantém log das sessões para não repetir as recomendações RDF(S)

Anotação semântica com ontologias (3) [2001, Schreiber, Dubbeldam, Wielemaker e Wielinga] Anotações de imagens de macacos Terminologia geral (Wordnet e ICONCLASS) Ontologia de anotação + ontologia de domínio RDF(S)

Anotação semântica com ontologias (4) [2007 Leslei, Chua e Ramesh] Anotação de pinturas Ontologia baseada em AAT e ULAN Usa algorítmos probabilísticos para anotações sobre cores e estilos de pinceladas Heurísticas do domínio artístico para anotação sobre autor, escola e período Ontology-base Concept Desambiguation (OCD)

MPEG-7 e Web Semântica MPEG-7 especifica uma forma padronizada de descrever vários tipos de conteúdo multimídia independente de sua forma de representação ou armazenamento Elementos básicos Descriptors (D) Description Schemes (DS) Description Definition Language (DDL) System Tools

MPEG-7 e Web Semântica MPEG-7 - divisão Parte 1: Systems Parte 2: DDL Parte 3: Visual Parte 4: Audio Parte 5: Generic Entities and MDS Parte 6: Reference Software Parte 7: Conformance Testing Parte 8: Extraction and Use of MPEG-7 Descriptions Parte 9: Profiles and levels Parte 10: Schema Definition

MPEG-7 e Web Semântica MPEG-7 e Web Semântica MPEG-7 - falha em interoperabilidade semântica Anotação com texto livre <FreeTextAnnotation xml:lang="en">Zinedine Zidane scoring against England.</FreeTextAnnotation> Anotação com palavras-chave <KeywordAnnotation xml:lang="en"> <Keyword>Zinedine</Keyword> <Keyword>Zidan</Keyword> <Keyword>scoring</Keyword> <Keyword>England</Keyword> <Keyword>goal</Keyword> </KeywordAnnotation>

MPEG-7 e Web Semântica MPEG-7 e Web Semântica MPEG-7 - falha em interoperabilidade semântica Anotação estruturada com rótulos <StructuredAnnotation> <Who> <Name xml:lang="en">Zinedine Zidane</Name> </Who> <WhatAction> <Name xml:lang="en">Zinedine Zidane scoring against England.</Name> </WhatAction> </StructuredAnnotation> <Semantic id="FormalAbstractionDescription"> <SemanticBase xsi:type="AgentObjectType" id="Zidane"> <Label><Name>Zidane </Name></Label> <Agent xsi: ="PersonType"> <Name> <GivenName>Zinedine</GivenName> <FamilyName>Zidane</FamilyName> </Name> </Agent> </SemanticBase> <SemanticBase xsi:type="EventType" id="scoring"> <Label> <Name>Zinedine Zidane scoring against England.</Name> </Label> </Semantic>

MPEG-7 e Web Semântica MPEG-7 e Web Semântica MPEG-7 - falha em interoperabilidade semântica Anotação com descritor semântico <Semantic id="FormalAbstractionDescription"> <SemanticBase xsi:type="AgentObjectType" id="Zidane"> <Label><Name>Zidane </Name></Label> <Agent xsi: ="PersonType"> <Name> <GivenName>Zinedine</GivenName> <FamilyName>Zidane</FamilyName> </Name> </Agent> </SemanticBase> <SemanticBase xsi:type="EventType" id="scoring"> <Label> <Name>Zinedine Zidane scoring against England.</Name> </Label> </Semantic>

MPEG-7 e Web Semântica MPEG-7 – ontologias Hunter: cobre parte do MDS RDFS / OWL Full 60 classes e 40 propriedades Usa ABC como base Tsinaraki: cobre todo o MDS OWL DL 420 classes e 175 propriedade

MPEG-7 e Web Semântica MPEG-7 – ontologias Hollink: visual VDO: visual RDFS Usa Wordnet como base VDO: visual Usa DOLCE como base

MPEG-7 e Web Semântica MPEG-7 – ontologias DMAG: cobre todo o MPEG-7 OWL Full 2372 classes e 975 propriedades Gerada automaticamente com XSD2OWL SCDO: cobre o esquema de Descrição semântica OWL 23 classes e 71 propriedades

MPEG-7 e Web Semântica [2006, Burger, Guntner e Gams] Define pontos de extensão onde o MPEG-7 pode ser aumentado com triplas RDF Utiliza técnicas modernas de análise para extração de informação semântica Key frames, detecção automática de cenas, reconhecimento de fala, transformação de fala em texto etc.

Sistemas e ferramentas M-ontomant-annotizer Extende Ontomat-Annotizer Implementa Visual Drescription Extraction (VDE) DOLCE + VDO + MSO + Ontologias de domínio Análise de similaridade

Sistemas e ferramentas (2) VideoAnnEx Segmentação de vídeo Editor de ontologia Anotação em termos de evento, objetos e ações Sugestão de anotações

Sistemas e ferramentas (3) MuseumFinland Anotações de acervo de museus Integra informações de museus distintos Uma ontologia de termos para integração de vocabulário Várias ontologias de domínio Geração de HTML

Considerações finais Avanços na área são significativos e notórios mas... Será possível um sistema aberto e universal? Será possível automatizar completamente a anotação de multimídia?

Referências [2005, Wang e Zhang] A Novel Method of Image Categorization and Retrieval Based on the Combination of Visual and Semantic Features [2004, Gosselin and Cord] Semantic kernel updating for content-based image retrieval [2003, Zhang] Learning semantics in content based image retrieval [2002, Hyovonen e Raatikka] Ontology-Based Semantic Metadata Validation [2001, Schreiber, Dubbeldam, Wielemaker e Wielinga] Ontology-based photo annotation [2007 Leslei, Chua e Ramesh] Annotation of paintings with high-level semantic concepts using transductive inference and ontology-based concept disambiguation

Referências [2004, Hyovonen, Salminen, Junnila e Junnila] A Content Creation Process for the Semantic Web 04041333.pdf - [2006, Burger, Guntner e Gams] The Role of MPEG-7 in semantic Annotation and the Cross-Media Publishing Process [2005, Hunter] Adding Multimedia to the Semantic Web: Building and Applying an MPEG-7 Ontology [2004 Tsinaraki] Interoperability support for Ontoly-based Video Retrieval Appications [2005, Hollink] Building a Visual Ontology for Video Retrieval [2006, VDO] Petridis et al., Knowledge representation and semantic annotation of multimedia content [2005, MDAG] Garciae Celma, Semantic Integration and Retrieval of Multimedia Metadata [2006, SCDO] Rahman, Hossian, Kiringa e SAddik, Towards an Ontology for MPEG-7 Semantic Descriptions