A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Anotação semântica de dados multimídia Paulo Bittencourt Moura CIn - UFPE.

Apresentações semelhantes


Apresentação em tema: "Anotação semântica de dados multimídia Paulo Bittencourt Moura CIn - UFPE."— Transcrição da apresentação:

1 Anotação semântica de dados multimídia Paulo Bittencourt Moura CIn - UFPE

2 Agenda ● Introdução ● Anotação semântica por feedback ● Anotação semântica com ontologias ● MPEG-7 e a web semântica ● Sistemas e ferramentas ● Considerações finais

3 Introdução ● Recuperação baseada em texto ● Recuperação baseada em conteúdo ● Recuperação baseada em semântica

4 Anotação semântica por feedback ● Feedback utilizado para “aprender” semântica ● Mesclam palavras chaves com dados visuais ● Utilizam técnicas de IA para efetuar agrupamentos

5 Anotação semântica por feedback (2) ● [2003, Zhang]  Propaga rotulações durante processo de feedback  Utiliza modelos probabilístico para agrupamento e propagação de anotações

6 Anotação semântica por feedback (3) ● [2004, Gosselin and Cord]  Vetor de relevância para cada busca ● 1 – relevante ● 0 – não classificado ● -1 – irrelevante  Faz soma ponderada das buscas  Considera competência do usuário  Matriz de similaridade compactada

7 Anotação semântica por feedback (4) ● [2005, WANG and ZHANG]  Descrição em dois níveis: categoria e palavras- chave  Redes semânticas ponderadas  Hierarquia de palavras-chave

8 Anotação semântica com ontologias ● O uso de ontologias altera a anotação em alguns sentidos como:  Guiam o processo de anotação  Explicitam a relação entre agentes, propriedades etc.  Ontologia trazem consigo conhecimento adicional  itens que não se enquadram na busca podem ser recomendados

9 Anotação semântica com ontologias (2) ● [2002, Hyovonen e Raatikka]  Eventos promocionais da Universidade de Helsinki  Consultas na forma classe=instancia ou classe=subclasse  Contador de visitas para recomendar imagens mais populares  Mantém log das sessões para não repetir as recomendações  RDF(S)

10 Anotação semântica com ontologias (3) ● [2001, Schreiber, Dubbeldam, Wielemaker e Wielinga]  Anotações de imagens de macacos  Terminologia geral (Wordnet e ICONCLASS)  Ontologia de anotação + ontologia de domínio  RDF(S)

11 Anotação semântica com ontologias (4) ● [2007 Leslei, Chua e Ramesh]  Anotação de pinturas  Ontologia baseada em AAT e ULAN  Usa algorítmos probabilísticos para anotações sobre cores e estilos de pinceladas  Heurísticas do domínio artístico para anotação sobre autor, escola e período  Ontology-base Concept Desambiguation (OCD)

12 MPEG-7 e Web Semântica ● MPEG-7  especifica uma forma padronizada de descrever vários tipos de conteúdo multimídia independente de sua forma de representação ou armazenamento  Elementos básicos ● Descriptors (D) ● Description Schemes (DS) ● Description Definition Language (DDL) ● System Tools

13 MPEG-7 e Web Semântica ● MPEG-7 - divisão  Parte 1: Systems  Parte 2: DDL  Parte 3: Visual  Parte 4: Audio  Parte 5: Generic Entities and MDS  Parte 6: Reference Software  Parte 7: Conformance Testing  Parte 8: Extraction and Use of MPEG-7 Descriptions  Parte 9: Profiles and levels  Parte 10: Schema Definition

14 MPEG-7 e Web Semântica ● MPEG-7 - falha em interoperabilidade semântica  Anotação com texto livre Zinedine Zidane scoring against England.  Anotação com palavras-chave Zinedine Zidan scoring England goal MPEG-7 e Web Semântica

15 ● MPEG-7 - falha em interoperabilidade semântica  Anotação estruturada com rótulos Zinedine Zidane Zinedine Zidane scoring against England. MPEG-7 e Web Semântica Zidane Zinedine Zidane Zinedine Zidane scoring against England.

16 MPEG-7 e Web Semântica ● MPEG-7 - falha em interoperabilidade semântica  Anotação com descritor semântico Zidane Zinedine Zidane Zinedine Zidane scoring against England. MPEG-7 e Web Semântica

17 ● MPEG-7 – ontologias  Hunter: cobre parte do MDS ● RDFS / OWL Full ● 60 classes e 40 propriedades ● Usa ABC como base  Tsinaraki: cobre todo o MDS ● OWL DL ● 420 classes e 175 propriedade

18 MPEG-7 e Web Semântica ● MPEG-7 – ontologias  Hollink: visual ● RDFS ● Usa Wordnet como base  VDO: visual ● RDFS ● Usa DOLCE como base

19 MPEG-7 e Web Semântica ● MPEG-7 – ontologias  DMAG: cobre todo o MPEG-7 ● OWL Full ● 2372 classes e 975 propriedades ● Gerada automaticamente com XSD2OWL  SCDO: cobre o esquema de Descrição semântica ● OWL ● 23 classes e 71 propriedades

20 MPEG-7 e Web Semântica ● [2006, Burger, Guntner e Gams]  Define pontos de extensão onde o MPEG-7 pode ser aumentado com triplas RDF  Utiliza técnicas modernas de análise para extração de informação semântica ● Key frames, detecção automática de cenas, reconhecimento de fala, transformação de fala em texto etc.

21 Sistemas e ferramentas M-ontomant-annotizer –Extende Ontomat-Annotizer –Implementa Visual Drescription Extraction (VDE) –DOLCE + VDO + MSO + Ontologias de domínio –Análise de similaridade

22 Sistemas e ferramentas (2) VideoAnnEx –Segmentação de vídeo –Editor de ontologia –Anotação em termos de evento, objetos e ações –Sugestão de anotações

23 Sistemas e ferramentas (3) ● MuseumFinland  Anotações de acervo de museus  Integra informações de museus distintos  Uma ontologia de termos para integração de vocabulário  Várias ontologias de domínio  Geração de HTML

24 Considerações finais ● Avanços na área são significativos e notórios mas...  Será possível um sistema aberto e universal?  Será possível automatizar completamente a anotação de multimídia?

25 Referências ● [2005, Wang e Zhang] A Novel Method of Image Categorization and Retrieval Based on the Combination of Visual and Semantic Features ● [2004, Gosselin and Cord] Semantic kernel updating for content-based image retrieval ● [2003, Zhang] Learning semantics in content based image retrieval ● [2002, Hyovonen e Raatikka] Ontology-Based Semantic Metadata Validation ● [2001, Schreiber, Dubbeldam, Wielemaker e Wielinga] Ontology-based photo annotation ● [2007 Leslei, Chua e Ramesh] Annotation of paintings with high-level semantic concepts using transductive inference and ontology-based concept disambiguation

26 Referências ● [2004, Hyovonen, Salminen, Junnila e Junnila] A Content Creation Process for the Semantic Web ● pdf - [2006, Burger, Guntner e Gams] The Role of MPEG-7 in semantic Annotation and the Cross-Media Publishing Process ● [2005, Hunter] Adding Multimedia to the Semantic Web: Building and Applying an MPEG-7 Ontology ● [2004 Tsinaraki] Interoperability support for Ontoly-based Video Retrieval Appications ● [2005, Hollink] Building a Visual Ontology for Video Retrieval ● [2006, VDO] Petridis et al., Knowledge representation and semantic annotation of multimedia content ● [2005, MDAG] Garciae Celma, Semantic Integration and Retrieval of Multimedia Metadata ● [2006, SCDO] Rahman, Hossian, Kiringa e SAddik, Towards an Ontology for MPEG-7 Semantic Descriptions


Carregar ppt "Anotação semântica de dados multimídia Paulo Bittencourt Moura CIn - UFPE."

Apresentações semelhantes


Anúncios Google