Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais

Apresentação em tema: "Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais"— Transcrição da apresentação:

1 Sumarização Automática de Vídeos Baseada em Características de Cor e Agrupamentos
Sandra Eliza Fontes de Avila Universidade Federal de Minas Gerais Departamento de Ciência da Computação

2 Visão Computacional – 2008/1
Sumário Introdução Definição do Problema Objetivo Metodologia Experimentos Método Proposto x Open Video Conclusões Trabalhos Futuros Visão Computacional – 2008/1

3 Visão Computacional – 2008/1
Introdução (1/1) Sumarização automática de vídeos Fornece rapidamente a informação concisa do conteúdo do vídeo, preservando a mensagem original (Pfeiffer et al., 1996) Tipos de resumos Resumos estáticos (Keyframes) Conjunto de quadros-chave Resumos dinâmicos (Video skim) Conjunto de tomadas (shots) Visão Computacional – 2008/1

4 Definição do Problema (1/1)
Por que resumir vídeos? Popularização da distribuição de vídeos através da web Muitas vezes o usuário necessita assistir todo o conteúdo do vídeo para descobrir do que realmente se trata Visão Computacional – 2008/1

5 Visão Computacional – 2008/1
Objetivo (1/1) Desenvolver uma abordagem simples e eficiente para sumarização automática de vídeos, que gere resumos com o menor número de quadros necessários para apresentação das informações, possibilitando o reconhecimento dos principais objetos e eventos presentes no vídeo. Visão Computacional – 2008/1

6 Visão Computacional – 2008/1
Metodologia (1/6) Visão Computacional – 2008/1

7 Visão Computacional – 2008/1
Metodologia (2/6) 1) Segmentação do Vídeo Separação do vídeo em quadros FFmpeg Pré-amostragem dos quadros Visão Computacional – 2008/1

8 Visão Computacional – 2008/1
Metodologia (2/6) 1) Segmentação do Vídeo Separação do vídeo em quadros FFmpeg Pré-amostragem dos quadros Visão Computacional – 2008/1

9 Visão Computacional – 2008/1
Metodologia (3/6) 2) Extração de Características Histograma de cor Perfil de linha (horizontal, vertical, diagonal) Espaço de cor RGB Quantização de cores Visão Computacional – 2008/1

10 Visão Computacional – 2008/1
Metodologia (4/6) 3) Técnica de Agrupamento (clustering) k-means Método mais simples de agrupamentos Definição prévia do número de agrupamentos (k) Para cada agrupamento, o quadro mais próximo do centróide é selecionado como quadro-chave Visão Computacional – 2008/1

11 Visão Computacional – 2008/1
Metodologia (5/6) 4) Eliminação dos quadros-chave semelhantes Determinação de limiar (experimentação visual) Comparação entre todos os quadros-chave selecionados, conforme característica extraída Visão Computacional – 2008/1

12 Visão Computacional – 2008/1
Metodologia (6/6) 5) Geração do resumo Ordenação cronológica dos quadros-chave Visão Computacional – 2008/1

13 Avaliação através de Usuários (1/1)
Visão Computacional – 2008/1

14 Visão Computacional – 2008/1
Experimentos (1/6) Base de dados The Open Video Project 20 vídeos 1 a 4 minutos formato MPEG-1 30 fps 320 x 240 pixels Documentários Visão Computacional – 2008/1

15 Experimentos (2/6) Análise da Taxa de Amostragem
Todos quadros, 30, 45, 60, 75, 90 Histograma 95% de confiança 90 -> perda de informação Todos, 30, 45, 60, 75 -> estatisticamente há diferença 60, 75 -> estatisticamente não há diferença 75 Tempo de execução (segundos) todos 30 45 60 75 90 média 113,49 3,63 2,59 1,95 1,54 1,35 Visão Computacional – 2008/1

16 Visão Computacional – 2008/1
Experimentos (3/6) Análise das Características Projeto Fatorial 2k, k = 2 (histograma) ou k = 3 (perfis de linha) 1) Número de agrupamentos: 15 ou 35 agrupamentos 2) Número de cores quantizadas: 16 ou 256 cores 3) Intervalo entre os perfis de linha: 10 ou 40 linhas Visão Computacional – 2008/1

17 Visão Computacional – 2008/1
Experimentos (4/6) A B Tempo de execução (s) 15 16 1,50 35 1,56 256 1,68 1,91 A B C Tempo de execução (s) Hor. Ver. Diag. 15 16 10 0,87 1,00 1,01 35 1,26 1,27 1,29 256 0,81 0,95 1,12 0,96 1,13 1,45 40 0,65 0,90 0,82 0,67 1,05 0,86 0,72 0,79 1,11 0,78 Histograma Perfis de linha (95% de confiança) Visão Computacional – 2008/1

18 Visão Computacional – 2008/1
Experimentos (5/6) Vídeos Pontuação Hist. Perfil de linha Hor. Ver. Diag. video2 3,6 3,7 3,5 video8 2,9 3,4 3,1 2,8 video9 3,3 video11 video12 video17 video18 video20 3,2 média Avaliação dos resumos Visão Computacional – 2008/1

19 Visão Computacional – 2008/1
Experimentos (6/6) Execução do algoritmo para os 20 vídeos 6 perfis de linha horizontal 16 cores 15, 20, 25, 30 e 35 agrupamentos Agrupamentos Tempo de execução (s) 15 0,59 20 0,64 25 0,63 30 35 0,65 Agrupamentos Pontuação 15 3,6 20 4,2 25 4,3 30 4,0 35 3,7 Visão Computacional – 2008/1

20 Método Proposto x Open Video (1/4)
Os resumos são gerados utilizando o algoritmo desenvolvido por (DeMenthon et al., 1998) Refinamentos manuais Resultados 9 melhores, 5 iguais, 6 piores em relação ao Open Video Pontuação Maior: 4,4 (Método proposto) x 4,0 (Open Video) Pior: 3,3 Método proposto >= 4,0 -> 5 vídeos Open Video >= 4,0 -> 1 vídeo Visão Computacional – 2008/1

21 Método Proposto x Open Video (2/4)
Pontuação #Q-chave MP OV v1 4,4 4,0 10 20 v2 3,8 9 14 v3 3,5 18 v4 4,1 12 v5 3,9 7 v6 3,3 v7 3,6 3,0 8 v8 3,7 v9 3,4 6 v10 vid. Pontuação #Q-chave MP OV v11 3,8 15 29 v12 3,6 10 26 v13 4,0 3,7 6 8 v14 3,5 v15 12 v16 5 v17 9 19 v18 13 22 v19 3,3 v20 11 Visão Computacional – 2008/1

22 Método Proposto x Open Video (3/4)
Exemplo Visão Computacional – 2008/1

23 Método Proposto x Open Video (4/4)
Visão Computacional – 2008/1

24 Visão Computacional – 2008/1
Conclusões (1/1) Os resultados gerados apresentaram qualidade com baixo consumo de tempo Na maioria dos casos, os resumos do método proposto apresentaram qualidade superior em relação aos resumos do Open Video Mais testes devem ser feitos para confirmar a aplicabilidade da abordagem Visão Computacional – 2008/1

25 Visão Computacional – 2008/1
Trabalhos Futuros (1/1) Algumas idéias/necessidades/emergências Pré-processamento dos quadros Espaço de cor Características Número de agrupamentos Refinamento dos agrupamentos Diferentes gêneros de vídeos Método de avaliação? Visão Computacional – 2008/1

26 Visão Computacional – 2008/1
Referências The Open Video Project. B. T. Truong and S. Venkatesh. Video abstraction: A systematic review and classification. ACM Trans. on Mult. Comp., Comm., and Appl. (TOMCCAP), 3(1), 2007. S. Pfeiffer, R. Lienhart, S. Fischer, and W. Effelsberg. Abstracting digital movies automatically. J. Visual Comm. And Image Representation, 7(4):345–353, 1996. Visão Computacional – 2008/1