A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Detecção de Algumas Transições Abruptas em Seqüências de Imagens

Apresentações semelhantes


Apresentação em tema: "Detecção de Algumas Transições Abruptas em Seqüências de Imagens"— Transcrição da apresentação:

1 Detecção de Algumas Transições Abruptas em Seqüências de Imagens
Instituto de Computação – UNICAMP Detecção de Algumas Transições Abruptas em Seqüências de Imagens Nielsen Cassiano Simões Mestrando Prof. Dr. Neucimar Jerônimo Leite Orientador

2 Nielsen Cassiano Simões
Roteiro Motivação Objetivo Principais Conceitos Trabalhos relacionados Detecção de transições Resultados Conclusões e Extensões Nielsen Cassiano Simões

3 Nielsen Cassiano Simões
Motivação Detecção de transições entre tomadas Detecção de tomadas Indexação, extração de key-frames, detecção de cenas, etc. Nielsen Cassiano Simões

4 Nielsen Cassiano Simões
Objetivo Tratar segmentação estrutural de vídeo como um problema de segmentação de imagem 2D+t => 1D+t Redução do tempo computacional Detecção de transições abruptas Identificar padrões para transições abruptas Cortes e Flashes Nielsen Cassiano Simões

5 Nielsen Cassiano Simões
Principais Conceitos Vídeo: seqüência de imagens (2D) em um determinado intervalo de tempo (t) X Y T Nielsen Cassiano Simões

6 Nielsen Cassiano Simões
Transições Uma tomada é um segmento ininterrupto de tempo, espaço e configurações gráficas de tela Transição  interrupção de uma tomada Abruptas Corte Graduais Wipe Fades (Fade-in e Fade-out) Dissolve Morphing Nielsen Cassiano Simões

7 Transição Abrupta - Corte
Exemplo da ocorrência de um corte. Corte Nielsen Cassiano Simões

8 Transições Graduais - Wipe
Exemplos de wipes: a) diagonal b) door open c) iris round d) push vertical e) split Nielsen Cassiano Simões

9 Transições Graduais - Fades
Exemplos de Fade-in e Fade-out. Nielsen Cassiano Simões

10 Transições Graduais - Dissolve
Exemplo da ocorrência de um dissolve. Nielsen Cassiano Simões

11 Nielsen Cassiano Simões
Trabalhos de Câmera Efeitos dentro de uma mesma tomada, não envolvendo transições entre tomadas, geralmente decorrentes de movimentos ou operações da câmera. Nielsen Cassiano Simões

12 Trabalhos de Câmeras - Flash
Presença de alta intensidade luminosa durante poucos quadros, geralmente decorrentes de flash de câmeras fotográficas. Exemplo da ocorrência de um flash. Nielsen Cassiano Simões

13 Trabalhos Relacionados
Métricas de Dissimilaridade Diferença entre pixels Comparação de histogramas Testes estatísticos (2) Motion Vectors e transformada de wavelet Imagem Representativa (Ritmo visual) Modelos estatísticos e Cadeias de Markov Operadores e filtros Morfológicos Processamento de imagens Nielsen Cassiano Simões

14 Nielsen Cassiano Simões
Ritmo Visual Representação D+t do espaço 2D+t de um segmento de vídeo digital. Nielsen Cassiano Simões

15 Ritmo Visual Exemplo do ritmo visual de um segmento de vídeo. Cortes
Nielsen Cassiano Simões

16 Nielsen Cassiano Simões
Detecção de Cortes Imagem representativa (ritmo visual) Considera informações locais (regionais) Considerar informações globais Redução da influência de movimentos de objetos Ritmo visual por histograma Ritmo visual por histograma acumulado Nielsen Cassiano Simões

17 Nielsen Cassiano Simões
Detecção de Cortes Histograma Acumulado Níveis de cinza Invariante à rotação e translação Ritmo visual por histograma acumulado Cada coluna representa o histograma acumulado do quadro correspondente Histograma Histograma Acumulado Nielsen Cassiano Simões

18 Nielsen Cassiano Simões
Detecção de Cortes Ritmo visual por histograma. Cortes Ritmo visual por histograma acumulado. Nielsen Cassiano Simões

19 Nielsen Cassiano Simões
Detecção de Cortes Vetor Representativo Projeção vertical do ritmo visual por histograma acumulado. Nielsen Cassiano Simões

20 Nielsen Cassiano Simões
Detecção de Cortes Laplaciano Realce das ocorrências de cortes Minimiza a contribuição de variações graduais Nielsen Cassiano Simões

21 Detecção de Cortes White Top-hat Realce adicional dos picos
Top-hat white utilizando elemento estruturante 1x3 Nielsen Cassiano Simões

22 Detecção de Cortes Outro exemplo da aplicação do White Top-hat
Nielsen Cassiano Simões

23 Nielsen Cassiano Simões
Detecção de Cortes Limiarização Definição de um limiar manual Interfere na ocorrência de falsos positivos/falsos negativos Dependente das características de cada vídeo Classificação / Clusterização Duas classes: cortes e não cortes K-means Classificação em 2 centros/classes Nielsen Cassiano Simões

24 Nielsen Cassiano Simões

25 Nielsen Cassiano Simões
Detecção de Cortes Limiarização Valor 128 K-means Nielsen Cassiano Simões

26 Nielsen Cassiano Simões
Outro exemplo Classificação: k-means Nielsen Cassiano Simões

27 Nielsen Cassiano Simões

28 Nielsen Cassiano Simões
Vetor original: Classificação: k-means 1 etapa Classificação: k-means 2 etapas Nielsen Cassiano Simões

29 Detecção de Flashes Presença de uma alta intensidade luminosa
Grande quantidade de pixels cuja intensidade é alta O valor médio dos pixels é elevado (maior que 128 p/ 256 níveis de cinza) Saturação do histograma acumulado O histograma acumulado do quadro atinge um valor máximo, Ts2, a partir de uma posição (bin) elevada Ts1. Quadro com ocorrência de um flash e seu histograma acumulado. Nielsen Cassiano Simões

30 Nielsen Cassiano Simões
Detecção de Flashes Vetor de saturação do histograma acumulado: Nielsen Cassiano Simões

31 Nielsen Cassiano Simões
Intensidade Média Nielsen Cassiano Simões

32 Nielsen Cassiano Simões
Validação dos candidatos Nielsen Cassiano Simões

33 Detecção de Flashes Classificação final
K-means de duas classes para separar os principais candidatos Eliminação de componentes conexas maiores que 5 quadros Identificação dos quadros correspondentes a um flash Resultado após a classificação final Nielsen Cassiano Simões

34 Nielsen Cassiano Simões
victoria.mpeg Nielsen Cassiano Simões

35 Detecção de Flashes - Resultado
Saturação do histograma acumulado, intensidade média e validação de candidatos. Nielsen Cassiano Simões

36 Detecção de Flashes - Resultado
903 frames com 7 flashes 1 falso 0 não detectados Nielsen Cassiano Simões

37 Detecção de Cortes - Resultado
Ritmo visual Ritmo visual por histograma acumulado Nielsen Cassiano Simões

38 Detecção de Cortes - Resultado
Projeção do ritmo visual por histograma acumulado Aplicação do Laplaciano e do White Top-hat 1x3. Nielsen Cassiano Simões

39 Detecção de Cortes - Resultado
903 frames com 33 cortes 6 falsos 3 não detectados Nielsen Cassiano Simões

40 Nielsen Cassiano Simões
Medidas de Qualidade Nielsen Cassiano Simões

41 Nielsen Cassiano Simões

42 Resultados – Detecção de Flashes
Nielsen Cassiano Simões

43 Resultados – Detecção de Cortes
Nielsen Cassiano Simões

44 Nielsen Cassiano Simões
Um algoritmo simples Detecta-se contorno de uma das bandas RGB. Divide-se os quadros em janelas,. e.g., 32x32. Calcula-se a média de pontos de contorno em cada janela. Compara-se esta média quadro a quadro e janela à janela. O quadro k contendo mais de 50% de janelas com grande diferença, em relação às janelas do quadro k-1, é consi-derado um quadro de corte ou transição. Nielsen Cassiano Simões

45 Nielsen Cassiano Simões
Resultados Videos Nd Nfalsos Nfaltantes precisão revocação erro detecção Comercial ,72 0,72 0,28 Comercial ,00 1,00 0,00 Highlander_ ,61 0, ,53 Jamie ,00 0,75 0,00 Lawnmowr ,63 0,57 0,34 Lisa ,56 0,71 0,57 News ,80 1,00 0,25 Psycho ,92 0,22 0,02 Sexinthecity ,94 0, ,06 VideoAbstract ,68 0,55 0,26 Total ,78 0,72 0,23 Nielsen Cassiano Simões

46 Nielsen Cassiano Simões
Conclusões Detecção de cortes e flashes Nova abordagem utilizando imagem representativa Informações globais de quadros dos segmentos de vídeo Identificação de padrões em sinais 1D Algoritmos simples Baixo custo computacional Resultados comparáveis aos apresentados na literatura Nielsen Cassiano Simões

47 Nielsen Cassiano Simões
Extensões Redução de falsos negativos Particionamento regular dos quadros Combinação total ou parcial dos Vrha Análises mais detalhadas Subquantizações do histograma acumulado Alterações na resolução espacial dos quadros Testes em outras seqüências de imagens Seqüências temporais de imagens de satélites Identificação de novos padrões Aplicação no domínio de compressão MPEG Nielsen Cassiano Simões

48 FIM Realização Nielsen Cassiano Simões Orientador Neucimar J. Leite
Agradecimentos Neucimar J. Leite Familiares IC – Unicamp CAPES SAI/PRONEX A todos Presentes Obrigado! FIM Nielsen Cassiano Simões


Carregar ppt "Detecção de Algumas Transições Abruptas em Seqüências de Imagens"

Apresentações semelhantes


Anúncios Google