A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Detecção de Algumas Transições Abruptas em Seqüências de Imagens Nielsen Cassiano Simões Mestrando Prof. Dr. Neucimar Jerônimo Leite.

Apresentações semelhantes


Apresentação em tema: "Detecção de Algumas Transições Abruptas em Seqüências de Imagens Nielsen Cassiano Simões Mestrando Prof. Dr. Neucimar Jerônimo Leite."— Transcrição da apresentação:

1 Detecção de Algumas Transições Abruptas em Seqüências de Imagens Nielsen Cassiano Simões Mestrando Prof. Dr. Neucimar Jerônimo Leite Orientador Instituto de Computação – UNICAMP

2 Nielsen Cassiano Simões2 Roteiro Motivação Objetivo Principais Conceitos Trabalhos relacionados Detecção de transições Resultados Conclusões e Extensões

3 Nielsen Cassiano Simões3 Motivação Detecção de transições entre tomadas –Detecção de tomadas Indexação, extração de key-frames, detecção de cenas, etc.

4 Nielsen Cassiano Simões4 Objetivo Tratar segmentação estrutural de vídeo como um problema de segmentação de imagem –2D+t => 1D+t Redução do tempo computacional –Detecção de transições abruptas Identificar padrões para transições abruptas –Cortes e Flashes

5 Nielsen Cassiano Simões5 Principais Conceitos Vídeo: seqüência de imagens (2D) em um determinado intervalo de tempo (t) X Y T

6 Nielsen Cassiano Simões6 Transições Uma tomada é um segmento ininterrupto de tempo, espaço e configurações gráficas de tela Transição interrupção de uma tomada –Abruptas Corte –Graduais Wipe Fades (Fade-in e Fade-out) Dissolve Morphing

7 Nielsen Cassiano Simões7 Transição Abrupta - Corte Exemplo da ocorrência de um corte. Corte

8 Nielsen Cassiano Simões8 Transições Graduais - Wipe Exemplos de wipes: a) diagonal b) door open c) iris round d) push vertical e) split

9 Nielsen Cassiano Simões9 Transições Graduais - Fades Exemplos de Fade-in e Fade-out.

10 Nielsen Cassiano Simões10 Transições Graduais - Dissolve Exemplo da ocorrência de um dissolve.

11 Nielsen Cassiano Simões11 Trabalhos de Câmera Efeitos dentro de uma mesma tomada, não envolvendo transições entre tomadas, geralmente decorrentes de movimentos ou operações da câmera.

12 Nielsen Cassiano Simões12 Trabalhos de Câmeras - Flash Presença de alta intensidade luminosa durante poucos quadros, geralmente decorrentes de flash de câmeras fotográficas. Exemplo da ocorrência de um flash.

13 Nielsen Cassiano Simões13 Trabalhos Relacionados Métricas de Dissimilaridade Diferença entre pixels Comparação de histogramas Testes estatísticos ( 2 ) Motion Vectors e transformada de wavelet Imagem Representativa (Ritmo visual) Modelos estatísticos e Cadeias de Markov Operadores e filtros Morfológicos –Processamento de imagens

14 Nielsen Cassiano Simões14 Ritmo Visual Representação D+t do espaço 2D+t de um segmento de vídeo digital.

15 Nielsen Cassiano Simões15 Ritmo Visual Exemplo do ritmo visual de um segmento de vídeo. Cortes

16 Nielsen Cassiano Simões16 Detecção de Cortes Imagem representativa (ritmo visual) –Considera informações locais (regionais) Considerar informações globais –Redução da influência de movimentos de objetos Ritmo visual por histograma Ritmo visual por histograma acumulado

17 Nielsen Cassiano Simões17 Detecção de Cortes Histograma Acumulado –Níveis de cinza –Invariante à rotação e translação Ritmo visual por histograma acumulado –Cada coluna representa o histograma acumulado do quadro correspondente Histograma Histograma Acumulado

18 Nielsen Cassiano Simões18 Detecção de Cortes Ritmo visual por histograma. Ritmo visual por histograma acumulado. Cortes

19 Nielsen Cassiano Simões19 Detecção de Cortes Vetor Representativo –Projeção vertical do ritmo visual por histograma acumulado.

20 Nielsen Cassiano Simões20 Detecção de Cortes Laplaciano –Realce das ocorrências de cortes –Minimiza a contribuição de variações graduais

21 Nielsen Cassiano Simões21 Detecção de Cortes White Top-hat –Realce adicional dos picos Top-hat white utilizando elemento estruturante 1x3

22 Nielsen Cassiano Simões22 Detecção de Cortes Outro exemplo da aplicação do White Top-hat

23 Nielsen Cassiano Simões23 Detecção de Cortes Limiarização –Definição de um limiar manual –Interfere na ocorrência de falsos positivos/falsos negativos –Dependente das características de cada vídeo Classificação / Clusterização –Duas classes: cortes e não cortes –K-means –Classificação em 2 centros/classes

24 Nielsen Cassiano Simões24

25 Nielsen Cassiano Simões25 Detecção de Cortes Limiarização K-means Valor 128

26 Nielsen Cassiano Simões26 Outro exemplo Classificação: k-means

27 Nielsen Cassiano Simões27

28 Nielsen Cassiano Simões28 Vetor original: Classificação: k-means 1 etapa Classificação: k-means 2 etapas

29 Nielsen Cassiano Simões29 Detecção de Flashes Presença de uma alta intensidade luminosa –Grande quantidade de pixels cuja intensidade é alta –O valor médio dos pixels é elevado (maior que 128 p/ 256 níveis de cinza) Saturação do histograma acumulado – O histograma acumulado do quadro atinge um valor máximo, T s2, a partir de uma posição (bin) elevada T s1. Quadro com ocorrência de um flash e seu histograma acumulado.

30 Nielsen Cassiano Simões30 Detecção de Flashes Vetor de saturação do histograma acumulado:

31 Nielsen Cassiano Simões31 Intensidade Média

32 Nielsen Cassiano Simões32 Validação dos candidatos

33 Nielsen Cassiano Simões33 Detecção de Flashes Classificação final –K-means de duas classes para separar os principais candidatos –Eliminação de componentes conexas maiores que 5 quadros –Identificação dos quadros correspondentes a um flash Resultado após a classificação final

34 Nielsen Cassiano Simões34 victoria.mpeg

35 Nielsen Cassiano Simões35 Detecção de Flashes - Resultado Saturação do histograma acumulado, intensidade média e validação de candidatos.

36 Nielsen Cassiano Simões36 Detecção de Flashes - Resultado 903 frames com 7 flashes1 falso0 não detectados

37 Nielsen Cassiano Simões37 Detecção de Cortes - Resultado Ritmo visual por histograma acumulado Ritmo visual

38 Nielsen Cassiano Simões38 Detecção de Cortes - Resultado Aplicação do Laplaciano e do White Top-hat 1x3. Projeção do ritmo visual por histograma acumulado

39 Nielsen Cassiano Simões39 Detecção de Cortes - Resultado 903 frames com 33 cortes6 falsos3 não detectados

40 Nielsen Cassiano Simões40 Medidas de Qualidade

41 Nielsen Cassiano Simões41

42 Nielsen Cassiano Simões42 Resultados – Detecção de Flashes

43 Nielsen Cassiano Simões43 Resultados – Detecção de Cortes

44 Nielsen Cassiano Simões44 Um algoritmo simples Detecta-se contorno de uma das bandas RGB. Divide-se os quadros em janelas,. e.g., 32x32. Calcula-se a média de pontos de contorno em cada janela. Compara-se esta média quadro a quadro e janela à janela. O quadro k contendo mais de 50% de janelas com grande diferença, em relação às janelas do quadro k-1, é consi- derado um quadro de corte ou transição.

45 Nielsen Cassiano Simões45 Videos NdNfalsosNfaltantesprecisãorevocaçãoerro detecção Comercial 13550,720,720,28 Comercial2 0001,001,000,00 Highlander_ ,610,83 0,53 Jamie 6021,000,750,00 Lawnmowr ,630,570,34 Lisa 5420,560,710,57 News 4100,801,000,25 Psycho ,920,220,02 Sexinthecity 29250,940,85 0,06 VideoAbstract ,680,550,26 Total ,780,720,23 Resultados

46 Nielsen Cassiano Simões46 Conclusões Detecção de cortes e flashes –Nova abordagem utilizando imagem representativa Informações globais de quadros dos segmentos de vídeo DIdentificação de padrões em sinais 1D –Algoritmos simples –Baixo custo computacional Resultados comparáveis aos apresentados na literatura

47 Nielsen Cassiano Simões47 Extensões Redução de falsos negativos –Particionamento regular dos quadros –Combinação total ou parcial dos Vr ha Análises mais detalhadas –Subquantizações do histograma acumulado –Alterações na resolução espacial dos quadros Testes em outras seqüências de imagens –Seqüências temporais de imagens de satélites Identificação de novos padrões Aplicação no domínio de compressão MPEG

48 Nielsen Cassiano Simões48 FIM Realização Nielsen Cassiano Simões Orientador Neucimar J. Leite Agradecimentos Neucimar J. Leite Familiares IC – Unicamp CAPES SAI/PRONEX A todos Presentes Obrigado!


Carregar ppt "Detecção de Algumas Transições Abruptas em Seqüências de Imagens Nielsen Cassiano Simões Mestrando Prof. Dr. Neucimar Jerônimo Leite."

Apresentações semelhantes


Anúncios Google