Sincronização de seqüências de vídeo baseada em correspondência de pontos de interesse Autor: André Lima Gaspar Ruas Professor: Mário Fernando de Montenegro Campos.
Porque Sincronizar Reconstrução estéreo requer imagens obtidas no mesmo instante de tempo. Sincronização por hardware muitas vezes não é possível. Sincronizar manualmente gasta tempo.
Definição do problema Dado duas seqüências S 1 = [ f 1 1,f 1 2,..., f 1 n ], S 2 = [ f 2 1,f 2 2,..., f 2 m ]. Encontrar uma relação (f 1 i ) = (f 2 j ).
Definição do problema Suposição: as duas seqüências tem taxas de quadros constante. (f 1 i ) = (f 1 0 ) + i. T 1, (f 2 j ) = (f 2 0 ) + j. T 2.
Sincronização Suposição: a projeção dos pontos pode ser aproximada por uma projeção afim. [u c i v c i ] T = P c [X i Y i Z i ] T. P c matriz de projeção afim 2 × 3
Sincronização Sob Condições ideais W possui posto 3. Ruídos nas correspondências fazem com que W possua posto 4. O último valor singular depende apenas do ruído.
Sincronização Menor valor singular =
Sincronização Menor valor singular =
SURF Semelhante ao corners[Harris]. Retorna alem do ponto um descritor para cada ponto. Descritor Invariante a escala e a rotação. Retorna também a informação do sinal do laplaciano.
Correspondência Simplesmente descritor mais próximo funciona bem. Pode levar em consideração outros fatores como a localização dos pontos.
Correspondência baseada em SURF
Como foi feito Seqüência referencia S ref e alvo S tg Matriz de Medição W(F,f)
Como foi feito Para cada F em S ref encontrar f em S tg que minimiza o quarto valor singular. regressão para F = f + Regressão feita iterativamente para cada F Busca o melhor f em uma janela em torno do valor esperado.
Resultados Gráfico para uma janela de busca de f de largura 91 com uma janela de comparação de largura 7
Resultados Regressão F = f +
Considerações Finais O algoritmo é robusto a ruído e false matchings Pode encontrar mínimos locais quando a cena possuir movimentos periódicos.
Perguntas