Fluxo Óptico Allan Carlos Avelino Rocha Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Allan Carlos Avelino Rocha Disciplina: Visão Computacional e Realidade Aumentada Professor: Marcelo Gattass

Sumário Introdução Fluxo Óptico Técnicas diferencias Pontifícia Universidade Católica do Rio de Janeiro Sumário Introdução Fluxo Óptico Técnicas diferencias Método de Horn-Schunck Resultados Conclusão Trabalhos Futuros Referências

Introdução Problema em Visão Computacional Análise de movimento Pontifícia Universidade Católica do Rio de Janeiro Introdução Problema em Visão Computacional Análise de movimento Importância: Forte sugestão visual para da estrutura e movimento 3D. Utilização do movimento visual para inferir/tirar propriedades do mundo real 3D com um pequeno conhecimento prévio do mesmo. Inferir propriedades de uma cena 2D que nos ajude a reconstruir a cena original, 3D.

Fluxo Óptico Distribuição da velocidade aparente do movimento dos Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Distribuição da velocidade aparente do movimento dos padrões de intensidade em uma imagem. Problema: Dada uma sequência de imagens variando no tempo, é possível obter, para cada pixel, um vetor de velocidade?

Fluxo Óptico Utilidade e Aplicações Mas como estimar o fluxo óptico? Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Utilidade e Aplicações Informação importante sobre os arranjos dos objetos e a taxa de mudança destes arranjos. Descontinuidade do fluxo pode ajudar em segmentação de imagens. Rastreamento de objetos. Navegação de Robôs. Mas como estimar o fluxo óptico?

Fluxo Óptico Técnicas Utilizadas Técnicas diferenciais Pontifícia Universidade Católica do Rio de Janeiro Fluxo Óptico Técnicas Utilizadas Técnicas diferenciais Técnicas de correlação (block matching) Técnicas de freqüência e energia Técnicas diferenciais assumem por hipótese que a intensidade entre uma imagem e outra em um intervalo pequeno é aproximadamente constante, ou seja

Técnicas diferenciais (baseada em gradiente) Pontifícia Universidade Católica do Rio de Janeiro Técnicas diferenciais (baseada em gradiente) Mudanças de brilho modeladas por equações diferenciais parciais Chamadas de equações de restrição. O campo de vetores obtidos pela solução dessas equações é o fluxo óptico ou fluxo da imagem.

Técnicas diferenciais (baseada em gradiente) Pontifícia Universidade Católica do Rio de Janeiro Técnicas diferenciais (baseada em gradiente) Assim temos, onde, Somente a equação anterior não é suficiente para determinar as componentes de velocidade Técnicas de estimativa : Horn-Shunck, Lucas e Kanade Abordagem densa X esparsa.

Método de Horn-Shunck Restrição de iluminação constante Pontifícia Universidade Católica do Rio de Janeiro Método de Horn-Shunck Restrição de iluminação constante Iluminação em (x,y) é descrita por E(x,y,t):

Método de Horn-Shunck Restrição de suavização Pontifícia Universidade Católica do Rio de Janeiro Método de Horn-Shunck Restrição de suavização Se cada ponto se movesse de forma independente, seria quase impossível recuperar o campo de movimento. Pontos vizinhos têm velocidades semelhantes e a velocidade varia suavemente na maior parte do campo Uma maneira de expressar esta restrição é:

Pontifícia Universidade Católica do Rio de Janeiro Método de Horn-Shunck Outra restrição de suavidade é soma dos quadrados de Laplace dos componentes de x e y do fluxo. Estimativa das derivadas parciais Calcular a média das quatro primeiras diferenças em duas regiões adjacentes da imagem.

Método de Horn-Shunck Avaliando Ex, Ey, Et Pontifícia Universidade Católica do Rio de Janeiro Método de Horn-Shunck Avaliando Ex, Ey, Et

Método de Horn-Shunck Estimando o Laplaciano do Fluxo de Velocidade: Pontifícia Universidade Católica do Rio de Janeiro Método de Horn-Shunck Estimando o Laplaciano do Fluxo de Velocidade: Onde são médias locais dos vetores de velocidade. A estimativa é feita pela subtração do valor em um ponto e a media ponderada dos seus vizinhos.

Método de Horn-Shunck Minimização Pontifícia Universidade Católica do Rio de Janeiro Método de Horn-Shunck Minimização O problema então é minimizar a soma dos erros nas Equações para a taxa de mudança da iluminação da imagem. E as medidas das saídas de suavização na velocidade do fluxo.

Pontifícia Universidade Católica do Rio de Janeiro Método de Horn-Shunck Assim a minimização a ser alcançada achando os valores satisfatórios para a velocidade do fluxo (u,v). Usando o cálculo de variação temos: Usando a aproximação de Laplace:

Método de Horn-Shunck Resolvendo para u e para v encontra-se : Pontifícia Universidade Católica do Rio de Janeiro Método de Horn-Shunck Resolvendo para u e para v encontra-se : Solução interativa: Método de Gauss-Seidel

Resultados Horn-Shunck Pontifícia Universidade Católica do Rio de Janeiro Resultados Horn-Shunck

Limitação de Horn e Shunck Pontifícia Universidade Católica do Rio de Janeiro Limitação de Horn e Shunck

Conclusão Trabalhos Futuros Pontifícia Universidade Católica do Rio de Janeiro Conclusão O estudo do fluxo óptico é de extrema importância na Análise de movimentos, e conseqüentemente em visão computacional. Foram estudados os métodos de Horn-Shunck, Lucas-Kanade, Lucas-Kanade PK Trabalhos Futuros Estudar melhor o embasamento matemático por trás da formulação do problema e das equações de restrição. Estudar um método proposto na tese do Andrés Brunch (Complementary Optic Flow)

Pontifícia Universidade Católica do Rio de Janeiro Exemplo: Play

Pontifícia Universidade Católica do Rio de Janeiro

Referências A. Faria, Fluxo Óptico, UFMG. Pontifícia Universidade Católica do Rio de Janeiro Referências A. Faria, Fluxo Óptico, UFMG. Berthold K.P Horn and Brian G. Shunck, Determining Optical Flow. David Stavens, Introduction to OpenCV. Richard Szeliski, Computer Vision: Algorithms and Applications. Gary Bradski, Adrian Kaebler, Learning OpenCV. B. Lucas and T. Kanade. An iterative image registration technique with an application to stereo vision.