Visão Computacional http://www.dca.ufrn.br/~lmarcos/courses/visao.

Apresentação em tema: "Visão Computacional http://www.dca.ufrn.br/~lmarcos/courses/visao."— Transcrição da apresentação:

1 Visão Computacional

2 Shape from X X = estéreo X = shading (sombreamento)
X = fotométrico estéreo X = motion X = textura (regiões com textura uniforme) X = line-drawing

3 Gradiente 2D 1D 2D

4 Gradiente e imagem Gradiente mede variação da intensidade
Gradiente realça arestas Pode-se derivar outras máscaras para outras direções (tudo é mesmo uma aproximação dada pelo cálculo infinitesimal ou cálculo variacional): Exemplo:

5 Estéreo x Motion

6 Motion Paralax

7 Motion Paralax

8 Motion Paralax

9 Motion Paralax

10 Motion Paralax

11 Motion Paralax

12 Motion Paralax

13 Diferenças principais de estéreo
Correspondência: Uma vez que imagens são tomadas a uma taxa alta, disparidades são muito menores que em estéreo Reconstrução: Diferente de estéreo, o deslocamento 3D entre a cena e a câmera não é necessariamente causado por uma transformação 3D de corpo rígido

14 Tempo de impacto

15 Tempo de impacto  É possível determinar o tempo  que a barra levaria para atingir a câmera apenas usando informação de imagem, isto é, sem saber seu tamanho real nem sua velocidade no espaço 3D? Resposta? V L l D t= t=0 D0 f D0-Vt

16 Calculando tempo  Seja L o tamanho real da barra, V sua velocidade (constante) e f a distância focal A origem do sistema é o centro de projeção Posição inicial da barra D(0) = D0 em t = 0 Posição no tempo t é: D = D0 - Vt D0, L, V, f são todos desconhecidos Seja l(t) o tamanho aparente da barra (na imagem) L V D D0 t=0 t= f D0-Vt l

17 Calculando o tempo   = V/D (1) l(t) = fL/D
D0-Vt l  = V/D (1) l(t) = fL/D l´(t) = dl(t)/dt = -fL/D2 (dD/dt) = fLV /D2 divida l(t) por l´(t) e usando (1), obtemos: l(t)/l´(t) =  Sabendo l(t) e l´(t), determinamos 

18 Assumpção Existe apenas um movimento relativo, rígido, entre a câmera e a cena As condições de iluminação da cena não mudam de acordo com o tempo

19 Campo de movimento (motion field)
Motion field é o campo vetorial 2D de velocidades dos pontos da imagem induzido pelo movimento relativo entre a câmera de vicualização e a cena observada. Pode ser entendido como a projeção do campo vetorial 3D de velocidades dos pontos na cena no plano imagem (imagine a projeção dos vetores 3D na imagem)

20 Motion field Seja a imagem de um ponto P dada por: p=fP/Z
O movimento relativo entre P e a câmera pode ser dado por V = -T - x P, sendo T o componente translacional de motion e  a velocidade angular. Uma vez que o movimento é rígido,  e T são os mesmos para qualquer ponto P.

21 Motion field Traduzindo em componentes: Vx = -Tx -yZ+ zY
Vy = -Ty -zZ+ xZ Vz = -Tz -xZ+ yX Derivando p=fP/Z, obtemos: v = f(ZV-VzP)/Z2

22 Equações básicas do motion field
vx = (Tzx-Txf)/Z-yf+zy+(xxy)/f-(yx2)/f vy = (Tzy-Tyf)/Z-xf+zx-(yxy)/f+(xy2)/f Note que a equação é a soma de dois componentes separados, um de movimento translacional e outro de movimento rotacional

23 Noção de fluxo ótico Estimar o campo de movimento a partir das variações de intensidade na imagem, causadas por um movimento de corpo rígido ocorrido entre a câmera e a cena Assumir brilho contínuo e diferenciável quantas vezes necessário

24 Fluxo ótico Consideremos que o brilho aparente de um objeto móvel é constante no tempo. A irradiância da imagem é proporcional à radiância da cena na direção do eixo ótico Assumindo o mesmo fator ao longo da imagem, a constância do brilho aparente da cena pode ser escrita como sendo a estacionaridade do brilho da imagem E sobre o tempo: dE/dt=0

25 Fluxo ótico O brilho E é função da posição espacial e do tempo => E(x,y,t) Uma vez que x e y são funções de t, a derivada total de dE/dt não deve ser confundida com a derivada parcial  E/ t A derivada total dE[x(t),y(t),t)]/dt é: (E/x)(dx/dt)+(E/y)(dy/dt)+E/ t=0

26 Fluxo ótico As derivadas parciais do brilho da imagem são simplesmente as componentes do gradiente espacial espacial da imagem (E) As derivadas temporais dx/dt, dy/dt e dz/dt são as componentes do motion field v A equação anterior pode então ser escrita: (E)tv+Et=0 Subscrito t denota diferenciação no tempo

27 Fluxo ótico Fluxo ótico é o campo vetorial sujeito à restrição da equação anterior e definido sumariamente como o movimento aparente do padrão de brilho da imagem É uma aproximação para o campo de movimento que pode ser calculado a partir de imagens que variam no tempo, considerando as simplificações

28 Fluxo ótico (outro ponto de vista)
Sistema visual pode ser discreto, mas produz sensação de movimento contínuo A saída espelha o fluxo contínuo do mundo imageado ao longo da retina Esta informação contínua pode ser entendida como o fluxo ótico Fluxo ótico ou campo de velocidade instantânea define uma “velocidade retinal” a todo ponto no campo visual, com a qual ele cruza o campo.

29 Shape from motion Fluxo ótico pode ser calculado apenas usando informação local Modelar movimento da imagem como variação contínua da intensidade da imagem, função de posição e tempo f(x,y,t) que pode ser expandida (Taylor) como: Termos ignorados

30 Shape from motion Se considerarmos que a intensidade de um ponto na imagem não muda se o movermos para outro local (translação apenas): Assim, a equação fundamental é dada por:

31 Shape from motion  f / x,  f / y e  f / t são quantidades que podem ser medidas e dx/dt e dy/dt são as estimativas que estamos procurando (velocidades nas direções x e y).

32 Fluxo óptico Fazendo obtém-se ou
onde é o gradiente (espacial) da imagem e V=(u,v) é o termo velocidade

33 Explicação Considere câmera fixa e objeto movendo
A taxa de variação no tempo da intensidade de um ponto na imagem é (em primeira ordem) explicada como sendo a taxa de variação no espaço da intensidade da cena multiplicada pela velocidade com que pontos na cena movem relativos à câmera. Algo como a segunda lei de Newton ?

34 Explicação Esta equação também indica que o vetor velocidade (u,v) deve estar numa linha perpendicular ao vetor (fx,fy), que são as derivadas parciais com respeito a x e y. Se as derivadas forem precisas, a magnitude da velocidade na direção (fx,fy) é:

35 Fluxo ótico por relaxação
Equação do fluxo ótico restringe velocidade mas não a determina unicamente. Uso de relaxação par calcular o fluxo ótico (pressupõe suavidade da variação) Suavidade pode ser medida usando derivadas parciais ao quadrado como termo de erro: ux2, uy2,vx2,vy2

36 Fluxo ótico por relaxação
Usando multiplicadores de Lagrange, minimizar o erro no fluxo dado por: E2(x,y) = (fxu + fyv + ft)2 + (ux2+uy2+vx2+vy2) Diferenciando em relação a u e v, obtemos equações para a variação do erro com relação a u e v que devem ser zero

37 Fluxo ótico por relaxação
Sendo 2u = u-uav e 2v = v-vav, obtém-se: (2+ fx2)u + fx fyv = 2 uav - fxft fx fyu + (l2+ fy2)v = l2 vav - fyft Podem ser resolvidas para u e v: u = uav - fx (P/D) v = vav - fy (P/D) sendo P = fx uav + fyvav + ft D = 2 + fx2 + fy2

38 Integrando motion (relaxação)
Inicialize uk,vk em zero Até que algum erro seja satisfeito, faça u(x,y,t) = uav (x,y,t-1) - fx (P/D) v(x,y,t) = vav (x,y,t-1) - fy (P/D) fim;

39 Integrando motion (relaxação) vários quadros
Inicialize todos os u(x,y,0) e v(x,y,0) Para t = 1 até um máximo de frames, faça fim; Obs: