Visão Computacional Visão Estéreo

Apresentação em tema: "Visão Computacional Visão Estéreo"— Transcrição da apresentação:

1 Visão Computacional Visão Estéreo http://www.dca.ufrn.br/~lmarcos/courses/visao

2 Shape from stereo Duas ou mais imagens da mesma cena Tomadas de pontos de vista diferentes Percepção da 3a dimensão Inversão de projeção por triangulação determinando a 3a dimensão

3 Estéreo x Motion

4 Random Dot Stereograms http://www.nottingham.ac.uk/~etzpc/sirds.h tmlhttp://www.nottingham.ac.uk/~etzpc/sirds.h tml http://www.nottingham.ac.uk/~etzpc/sirds.h tmlhttp://www.nottingham.ac.uk/~etzpc/sirds.h tml

5

6

7

8

9

10

11

12 Princípio básico da reconstrução estéreo (triângulos)

13 Projeção (transformações) Objetos guardam relações com mundo real Rotação, translação e escala (corpo rígido) Determinar pontos correspondentes nas imagens usando estas restrições Tendo as câmeras calibradas em relação ao sistema de mundo, sabendo-se a distância entre as câmeras, pode-se determinar o triângulo e a 3a dimensão

14 Modelo estéreo y P(x,y, z) (x l,y l ) x r,x r xOb f f (0,0,0)(b,0,0)

15 Premissas (x,y,z) = coordenadas de um ponto no espaço Origem imagem esquerda (x l, y l ) em (0, 0, f) Ponto focal esquerdo em (0, 0, 0) Imagem direita (x r, y r ) com origem em (b, 0, f) Ponto focal esquerdo em (0,0,0), direito em (b,0,0) b = linha de base f = distância focal (dos centros óticos aos planos imagens) y P(x, y, z) (x l, y l ) x r,x r xOb f f (0,0,0)(b,0,0)

16 Projetando no plano xlxl xrxr f b x z x-b x fx z l x fxb z r x z xb z xrxr f xlxl f

17 Deslocamento em y=0 yy fy z lr ylyl y (x,y,z) yryr xlxl xrxr x Ob Figura 2.1 - Modelo estéreo b f y z yryr f ylyl f f

18 Disparidade estéreo Manipulando as equações: Definindo d = x l - x r Substituindo z nas equações e achamos finalmente e fx z fxb z x l - x r = - = fx z - z fb z + z = x fx z l y fy z l x fx z l x fxb z r

19 Generalizando (movendo origem) (0,0,0)(d,0,0) (-d,0,0)

20 Calculando a disparidade b d

21 Observações z é inversamente proporcional a d z é diretamente proporcional a b fixado um erro na determinação de d: –precisão na determinação de z cresce de forma direta com b. – com o crescimento de b, imagens tendem a ser muito diferentes uma da outra –ponto visível numa imagem pode não ser noutra, mesmo com vergência

22 Mais observações d é proporcional à distância focal f à medida que f aumenta, imagens também aumenta a distância do ponto projetado nas imagens ao centro destas e em conseqüência a disparidade no modelo ideal: –pontos próximos disparidade grande –pontos longe disparidade pequena –ponto no infinito disparidade zero

23 Observações Modelo com vergência: –Pontos no horópter: disparidade zero –Pontos mais próximos que o horópter: disparidade positiva –Pontos mais longe que o horópter: disparidade negativa Bom sinal, daria para manter um robô a uma certa distância de uma pessoa usando apenas disparidade Horopter

24 Determinando altura dos pontos Para pequenos valores de h (terrenos planos): h0h0 h1h1 h2h2 hihi

25 Restrição epipolar Verifica-se no sistema ideal apresentado que as imagem y l e y r são a mesma e definem uma reta paralela ao eixo x denominada linha epipolar Para eixos óticos não paralelos, as projeções de um ponto localizam-se em linhas dadas pela interseção entre cada plano imagem e o plano formado pelos dois centros óticos (epipolos) mais o ponto objeto considerado Linhas epipolares

26 Restrição epipolar

27 Supondo a orientação relativa entre os dois sistemas conhecida (visto a seguir) A projeção de um ponto (x l, y l ) na imagem esquerda é um raio que passa pela origem da imagem esquerda As coordenadas de um ponto qualquer situado neste raio, referenciadas ao sistema esquerdo podem ser expressas por:

28 Restrição epipolar No sistema direito, as coordenadas desse mesmo ponto no raio projetivo correspondente são:

29 Restrição epipolar Assumindo que a distância focal nos dois sistemas é a mesma, as seguintes equações de projeção podem ser estabelecidas para o sistema direito:

30 Restrição epipolar Usando as abreviações temos as equações anteriores dadas por que representam uma reta pelo ponto (u/w, v/w), quando s = 0, e por (a/c, b/c), quando s =.

31 Restrição epipolar O primeiro destes pontos é a imagem do ponto nodal (focal) da câmera esquerda no plano da imagem direita e o segundo é a imagem do ponto acima considerado também na imagem direita.

32 Restrição epipolar

33 Generalidades Considere o raio descrito por um ponto P, o centro S l do sistema esquerdo e a imagem P l do ponto (estão alinhados). Se tomarmos um raio D r paralelo a este, que passe pelo centro do sistema direito, a imagem deste raio na imagem direita e a imagem do ponto nodal da câmera esquerda na imagem direita definirão uma reta coincidente com a primeira linha epipolar, descrita antes.

34 Visão Computacional Visão Estéreo http://www.dca.ufrn.br/~lmarcos/courses/visao

35 Profundidade da disparidade e ângulos de vergência

36 Vergência

37

38 Orientação relativa

39 Orientação Relativa (uma câmera em relação à outra) Restabelecer as posições relativas que uma câmera tinha em relação à outra, no momento de tomada das imagens Não importa os pontos de mundo, apenas de imagem.

40 Orientação relativa Achar R, de modo que: Sendo que

41 Orientação relativa Então, dados n pontos com coordenadas nas imagens conhecidas, devemos montar um sistema de equações para achar R 9 incógnitas para R 3 incógnitas para T Total de 12 incógnitas (ou graus de liberdade)

42 Orientação relativa 3 equações (restrições normalidade de R) + 1 equação (restrição de ortogonalidade de R) 4 pontos correspondentes no sistema de câmera Total de 12 restrições seria OK? Problema de escala Total de 13 restrições

43 Orientação relativa Mínimo de 5 pontos = 5x2 = 10 10 + 4 = 14 > 13 1 incógnita para S ylyl y P(x,y,z) yryr xlxl xrxr xOb Figura 2.1 - Modelo estéreo ylyl y P( x, y, z) yryr xlxl xrxr xOb Figura 2.1 - Modelo estéreo

44 Solução 5 pontos com coordenadas de imagem conhecidas (não coplanares) em ambas as imagens ylyl y P(x, y, z) yryr xlxl xrxr xOb Figura 2.1 - Modelo estéreo

45 Orientação absoluta ou exterior (sistema em relação ao mundo)

46 Orientação absoluta (determina parâmetros intrínsecos) Colocar o par (orientado relativamente) em escala em relação ao mundo. Dada a disparidade de um ponto, determinar a coordenada 3D deste. O sistema completo fica orientado em relação ao frame de mundo.

47 Orientação absoluta (exterior) Com 4 pontos não co-planares 16 equações e 16 incógnitas + + + + + ++ + ++ + +

48 Orientação absoluta

49 Algoritmos estéreos 1) Extração de feições ou características das imagens; 2) Estabelecimento de correspondência (matching) entre as feições extraídas; 3) Reconstrução tridimensional.

50 Matching Podemos pensar, a princípio, em determinar detalhes que sejam inconfundíveis nas imagens, tais como contornos de objetos, certos ângulos, linhas, etc, em uma imagem e tentar sua localização na outra Usar as diferenças de tons de cinza entre pixels vizinhos (textura) e tentar estabelecer a correspondência.

51 Busca por correspondência

52 Corresp. estéreo (matching) estereogramas de pontos randômicos evidências da fase de correspondências correlação de áreas ou de features (elementos) as imagens são pré-filtradas (eliminar altas freqüências e realce de características) Ideal: correspondênca para todos os pixels nas imagens (na prática impossível).

53 Problemas - ruídos - erros Valores da luminância dos pixels correspondentes podem ser diferentes. –Diferenças na quantização da luminância –Características dos sistemas de aquisição –Diferentes pontos de vista (diferentes ângulos) –Distorções ocorridas no processo de aquisição –Má localização dos elementos –Ruídos. Ocultação de um elemento numa imagem.

54 Visão Estéreo Matching

55 Métodos de matching Matching baseado em áreas (completo) –correlacão entre janelas –minimização de erros –relaxação Matching baseado em elementos (esparso) –encontrar elementos –correlação entre elementos (esparso)

56 Pré-processamento Redução de ruídos Realce de elementos (arestas, cantos, textura) Normalização (em torno da média) Outras atenuações ou facilitações (wavelets, multi-resolução, segmentação)

57 Pré-processamento (filtragem)

58 Correlação Dada uma janela numa imagem, encontrar uma janela na outra imagem cujos pixels sejam o mais similar possível aos pixels da primeira janela

59 Correlação Determinar mínimo em: ou determinar máximo em:

60 Correlação

61

62 Correlação cruzada normalizada

63

64

65 CORRELAÇÃO DE SINAIS Nishihara (1982) primitiva and em imagem reduzida (32x32 posições)

66 JANELAS ADAPTATIVAS 1) restringir tamanho de janela por contornos e por um tamanho máximo 2) Cálculo da disparidade para cada ponto da imagem com precisão a nível de píxel. 3) Completar o mapa de disparidade iterativamente 4) Densificar o mapa de disparidade

67 MATCHING POR RELAXAÇÃO 1) Cada ponto em uma imagem possui apenas um valor de profundidade 2) O valor da profundidade de um ponto na cena é similar ao de seu vizinho C n+1 (x,y,d)={ x,y,d S C n (x,y,d) - x,y,d C n (x,y,d) + C 0 (x,y,d)} Termo entre chaves {t}=1 se t>T e 0 caso contrário S =conj. pontos x,y,d tal que |x - x| 1 e d = d =conj. pontos x,y,d tal que |x - x| 1 e |d - d|=1

68 Livro do Horn (Robot Vision) Relaxação usando o gradiente de sombreamento

69 CLIQUE MAXIMAL Considere o grafo completo completo cujos nós são os píxels (ou elementos) de cada imagem Ligações ou ramos estão definidos entre cada par deste conjunto de nós, nos dois sentidos. Uma esfera, onde os pontos sobre a superfície de cada hemisfério é o conjunto de píxels de cada uma das duas imagens respectivamente, havendo arestas ligando a todos. Estabelecer um subgrafo que indique a melhor semelhança entre cada píxel destas imagens. O subgrafo solução é denominado clique maximal.

70 CORRELAÇÃO de ELEMENTOS Encontrar numa das imagens elementos que possuam características semelhantes a dados elementos (pixels ou grupos de pixels) da outra imagem, através do cômputo de valores de correlação

71 Métodos baseados em elementos E l = {{p 1,I 1 },{p 2,I 2 }, …,{p n,I n }} E r = {{p 1,I 1 },{p 2,I 2 }, …,{p n,I n }} Percorrer todos os elementos de (E l e E r ), encontrando os pares de elementos mais similares nas duas imagens

72 Métodos baseados em elementos

73 CORRELAÇÃO DE CANTOS 1) Extração de elementos tais como sequências de arestas ou aproximações de polígonos e localizar cantos nestes. 2) Aplica-se um operador diferencial e relaciona-se pontos que são cantos por limiarização (thresholding). 3) Uso de um modelo explícito da estrutura local da imagem na vizinhança dos cantos e procurar similares numéricos para tal modelo por uma minimização não linear.

74 CORRESPONDÊNCIA de ARESTAS 1) Extração de arestas. Definição de estruturas lineares compostas por sequencias de pixels. 2) Cálculos de valores de correlação nestas estruturas 3) Pode-se eliminar algumas arestas na busca da correspondente, examinando o tamanho da estrutura (comprimento), a curvatura, etc...

75 VARREDURA DE LINHAS EPIPOLARES COM USO DE PROGRAMAÇÃO DINÂMICA Divide-se o espaço de disparidade dentro de cada linha epipolar em dois sub-espaços Resolve-se o problema em um deles e depois no outro Inter e intra-scan-line

76 UTILIZAÇÃO DE SNAKES tracking de objetos em sequências de imagens snake minimiza energia numa spline, guiada por restrições de forças externas e influenciada pelas forças da imagem que a empurram em direção a elementos (features) tais como linhas e arestas snakes são contornos ativos que estacionam-se nas proximidades de arestas, localizando-as de forma precisa. Usa-se a continuidade de espaços de escala para enlarguecer a região de captura nos arredores de um elemento, ou seja, uma borração inicial da imagem com um filtro.

77 Usando Gabor Wavelets e Fourier Deslocamento no espaço corresponde a um deslocamento de fase na transformada de Fourier Wavelets aproxima Fourier (Sanger, Qian)

78 Matching recursivo (LM)

79 Marcos Medeiros Imagem é decomposta em um espaço de escalas usando Wavelets ou Gaussianas Correlação começa em um nível grosseiro e até chegar ao nível de melhor precisão Ganha em tempo de busca, para o melhor nível Gargalo de ter que computar o espaço de escalas

80 Marcos Medeiros Problema é então como determinar o nível onde se deve iniciar o matching, que pode ser diferente para cada pixel Solução: usar um predicado e lógica fuzzy para calcular qual será este nível, para cada pixel No final, usou apenas LoG (não Wavelets) Bons resultados (mais rápido que usando as wavelets)

81 Trabalho de casa Implementar metodos de Reconstrucao Estereo, para 13/11/07 Passos: –Determinar o estado da arte em metodos baseados em area –Determinar o estado da arte em metodos baseados em features (elementos) –Determinar o estado da arte em metodos baseados em biologia (Gabor, Wavelets, Phase based methods, etc). –Escolher 2 metodos diferentes e implementa-los (usando imagens providas pelas cameras cedidas ao grupo). –Entregar um relatorio com o estado da arte.