Visão Computacional Visão Estéreo

Apresentação em tema: "Visão Computacional Visão Estéreo"— Transcrição da apresentação:

1 Visão Computacional Visão Estéreo

2 Shape from stereo Duas ou mais imagens da mesma cena
Tomadas de pontos de vista diferentes Percepção da 3a dimensão Inversão de projeção por triangulação determinando a 3a dimensão

3 Estéreo x Motion

4 Random Dot Stereograms

5

6

7

8

9

10

11

12

13

14 Princípio básico da reconstrução estéreo (triângulos)

15 Projeção (transformações)
Objetos guardam relações com mundo real Rotação, translação e escala Determinar pontos correspondentes nas imagens usando estas restrições Tendo as câmeras calibradas em relação ao sistema de mundo, sabendo-se a distância entre as câmeras, pode-se determinar o triângulo e a 3a dimensão

16 Modelo estéreo P(x,y, z) y (xl,yl) xr ,xr f f (0,0,0) (b,0,0) O b x

17 Premissas (x,y,z) = coordenadas de um ponto no espaço
Origem imagem esquerda (xl, yl) em (0, 0, f) Ponto focal esquerdo em (0, 0, 0) Imagem direita (xr, yr) com origem em (b, 0, f) Ponto focal esquerdo em (0,0,0), direito em (b,0,0) b = linha de base f = distância focal (dos centros óticos aos planos imagens)

18 Projetando no plano ( ) x x-b x fx z = xl f x z = z x f b z = - x b z
xr f xl xr f b

19 Deslocamento em y=0 (x,y,z) y fy z = yr f yl f y z = f f b l r y yl yr
xl xr f f b O b x Figura Modelo estéreo

20 Disparidade estéreo ( ) Manipulando as equações: Definindo d = xl - xr
Substituindo z nas equações e achamos finalmente e ( ) f x b z - xl - xr = fx z = fx z fx z fb z + fb z = - - x fx z l = y fy z l =

21 Generalizando (movendo origem)
(0,0,0) (d,0,0)

22 Calculando a disparidade
b d

23 Observações z é inversamente proporcional a d
z é diretamente proporcional a b fixado um erro na determinação de d: precisão na determinação de z cresce de forma direta com b. com o crescimento de b, imagens tendem a ser muito diferentes uma da outra ponto visível numa imagem pode não ser noutra, mesmo com vergência

24 Mais observações d é proporcional à distância focal f
à medida que f aumenta, imagens também aumenta a distância do ponto projetado nas imagens ao centro destas e em conseqüência a disparidade no modelo ideal: pontos próximos disparidade grande pontos longe disparidade pequena ponto no infinito disparidade zero

25 Observações Modelo com vergência:
Pontos no horópter: disparidade zero Pontos mais próximos que o horópter: dispariade positiva Pontos mais longe que o horópter: disparidade negativa Bom sinal, daria para manter um robô a uma certa distância de uma pessoa usando apenas disparidade

26 Determinando altura dos pontos
Para pequenos valores de h (terrenos planos):

27 Restrição epipolar Verifica-se no sistema ideal apresentado que as imagem yl e yr são a mesma e definem uma reta paralela ao eixo x denominada linha epipolar Se os eixos óticos das câmeras são não paralelos, projeções de um ponto objeto localizam-se nas linhas epipolares dadas pela interseção entre cada plano imagem e o plano formado pelos dois centros óticos mais o ponto objeto considerado

28 Restrição epipolar

29 Restrição epipolar Supondo a orientação relativa entre os dois sistemas conhecida (visto a seguir) A projeção de um ponto (xl, yl) na imagem esquerda é um raio que passa pela origem As coordenadas de um ponto qualquer situado neste raio, referenciadas ao sistema esquerdo podem ser expressas por:

30 Restrição epipolar No sistema direito, as coordenadas desse mesmo ponto no raio projetivo correspondente são:

31 Restrição epipolar Assumindo que a distância focal nos dois sistemas é a mesma, as seguintes equações de projeção podem ser estabelecidas para o sistema direito:

32 Restrição epipolar Usando as abreviações
temos as equações anteriores dadas por que representam uma reta passando pelo ponto (u/w , v/w), quando s = 0, e por (a/c , b/c), quando s = .

33 Restrição epipolar O primeiro destes pontos é a imagem do ponto nodal (focal) da câmera esquerda no plano da imagem direita e o segundo a imagem do ponto acima considerado também na imagem direita.

34 Restrição epipolar

35 Generalidades Considere o raio descrito por um ponto P, o centro Sl do sistema esquerdo e a imagem Pl do ponto (estão alinhados). Se tomarmos um raio Dr paralelo a este, que passe pelo centro do sistema direito, a imagem deste raio na imagem direita e a imagem do ponto nodal da câmera esquerda na imagem direita definirão uma reta coincidente com a primeira linha epipolar, descrita antes.

36 Visão Computacional Visão Estéreo

37 Profundidade da disparidade e ângulos de vergência

38 Vergência

39 Vergência

40 Orientação relativa

41 Orientação Relativa Restabelecer as posições relativas que uma câmera tinha em relação à outra, no momento de tomada das imagens Não importa os pontos de mundo, apenas de imagem.

42 Orientação relativa Achar R, de modo que: Sendo que

43 Orientação relativa 9 incógnitas para R 3 incógnitas para T
Então, dados n pontos com coordenadas nas imagens conhecidas, devemos montar um sistema de equações para achar R 9 incógnitas para R 3 incógnitas para T Total de 12 incógnitas (ou graus de liberdade)

44 Orientação relativa 3 equações (restrições normalidade de R) +
1 equação (restrição de ortogonalidade de R) 4 pontos correspondentes no sistema de câmera Total de 12 restrições seria OK? Problema de escala

45 Orientação relativa P(x, y, z) Mínimo de 5 pontos = 5x2 = 10
yl y P(x,y,z) yr xl xr x O b Figura Modelo estéreo yl y P(x, y, z) yr xl xr x O b Figura Modelo estéreo Mínimo de 5 pontos = 5x2 = 10 = 14 > 13 1 incógnita para S

46 Solução 5 pontos com coordenadas de imagem conhecidas (não coplanares) em ambas as imagens

47 Orientação absoluta (exterior)

48 Orientação absoluta Colocar o par (orientado relativamente) em escala em relação ao mundo. Dada a disparidade de um ponto, determinar a coordenada 3D deste. O sistema completo fica orientado em relação ao frame de mundo.

49 Orientação absoluta (exterior)
Com 4 pontos não co-planares 16 equações e 16 incógnitas

50 Orientação absoluta

51 Algoritmos estéreos 1) Extração de feições ou características das imagens; 2) Estabelecimento de correspondência (matching) entre as feições extraídas; 3) Reconstrução tridimensional.

52 Matching Podemos pensar, a princípio, em determinar detalhes que sejam inconfundíveis nas imagens, tais como contornos de objetos, certos ângulos, linhas, etc, em uma imagem e tentar sua localização na outra Usar as diferenças de tons de cinza entre pixels vizinhos (textura) e tentar estabelecer a correspondência.

53 Corresp. estéreo (matching)
estereogramas de pontos randômicos evidências da fase de correspondências correlação de áreas ou de features (elementos) as imagens são pré-filtradas (eliminar altas freqüências e realce de características) Ideal: correspondênca para todos os pixels nas imagens (na prática impossível).

54 Problemas - ruídos - erros
Valores da luminância dos pixels correspondentes podem ser diferentes. Diferenças na quantização da luminância Características dos sistemas de aquisição Diferentes pontos de vista (diferentes ângulos) Distorções ocorridas no processo de aquisição Má localização dos elementos Ruídos. Ocultação de um elemento numa imagem.

55 Métodos de matching Matching baseado em áreas (completo)
correlacão entre janelas minimização de erros relaxação Matching baseado em elementos (esparso) encontrar elementos correlação entre elementos (esparso)

56 Pré-processamento Redução de ruídos
Realce de elementos (arestas, cantos, textura) Normalização (em torno da média) Outras atenuações ou facilitações (wavelets, multi-resolução, segmentação)

57 Pré-processamento (filtragem)

58 Correlação Dada uma janela numa imagem, encontrar uma janela na outra imagem cujos pixels sejam o mais similar possível aos pixels da primeira janela

59 Correlação Determinar mínimo em: ou determinar máximo em:

60 Correlação

61 Correlação

62 Correlação cruzada normalizada

63 Correlação cruzada normalizada

64 Correlação cruzada normalizada

65 CORRELAÇÃO DE SINAIS Nishihara (1982)
primitiva “and” em imagem reduzida (32x32 posições)

66 JANELAS ADAPTATIVAS 1) restringir tamanho de janela por contornos e por um tamanho máximo 2) Cálculo da disparidade para cada ponto da imagem com precisão a nível de píxel. 3) Completar o mapa de disparidade iterativamente 4) Densificar o mapa de disparidade

67 MATCHING POR NÍVEIS DE CINZA E RELAXAÇÃO

68 CLIQUE MAXIMAL Considere o grafo completo completo cujos nós são os píxels (ou elementos) de cada imagem Ligações ou ramos estão definidos entre cada par deste conjunto de nós, nos dois sentidos. Uma esfera, onde os pontos sobre a superfície de cada hemisfério é o conjunto de píxels de cada uma das duas imagens respectivamente, havendo arestas ligando a todos. Estabelecer um subgrafo que indique a melhor semelhança entre cada píxel destas imagens. O subgrafo solução é denominado clique maximal.

69 CORRELAÇÃO de ELEMENTOS
Encontrar numa das imagens elementos que possuam características semelhantes a dados elementos (pixels ou grupos de pixels) da outra imagem, através do cômputo de valores de correlação

70 Métodos baseados em elementos

71 CORRELAÇÃO DE CANTOS 1) Extração de elementos tais como sequências de arestas ou aproximações de polígonos e localizar cantos nestes. 2) Aplica-se um operador diferencial e relaciona-se pontos que são cantos por limiarização (thresholding). 3) Uso de um modelo explícito da estrutura local da imagem na vizinhança dos cantos e procurar similares numéricos para tal modelo por uma minimização não linear.

72 CORRESPONDÊNCIA de ARESTAS
1) Extração de arestas. Definição de estruturas lineares compostas por sequencias de pixels. 2) Cálculos de valores de correlação nestas estruturas 3) Pode-se eliminar algumas arestas na busca da correspondente, examinando o tamanho da estrutura (comprimento), a curvatura, etc...

73 VARREDURA DE LINHAS EPIPOLARES COM USO DE PROGRAMAÇÃO DINÂMICA
Divide-se o espaço de disparidade dentro de cada linha epipolar em dois sub-espaços Resolve-se o problema em um deles e depois no outro Inter e intra-scan-line

74 UTILIZAÇÃO DE SNAKES tracking de objetos em sequências de imagens
snake minimiza energia numa spline, guiada por restrições de forças externas e influenciada pelas forças da imagem que a empurram em direção a elementos (features) tais como linhas e arestas snakes são contornos ativos que estacionam-se nas proximidades de arestas, localizando-as de forma precisa. Usa-se a continuidade de espaços de escala para enlarguecer a região de captura nos arredores de um elemento, ou seja, uma borração inicial da imagem com um filtro.

75 Usando Gabor Wavelets e Fourier
Deslocamento no espaço corresponde a um deslocamento de fase na transformada de Fourier Wavelets aproxima Fourier (Sanger, Qian)

76 Matching recursivo (LM)

77 Marcos Medeiros Imagem é decomposta em um espaço de escalas usando Wavelets ou Gaussianas Correlação começa em um nível grosseiro e até chegar ao nível de melhor precisão Ganha em tempo de busca, para o melhor nível Gargalo de ter que computar o espaço de escalas

78 Trabalho de casa Implementar um método de Reconstrução Estéreo (diferente para cada equipe), para 15/11/06 Passos (todos): Determinar o estado da arte em métodos baseados em área Determinar o estado da arte em métodos baseados em features (elementos) Determinar o estado da arte em métodos baseados em biologia (Gabor, Wavelets, Phase based methods, etc). Escolher 4 métodos diferentes e implementá-los (usando imagens providas pelas câmeras cedidas a cada grupo). Entregar um relatório (todos) com o estado da arte.