Robótica MO810/MC959 http://www.ic.unicamp.br/~lmarcos/mo810.

Apresentação em tema: "Robótica MO810/MC959 http://www.ic.unicamp.br/~lmarcos/mo810."— Transcrição da apresentação:

1 Robótica MO810/MC959

2 Gradiente 1D Uma dimensão: Duas dimensões: Módulo ou intensidade
x y  ou inclinação ou direção ou tangente Módulo ou intensidade

3 Na prática, uma aproximação
P0(x0,y0) P1(x1,y1)

4 Gradiente 2D

5 Vários tipos de gradiente
Roberts: Prewit Sobel

6 Gradiente e imagem Gradiente mede variação da intensidade
Gradiente realça arestas Pode-se derivar outras máscaras para outras direções (tudo é mesmo uma aproximação dada pelo cálculo infinitesimal): Exemplo:

7 Laplaciano Aproximação:

8 Problemas com o Laplaciano
Informação direcional não disponível Aumenta o ruído nas imagens (duplica), lembre-se que é uma aproximação Prejudicado por picos e vales bruscos Solução: suavizar imagem antes com o gaussiano G => muitos cálculos. Juntar 2 e G num único filtro: L(G(I(x,y))) = LoG(I(x,y))

9 Filtro Gaussiano G0: G1: Gradiente do gaussiano
G2: Laplaciano do gaussiano

10 Exemplos de máscara gaussiana
Normalized Gaussian (norma 1) (G0 1D) double gn[3][7]={/*3 sigmas diferentes*/ {0.0000, , , , , , }, {0.0513, , , , , , }, {0.1063, , , , , , }}; Normalized Gaussian first derivative (norma 1) (G1 1D) double dgn[3][7]={/*3 sigmas diferentes*/ {0.0000, , , , , , }, {0.1278, , , , , , }, {0.2083, , , , , , }}; Normalized LoG (by norma 1) (G2 1D) double lgn[3][7]={ /*3 sigmas diferentes*/ { , , , , , , }, { , , , , , , }, { , , , , , , }};

11 Gráficos

12 Gradiente de superfícies
Vetor (p,q) tal que: Normal p p f q x f q y

13 Shape from shading Mapa de reflectância dão a direção da luz Luz
Observador Mapa de reflectância dão a direção da luz

14 Recuperando a forma de uma esfera

15 Mapa de reflectância

16 Recuperando a forma de uma bacia

17 Mapa de reflectância

18 Processo iterativo Resultado mapa de normais ou diagrama de agulhas
Em cada posição, vetor normal indica a direção da normal à superfície.

19 Problemas Alguns casos, mais de uma solução
Dependente do tipo de iluminação Bordas complicam Necessidade de inicialização (n0)

20 Estéreo fotométrico Variação da posição de iluminação Luz Luz
Observador N Luz Observador

21 Estéreo fotométrico e mas p1 = p2 e q1 = q2
ps1 e ps2 são conhecidos, portanto, é possível encontrar uma solução

22 Shape from line-drawing

23 Shape from line-drawing

24 Shape from line-drawing
1) Detetor de arestas 2) Binarização 3) Tentar encontrar estruturas que permitam reconstruir a forma (cantos, etc) 4) Tentar achar a orientação espacial destas estruturas. 5) Tentar juntar as estruturas no espaço

25 Shape from line-drawing

26 Shape from motion Imagem como uma série de Taylor:
Se considerarmos que a intensidade da imagem não muda se movermos a imagem de um ponto a outro: Assim: (eq. fundamental) Ignorados

27 Fluxo óptico Fazendo obtém-se ou
onde é o gradiente (espacial) da imagem

28 Explicação Considere câmera fixa e objeto movendo
A taxa de variação no tempo da intensidade de um ponto na imagem é explicada como sendo a taxa variação no espaço da intensidade da cena multiplicada pela velocidade com que o ponto se move em relação à câmera. Algo como a segunda lei de Newton ?

29 Integrando motion (relaxação)
Estime u(x,y,o),v(x,y,0) Até que algum erro seja satisfeito, faça fim; Obs:

30 Shape from stereo Duas ou mais imagens da mesma cena
Tomadas de pontos de vista diferentes Percepção da 3a dimensão

31 Calibração de câmera

32 Restrições de ortonormalidade

33 Princípio básico da reconstrução estéreo (triângulos)

34 Transformações Objetos guardam relações com o mundo real
Rotação, translação e escala Se conseguirmos determinar pontos correspondentes, pode-se determinar os triângulos e a 3a dimensão Casamento de todos os pontos

35 Disparidade estéreo P(x,y, z) f b yl y yr xl xr x O b
Figura Modelo estéreo f b

36 Premissas (x, y, z) = coordenadas de um ponto no espaço
Origem imagem esquerda (xl, yl) em (0, 0, f) Ponto focal esquerdo em (0, 0, 0) Imagem direita (xr, yr) com origem em (b, 0, f) Ponto focal direito em (b, 0, 0) b = linha de base f = distância focal (dos centros aos planos imagens)

37 Disparidade e Profundidade
d = xl - xr, yl y (x,y,z) yr xl xr x O b Figura Modelo estéreo xr xl f b

38 Generalizando (movendo origem)
(0,0,0) (d,0,0)

39 Calculando a disparidade

40 Observações z é inversamente proporcional a d
z é diretamente proporcional a b fixado um erro na determinação de d: precisão na determinação de z cresce de forma direta com b. com o crescimento de b, imagens tendem a ser muito diferentes uma da outra ponto visível numa imagem pode não ser noutra, mesmo com vergência

41 Mais observações d é proporcional à distância focal f
à medida que f cresce, imagens também aumenta a distância do ponto projetado nas imagens ao centro destas e em conseqüência a disparidade

42 Determinando altura dos pontos

43 Restrição epipolar

44 Linhas epipolares

45 Orientação relativa (interior)

46 Orientação relativa 9 incógnitas para R 3 incógnitas para T
Total de 12 incógnitas (ou graus de liberdade) 3 equações (restrições normalidade de R) + 1 equação (restrição de ortogonalidade de R) 4 pontos correspondentes no sistema de câmera Total de 12 restrições seria OK?

47 Orientação relativa P(x, y, z) P(x, y, z)
yl y P(x, y, z) yr xl xr x O b Figura Modelo estéreo yl y P(x, y, z) yr xl xr x O b Figura Modelo estéreo Mínimo de 5 pontos = 5x2 = 10 = 14 > 13 1 incógnita para S

48 Solução 5 pontos com coordenadas de mundo conhecidas (não coplanares) e seus correspondentes nas imagens

49 Orientação absoluta (exterior)

50 Algoritmos estéreos 1) Extração de feições ou características das imagens; 2) Estabelecimento de correspondência (matching) entre as feições extraídas; 3) Reconstrução tridimensional.

51 Random Dot Stereograms

52

53

54

55

56

57

58

59

60

61 Corresp. estéreo (matching)
estereogramas de pontos randômicos evidências da fase de correspondências correlação de áreas ou de características (ou elementos) as imagens são pré-filtradas (eliminar altas frequencias e realce de características) Ideal: correspondênca para todos os pixels nas imagens (na prática impossível).

62 Possivel método 1) determinar detalhes inconfundíveis (contornos, certos ângulos, linhas) 2) tentar sua localização na outra imagem 3) usar as diferenças observadas nos tons de cinza entre pixels vizinhos (textura) para tentar a correspondência Valores da luminância de pixels correspondentes a um mesmo ponto na superfície podem ser diferentes nas duas imagens diferença na quantização, sistemas de aquisição, pontos de vista ou ângulos de iluminação, distorções na aquisição, má localização dos elementos, ruídos, ocultação de um elemento numa das imagens.

63 Métodos de matching Matching baseado em áreas (completo)
correlacão entre janelas minimização de erros relaxação Matching baseado em elementos encontrar elementos correlação entre elementos (esparso)

64 Filtragem

65 CORRELAÇÃO de ELEMENTOS
encontrar numa das imagens elementos que possuam características semelhantes a dados elementos (pixels ou grupos de pixels) da outra imagem, através do cômputo de valores de correlaçã

66 CORRELAÇÃO DE SINAIS Nishihara (1982)
primitiva “and” em espaço de escalas

67 JANELAS ADAPTATIVAS 1) restringir tamanho de janela por contornos e por um tamanho máximo 2) Cálculo da disparidade para cada ponto da imagem com precisão a nível de píxel. 3) Completar o mapa de disparidade iterativamente 4) Densificar o mapa de disparidade

68 CORRELAÇÃO DE CANTOS 1) Extração de elementos tais como sequências de arestas ou aproximações de polígonos e localizar cantos nestes. 2) Aplica-se um operador diferencial e relaciona-se pontos que são cantos por limiarização (thresholding). 3) Uso de um modelo explícito da estrutura local da imagem na vizinhança dos cantos e procurar similares numéricos para tal modelo por uma minimização não linear.

69 CORRESPONDÊNCIA de ARESTAS
1) Extração de arestas. Definição de estruturas lineares compostas or sequencias de pixels. 2) Cálculos de valores de correlação nestas estruturas 3) Pode-se eliminar algumas arestas pelo tamanho da estrutura (comprimento), pela curvatura, etc...

70 VARREDURA DE LINHAS EPIPOLARES COM USO DE PROGRAMAÇÃO DINÂMICA
Divide-se o espaço de disparidade dentro de cada linha epipolar em dois sub-espaços Resolve-se o problema em um deles e depois no outro Inter e intra-scan-line

71 UTILIZAÇÃO DE SNAKES tracking de objetos em sequências de imagens
snake minimiza energia numa spline, guiada por restrições de forças externas e influenciada pelas forças da imagem que a empurram em direção a elementos (features) tais como linhas e arestas snakes são contornos ativos que estacionam-se nas proximidades de arestas, localizando-as de forma precisa. Usa-se a continuidade de espaços de escala para enlarguecer a região de captura nos arredores de um elemento, ou seja, uma borração inicial da imagem com um filtro.

72 MATCHING POR NÍVEIS DE CINZA E RELAXAÇÃO

73 CLIQUE MAXIMAL Considere o grafo completo completo cujos nós são os píxels (ou elementos) de cada imagem Ligações ou ramos estão definidos entre cada par deste conjunto de nós, nos dois sentidos. Uma esfera, onde os pontos sobre a superfície de cada hemisfério é o conjunto de píxels de cada uma das duas imagens respectivamente, havendo arestas ligando a todos. Estabelecer um subgrafo que indique a melhor semelhança entre cada píxel destas imagensO subgrafo solução é denominado clique maximal.

74 Matching recursivo (LM)