RECONSTRUÇÃO 3D Video em: http://www.youtube.com/watch?v=kxtQqYLRaSQ.

Apresentação em tema: "RECONSTRUÇÃO 3D Video em: http://www.youtube.com/watch?v=kxtQqYLRaSQ."— Transcrição da apresentação:

1 RECONSTRUÇÃO 3D Video em:

2 EQUIPE Amora Cristina (acat) Anália Lima (alc5) Caio César (ccss2)
Irineu Martins (imlm2) Ivson Diniz (ids) Laís Sousa (lsa)

3 Roteiro Introdução Conceitos Reconstrução Ativa e Passiva
Reconstrução Baseada em Imagem Pipelines de Reconstrução Reconstrução Offline e Tempo Real Aplicações Tendências Futuras

4 introdução

5 VISÃO COMPUTACIONAL Visão Computacional é a área da ciência que se dedica a desenvolver teorias e métodos de extração automática de informações úteis em imagens. Busca extrair informações de forma o mais semelhante possível à realizada pelo ser humano no seu complexo sistema visual.

6 VISÃO COMPUTACIONAL A Visão Computacional é, de certa forma, o inverso da computação gráfica.  VISÃO COMPUTACIONAL DADOS DE IMAGENS MODELOS 3D COMPUTAÇÃO GRÁFICA

7 RECONSTRUÇÃO 3D “Reconstrução 3D é um campo de pesquisa que envolve várias técnicas com o propósito de recuperar modelos que representam de maneira precisa e em 3 dimensões, características de interesse (forma, estrutura, textura, etc.) de um objeto ou um conjunto de objetos específicos.” Experiences on the Implementation of a 3D Reconstruction Pipeline

8 conceitos

9 CONCEITOS Uma imagem geralmente é uma projeção de um ambiente 3D num plano específico. Para a Reconstrução 3D, é necessário saber alguns parâmetros de como a imagem foi construída a partir da cena. Geometria Projetiva É necessário saber como as imagens diferentes da mesma cena 3D se relacionam. Geometria Epipolar

10 GEOMETRIA PROJETIVA “Área da matemática que lida com as propriedades e a consistência (no sentido de mudança de sistema de coordenadas) de figuras geométricas em relação à projeção”. A projeção pode ser ortográfica ou de perspectiva.

11 PROJEÇÃO ORTOGRÁFICA Os pontos 3D seguem uma reta que é ortogonal ao plano. PLANO PROJETIVO

12 PROJEÇÃO ORTOGRÁFICA Objetos mais distantes do plano são projetados com mesmo tamanho que objetos mais próximos. PLANO PROJETIVO

13 PONTO CENTRAL DE PERSPECTIVA
PROJEÇÃO DE PERSPECTIVA Os pontos 3D seguem uma reta que vai de encontro a um ponto central de perspectiva. Semelhante ao olho humano. PONTO CENTRAL DE PERSPECTIVA PLANO PROJETIVO

14 PROJEÇÃO DE PERSPECTIVA
Objetos mais distantes do plano são projetados com tamanho menor que objetos mais próximos.

15 GEOMETRIA PROJETIVA A projeção ortogonal equivale a uma projeção de perspectiva quando o ponto central tem distância do plano projetivo tendendo ao infinito.

16 MODELOS DE CÂMERA Baseiam-se em princípios da Geometria Projetiva
As câmeras convencionais utilizam projeção de perspectiva

17 MODELO DE CÂMERA PINHOLE
Modelo matemático de uma câmera pinhole ideal: C = centro da câmera f = distância focal z = profundidade PLANO DE VISTA z C f

18 MODELO DE CÂMERA PINHOLE
C é a origem do sistema. Os vetores base desse sistema são u, v, n. Qualquer ponto no plano de vista tem coordenadas (x,y,f) nas coordenadas da base da câmera

19 MODELO DE CÂMERA PINHOLE
Cada ponto (x, y, f) pode ser interpretado como um ponto do IR² (x, y) de coordenadas de tela. Podem ser definidos parâmetros w e h, que correspondem à largura e altura de vista do plano. h w C

20 MODELO DE CÂMERA PINHOLE
Sejam P (x,y,z) e P’ (x’,y’,f), tal que, P’ é o ponto P projetado em perspectiva em relação a C. Por proporção: x’ / f = x / z y’ / f = y / z (x,y,z) (x’,y’,f) C

21 MODELO DE CÂMERA PINHOLE
Vale ressaltar que o sistema da câmera não é o mesmo sistema das coordenadas de mundo. Portanto, pontos com coordenadas no sistema mundial devem ter suas coordenadas convertidas para o sistema de câmera. Nessa conversão, ocorrem processos de translação e rotação.

22 PARÂMETROS EXTRÍNSECOS
Os parâmetros extrínsecos descrevem a posição e orientação da câmera em relação ao sistema de coordenadas mundial. A posição da câmera pode ser vista como uma translação, enquanto sua orientação pode ser descrita com operações de rotação.

23 PARÂMETROS EXTRÍNSECOS
Dessa forma, seja um ponto P com coordenadas do sistema mundial. O ponto P’ em coordenadas no sistema de câmera é: Coordenadas euclidianas P’ = t + R . P Coordenadas homogêneas P’ = T . p O C

24 COORDENADAS HOMOGÊNEAS
É utilizado em lugar do sistema de coordenadas cartesiano devido às vantagens que oferece no tratamento algébrico. Com coordenadas homogêneas, pontos de um espaço de dimensão n são expressados com coordenadas de um espaço de dimensão n+1. Conceitualmente, há infinitas coordenadas homogêneas para um ponto em particular.

25 COORDENADAS HOMOGÊNEAS
Seja um ponto P do IR2 (X,Y), as coordenadas homogêneas de P são quaisquer triplas [w, x, y] de números reais que satisfaçam as condições: w > 0 X = x / w Y = y / w Para P = (3,5), temos coordenadas homogêneas como [2, 6, 10], [10, 30, 50], [0.2, 0.6, 1.0]...

26 PARÂMETROS INTRÍNSECOS
Os parâmetros intrínsecos mostram como um ponto, em coordenadas de câmera, será escrito em coordenadas de imagem. Dessa forma, temos um novo sistema: o sistema de coordenadas de imagem.

27 PARÂMETROS INTRÍNSECOS
A origem desse sistema é o canto superior esquerdo O. A unidade básica é o pixel. Vale ressaltar que o tamanho do pixel não necessariamente equivale a uma unidade no sistema de coordenadas de câmera. O

28 GEOMETRIA EPIPOLAR Geometria da visão estéreo.

29 GEOMETRIA EPIPOLAR A visão do ser humano é estéreo – cada olho percebe o mundo de visões diferentes. Cada olho funciona como uma câmera pinhole que captura o mundo de forma diferente, permitindo nosso cérebro estabelecer relações geométricas, que simulem o efeito de profundidade.

30 GEOMETRIA EPIPOLAR

31 GEOMETRIA EPIPOLAR A idéia de reconstruir o ambiente 3D, tendo como base duas ou mais imagens é baseada na Geometria Epipolar. Dependente dos parâmetros da câmera. Independente da estrutura da cena.

32 GEOMETRIA EPIPOLAR l2 PLANO EPIPOLAR l1 m1 C m2 e1 e2 baseline C’

33 GEOMETRIA EPIPOLAR l2 l1 = F . m1 l1 m2T. F . m1 = 0 m1 F . e1 = 0 m2
Matriz fundamental l1 m2T. F . m1 = 0 F . e1 = 0 m1 C m2 e1 e2 C’

34 TÉCNICAS DE RECONSTRUÇÃO

35 Técnicas de Reconstrução 3D
Técnicas Ativas Técnicas Passivas

36 TÉCNICAS ATIVAS São técnicas que interferem no ambiente para atingir os objetivos desejados. Uma textura artificial é mapeada ao objeto Textura produz características salientes da imagem possibilitando uma reconstrução 3D densa. Exemplo: técnicas baseadas em infra-vermelho, luz estruturada, sonar, etc.

37 TÉCNICAS ATIVAS Reconstrução 3D a partir de um scanner laser
Video em:

38 TÉCNICAS ATIVAS Reconstrução 3D a partir de luz estruturada
Video:

39 TÉCNICAS ATIVAS Vantagens: Conjunto denso de pontos pode ser extraído, mesmo para objetos sem textura. Menor complexidade (ambiente controlado) Desvantagens: Possui restrições sobre o ambiente que vai ser reconstruído Dificuldade encontrada para tratar objetos especulares

40 TÉCNICAS PASSIVAS Essa classe de técnicas se baseia na captura de imagens da cena sob condições naturais de iluminação. Não interfere no ambiente a ser reconstruído Exemplo: Structure from Motion

41 TÉCNICAS PASSIVAS Reconstrução 3D a partir de imagens
Video em:

42 TÉCNICAS PASSIVAS Vantagens: Apenas uma câmera é necessária para a captura das imagens (câmera comum de baixo custo) Mais flexível (não precisa de ambiente controlado) Desvantagem: É mais complexa

43 RECONSTRUÇÃO BASEADA EM IMAGEM

44 TIPOS DE RECONSTRUÇÃO Reconstrução esparsa: gera uma nuvem de pontos, a qual contém e representa informação 3D de cada um dos pontos da superfície do objeto a ser reconstruído. Reconstrução densa: encontra o valor em coordenadas de mundo do maior número de pontos da imagem possível, além dos features já encontrados, para melhorar a qualidade do modelo.

45 RECONSTRUÇÃO ESPARSA Primeiro Passo: Extração de features
Bundle Adjustment: Otimização da estrutura e parâmetros de visualização 3D (ou seja, a pose da câmera, distorção radial), minizando erro de reprojeção dos pontos. Segundo passo: Determinação da localização 3D dos pontos selecionados como features.

46 RECONSTRUÇÃO ESPARSA Dubrovnik, Croácia

47 RECONSTRUÇÃO ESPARSA Sala dos Mapas, Roma

48 RECONSTRUÇÃO DENSA Retificação da Imagem
Uma série de transformações é aplicada às imagens, de forma que os pontos correspondentes estejam na mesma coordenada-y em ambos os quadros

49 RECONSTRUÇÃO DENSA Próximos passos:
Nova seleção de features (busca mais simples e para quase todos os pixels da imagem) Determinação de uma Matriz Fundamental mais precisa Maior número de correspondências

50 RECONSTRUÇÃO DENSA Reconstrução 3D de uma avalanche em Marte

51 RECONSTRUÇÃO DENSA Modelo reconstruído pelo software PMVS2

52 TRACKING 3D Consiste em estimar a pose tridimensional de um determinado objeto presente no mundo real. É necessário o uso de sensores que percebem as características do ambiente, tais como: Ultrasom Trackers de movimento Sensores Ópticos Pode também ser utilizado para animações em cinema e aplicações de RA.

53 NÚMERO DE IMAGENS Uma imagem: a posição real do ponto é ambígua

54 NÚMERO DE IMAGENS Duas imagens: os pontos reais coincidem com a intersecção dos raios de visão (sem erros)

55 NÚMERO DE IMAGENS Três ou mais imagens: os raios de visão devem intersectar o mesmo ponto real (sem erros)

56 NÚMERO DE IMAGENS Mas, na presença de erro:

57 PROBLEMA DA CORRESPONDÊNCIA
Dada duas imagens e um ponto em uma destas imagens, como encontrar seu correspondente na outra

58 PROBLEMA DA CORRESPONDÊNCIA
Função de matching para avaliar o grau de semelhança entre pontos (ou de erro para avaliar o grau de diferença ) Semelhança de luminosidade, distância de cores RGB Uso da geometria epipolar para restringir o espaço de busca na imagem.

59 PROBLEMA DA CORRESPONDÊNCIA
Restrição epipolar:

60 MÉTODOS DE CORRESPONDÊNCIA
Baseado em features Baseado em correlação

61 BASEADOS EM FEATURES Realizam a correspondência entre as features de duas imagens. Features (ou pontos de destaque) são entidades com propriedades específicas que se sobressaem tais como bordas e contornos.

62 FEATURES Features são inerentemente esparsas.
Tal característica representa uma vantagem já que restringe o espaço de busca. Entretanto um conjunto esparso de correspondências também representa uma reconstrução esparsa! Ou seja, existe uma troca entre a redução no espaço de busca e a cobertura da cena.

63 VANTAGENS e DESVANTAGENS
São bastante utilizadas para rastreamento e calibração de câmera. Features servem como ‘dicas’ de profundidade ou como uma indicação da possibilidade de descontinuidades. Sofrem de problemas como contorno aparente.

64 BASEADOS EM CORRELAÇÃO
Tentam correlacionar janelas (blocos) numa imagem referência com janelas em outras imagens. Pares de janelas com maior grau de correlação representam uma correspondência.

65 BASEADOS EM CORRELAÇÃO
Variam no formato ou tamanho da janela, na maneira de escolher os blocos candidatos Uma vez determinada a correspondência entres os blocos é possível atribuir valores de profundidade ao bloco inteiro ou somente a um pixel representativo.

66 VANTAGENS E DESVANTAGENS
Cobrem toda a área das imagens. Podem gerar reconstruções densas. São sensíveis a variações de textura. São sensíveis a variações parâmetros utilizados (eg, tamanho e formato do bloco) Na maioria das vezes necessitam de retificação de imagens.

67 MÉTODOS DE RECONSTRUÇÃO
Shape from Focus Structure from Motion Shape from Texture Shape from Shading Structured Light Shape-from-shading => Variação gradual na iluminação do objeto Structured light is the process of projecting a known pattern of pixels (often grids or horizontal bars) on to a scene. The way that these deform when striking surfaces allows vision systems to calculate the depth and surface information of the objects in the scene Arvore de classificação de métodos em relação ao número de imagens

68 Pipelines de REConstrução

69 Reconstrução projetiva
FASES DE UM PIPELINE Aquisição de imagens Seleção de features Texturização Rastreamento 2D Reconstrução projetiva Reconstrução densa Reconstrução métrica

70 POLLEFEYS Obtém modelos 3D a partir de uma sequência de imagens (independentes) monoculares não-calibradas Não precisa de conhecimento prévio sobre a cena ou parâmetros da câmera Funciona mesmo que haja mudanças nos parâmetros da câmera (foco, zoom) entre uma imagem e outra Reconstrução offline

71 Projective Reconstruction
POLLEFEYS Projective Reconstruction Sequência inicial de imagens

72 Projective Reconstruction
POLLEFEYS Projective Reconstruction Uso do The Harris corners detector para encontrar as features (maximiza a dissimilaridade entre pixels vizinhos) Rastreamento 2D de pontos com o uso de análise de similaridades Redução do espaço de busca (imagens na sequência não devem diferenciar muito) Projective Reconstruction

73 Projective Reconstruction
POLLEFEYS Struct from Motion Cálculo da geometria epipolar entre pares de imagens Uso do RANSAC (RANdom SAmpling Consesus), para abordagem mais robusta Cálculo incremental (refinamento da matriz com uso de mais casamentos) Projective Reconstruction

74 Projective Reconstruction
POLLEFEYS Projective Reconstruction features Linha Epipolar Ponto previsto

75 Projective Reconstruction
POLLEFEYS Self-Calibration Método utilizado para encontrar os parâmetros intrínsecos da câmera Permite variação dos parâmetros durante aquisição de imagens (foco automático ou uso de zoom) Uso da matriz essencial no lugar da matriz fundamental Projective Reconstruction Self-Calibration

76 Projective Reconstruction
POLLEFEYS Projective Reconstruction Antes Self-Calibration Depois

77 Projective Reconstruction
POLLEFEYS Self-Calibration No final, posse da posição e orientação de todas as câmeras, assim como dos parâmetros intrínsecos, a matriz de projeção para cada pose é encontrada Permite aprimorar a reconstrução de projetiva para métrica (preserva propriedades como paralelismo e ortogonalidade) Projective Reconstruction Self-Calibration

78 Projective Reconstruction
POLLEFEYS Dense Matching Obtenção da reconstrução densa Uso de retificação para que as linhas epipolares coincidam com o scanline da imagem Busca por correspondentes é reduzida ao casamento de pixels no scanline (mais eficiência) Projective Reconstruction Self-Calibration Dense Matching

79 Projective Reconstruction
POLLEFEYS Projective Reconstruction Self-Calibration Dense Matching

80 Projective Reconstruction
POLLEFEYS Dense Matching Correspondência computada entre pares adjacentes de imagens retificadas Cálculo de um mapa de profundidade para cada ponto de vista de câmera Fusão entre os mapas para gerar um mapa denso da imagem Projective Reconstruction Self-Calibration Dense Matching

81 Projective Reconstruction
POLLEFEYS Projective Reconstruction Self-Calibration Dense Matching

82 Projective Reconstruction
POLLEFEYS 3D Model Building Suavização do mapa de profundidade Triagularização da superfície (uso de Convex Hull e densidade de pontos) Aplicação de textura sobre a superfície Uso de centróide e média entre os pixels Projective Reconstruction Self-Calibration Dense Matching 3D Model Building

83 Projective Reconstruction
POLLEFEYS Projective Reconstruction Self-Calibration Dense Matching 3D Model Building

84 Projective Reconstruction
POLLEFEYS Projective Reconstruction Self-Calibration Dense Matching 3D Model Building

85 POLLEFEYS Inclui também técnica para reconstrução por vídeo
Envolve geração automática de keyframes Restrições de distância mínima (baseline) e rotação mínima entre frames

86 POLLEFEYS Exemplo de reconstrução por vídeo
Video em:

87 NISTER Pipeline de reconstrução métrica em tempo real
Deve-se conhecer previamente os parâmetros intrínsecos da câmera Possui tempo máximo para estimar a pose

88 NISTER Feature Detection Feature Detection Feature Matching
Também utiliza o The Harris corners detector para encontrar features Feature Matching Uso de análise de similaridades e geometria epipolar Feature Detection Feature Matching

89 NISTER Structure and Motion Feature Detection Feature Matching
Uso do RANSAC com um esquema feito por Nister para evitar testes desnecessários (processamento em tempo real) Triangulação do ponto real Uso de Bundle ajustment para minimizar erros de reprojeção Feature Detection Feature Matching Structure and Motion

90 NISTER Exemplo da reconstrução esparsa em tempo real
Video em:

91 NISTER Dense Reconstruction Feature Detection Feature Matching
Uso de métodos(fusão média de mapas de profundidade, triangulação de superfície e texturização) para gerar a reconstrução densa Reconstrução ainda em tempo real Feature Detection Feature Matching Structure and Motion Dense Reconstruction

92 NISTER Exemplo da reconstrução densa em tempo real
Video em:

93 POLLEFEYS x NISTER

94 REConstrução offline e tempo real

95 RECONSTRUÇÃO OFFLINE A determinação da visibilidade dos objetos em uma cena é feita em pré-processamento. Técnicas: Cells Portals PVS

96 RECONSTRUÇÃO TEMPO REAL
A visibilidade dos objetos é determinada enquanto é efetuada a visualização da cena Demanda por algoritmos de alta performance Largamente utilizado em áreas de pesquisa Realidade Aumentada (Tracking 3D) Controle de robôs Interação humano computador (IHC). Técnicas: Shadow Frusta

97 RECONSTRUÇÃO ONLINE Exemplo
Video em:

98 RECONSTRUÇÃO ONLINE Exemplo
Video em:

99 Aplicações

100 ÁREAS DE APLICAÇÃO Arquitetura Navegação Medicina
Reconhecimento de padrões Cartografia

101 MEDICINA InVesalius Video em: É uma das areas que mais encontramos informações, Aplicações nessa area InVesalius é um software público para área de saúde que visa auxiliar o diagnóstico e o planejamento cirúrgico. A partir de imagens em duas dimensões (2D) obtidas através de equipamen­tos de tomografia computador­izada ou ressonância magnética, o programa permite criar modelos virtuais em três dimensões (3D) correspondentes às estruturas anatômicas dos pacientes em acompanhamento médico. Ele pode ser usado para simulações de intervenções cirúrgicas e criação de implantes exclusivos para cada paciente. Dentre os benefícios gerados pela utilização do software e dos protótipos, tem-se: melhor resultado estético; redução no tempo real da cirurgia; menos riscos para o paciente. (alterar o video para só o que é importante)

102 ARQUITETURA Building Rome In A Day
Video em:

103 NAVEGAÇÃO Exosphere3D Video em:

104 RECONHECIMENTO DE PADRÕES
3D Face Scanner Video em:

105 CARTOGRAFIA Earthmine
Video em:

106 Tendências futuras

107 TENDÊNCIAS FUTURAS Reconstruções de maior qualidade
Algoritmos mais precisos Trabalhar com menos restrições sobre os dados Aplicações que rodem em tempo real Algoritmos mais eficientes Estimativas mais robustas Implementações baseadas em hardware Algoritmos que rodem na GPU Uso de buffers com maior número de bits por pixel

108 DÚVIDAS…

109 REFERÊNCIAS http://www.cin.ufpe.br/~tg/2006-1/ela.pdf
    INVESALIUS: BUILDING ROME IN A DAY: POUSO NO RIO HUDSON: EARTHMINE:

110 REFERÊNCIAS