A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

RECONSTRUÇÃO 3D. EQUIPE Amora Cristina (acat) Anália Lima (alc5) Caio César (ccss2) Irineu Martins (imlm2) Ivson Diniz (ids) Laís Sousa (lsa)

Apresentações semelhantes


Apresentação em tema: "RECONSTRUÇÃO 3D. EQUIPE Amora Cristina (acat) Anália Lima (alc5) Caio César (ccss2) Irineu Martins (imlm2) Ivson Diniz (ids) Laís Sousa (lsa)"— Transcrição da apresentação:

1 RECONSTRUÇÃO 3D

2 EQUIPE Amora Cristina (acat) Anália Lima (alc5) Caio César (ccss2) Irineu Martins (imlm2) Ivson Diniz (ids) Laís Sousa (lsa)

3 ROTEIRO Introdução Conceitos Reconstrução Ativa e Passiva Reconstrução Baseada em Imagem Pipelines de Reconstrução Reconstrução Offline e Tempo Real Aplicações Tendências Futuras

4 INTRODUÇÃO

5 VISÃO COMPUTACIONAL Visão Computacional é a área da ciência que se dedica a desenvolver teorias e métodos de extração automática de informações úteis em imagens. Busca extrair informações de forma o mais semelhante possível à realizada pelo ser humano no seu complexo sistema visual.

6 A Visão Computacional é, de certa forma, o inverso da computação gráfica. DADOS DE IMAGENSMODELOS 3D VISÃO COMPUTACIONAL COMPUTAÇÃO GRÁFICA VISÃO COMPUTACIONAL

7 RECONSTRUÇÃO 3D Reconstrução 3D é um campo de pesquisa que envolve várias técnicas com o propósito de recuperar modelos que representam de maneira precisa e em 3 dimensões, características de interesse (forma, estrutura, textura, etc.) de um objeto ou um conjunto de objetos específicos. Experiences on the Implementation of a 3D Reconstruction Pipeline

8 CONCEITOS

9 Uma imagem geralmente é uma projeção de um ambiente 3D num plano específico. Para a Reconstrução 3D, é necessário saber alguns parâmetros de como a imagem foi construída a partir da cena. Geometria Projetiva É necessário saber como as imagens diferentes da mesma cena 3D se relacionam. Geometria Epipolar

10 GEOMETRIA PROJETIVA Área da matemática que lida com as propriedades e a consistência (no sentido de mudança de sistema de coordenadas) de figuras geométricas em relação à projeção. A projeção pode ser ortográfica ou de perspectiva.

11 PROJEÇÃO ORTOGRÁFICA Os pontos 3D seguem uma reta que é ortogonal ao plano. PLANO PROJETIVO

12 PROJEÇÃO ORTOGRÁFICA Objetos mais distantes do plano são projetados com mesmo tamanho que objetos mais próximos. PLANO PROJETIVO

13 PROJEÇÃO DE PERSPECTIVA Os pontos 3D seguem uma reta que vai de encontro a um ponto central de perspectiva. Semelhante ao olho humano. PLANO PROJETIVO PONTO CENTRAL DE PERSPECTIVA

14 PROJEÇÃO DE PERSPECTIVA Objetos mais distantes do plano são projetados com tamanho menor que objetos mais próximos.

15 GEOMETRIA PROJETIVA A projeção ortogonal equivale a uma projeção de perspectiva quando o ponto central tem distância do plano projetivo tendendo ao infinito.

16 MODELOS DE CÂMERA Baseiam-se em princípios da Geometria Projetiva As câmeras convencionais utilizam projeção de perspectiva

17 MODELO DE CÂMERA PINHOLE Modelo matemático de uma câmera pinhole ideal: C f C = centro da câmera f = distância focal z = profundidade z PLANO DE VISTA

18 MODELO DE CÂMERA PINHOLE C é a origem do sistema. Os vetores base desse sistema são u, v, n. Qualquer ponto no plano de vista tem coordenadas (x,y,f) nas coordenadas da base da câmera

19 MODELO DE CÂMERA PINHOLE Cada ponto (x, y, f) pode ser interpretado como um ponto do IR² (x, y) de coordenadas de tela. Podem ser definidos parâmetros w e h, que correspondem à largura e altura de vista do plano. C h w

20 MODELO DE CÂMERA PINHOLE Sejam P (x,y,z) e P (x,y,f), tal que, P é o ponto P projetado em perspectiva em relação a C. Por proporção: o x / f = x / z o y / f = y / z C (x,y,f) (x,y,z)

21 MODELO DE CÂMERA PINHOLE Vale ressaltar que o sistema da câmera não é o mesmo sistema das coordenadas de mundo. Portanto, pontos com coordenadas no sistema mundial devem ter suas coordenadas convertidas para o sistema de câmera. Nessa conversão, ocorrem processos de translação e rotação.

22 PARÂMETROS EXTRÍNSECOS Os parâmetros extrínsecos descrevem a posição e orientação da câmera em relação ao sistema de coordenadas mundial. A posição da câmera pode ser vista como uma translação, enquanto sua orientação pode ser descrita com operações de rotação.

23 PARÂMETROS EXTRÍNSECOS Dessa forma, seja um ponto P com coordenadas do sistema mundial. O ponto P em coordenadas no sistema de câmera é: Coordenadas euclidianas o P = t + R. P Coordenadas homogêneas o P = T. p C O

24 COORDENADAS HOMOGÊNEAS É utilizado em lugar do sistema de coordenadas cartesiano devido às vantagens que oferece no tratamento algébrico. Com coordenadas homogêneas, pontos de um espaço de dimensão n são expressados com coordenadas de um espaço de dimensão n+1. Conceitualmente, há infinitas coordenadas homogêneas para um ponto em particular.

25 COORDENADAS HOMOGÊNEAS Seja um ponto P do IR 2 (X,Y), as coordenadas homogêneas de P são quaisquer triplas [w, x, y] de números reais que satisfaçam as condições: o w > 0 o X = x / w o Y = y / w Para P = (3,5), temos coordenadas homogêneas como [2, 6, 10], [10, 30, 50], [0.2, 0.6, 1.0]...

26 PARÂMETROS INTRÍNSECOS Os parâmetros intrínsecos mostram como um ponto, em coordenadas de câmera, será escrito em coordenadas de imagem. Dessa forma, temos um novo sistema: o sistema de coordenadas de imagem.

27 A origem desse sistema é o canto superior esquerdo O. A unidade básica é o pixel. Vale ressaltar que o tamanho do pixel não necessariamente equivale a uma unidade no sistema de coordenadas de câmera. O PARÂMETROS INTRÍNSECOS

28 Geometria da visão estéreo. GEOMETRIA EPIPOLAR

29 A visão do ser humano é estéreo – cada olho percebe o mundo de visões diferentes. Cada olho funciona como uma câmera pinhole que captura o mundo de forma diferente, permitindo nosso cérebro estabelecer relações geométricas, que simulem o efeito de profundidade.

30 GEOMETRIA EPIPOLAR

31 A idéia de reconstruir o ambiente 3D, tendo como base duas ou mais imagens é baseada na Geometria Epipolar. Dependente dos parâmetros da câmera. Independente da estrutura da cena.

32 GEOMETRIA EPIPOLAR C C e1e1 e2e2 baseline l1l1 l2l2 m1m1 m2m2 PLANO EPIPOLAR

33 GEOMETRIA EPIPOLAR l 1 = F. m 1 Matriz fundamental m 2 T. F. m 1 = 0 F. e 1 = 0 C C e1e1 e2e2 l1l1 l2l2 m1m1 m2m2

34 TÉCNICAS DE RECONSTRUÇÃO

35 TÉCNICAS DE RECONSTRUÇÃO 3D Técnicas Ativas Técnicas Ativas Técnicas Passivas Técnicas Passivas

36 São técnicas que interferem no ambiente para atingir os objetivos desejados. Uma textura artificial é mapeada ao objeto Textura produz características salientes da imagem possibilitando uma reconstrução 3D densa. Exemplo: técnicas baseadas em infra-vermelho, luz estruturada, sonar, etc. TÉCNICAS ATIVAS

37 Reconstrução 3D a partir de um scanner laser

38 TÉCNICAS ATIVAS Reconstrução 3D a partir de luz estruturada

39 Vantagens: Conjunto denso de pontos pode ser extraído, mesmo para objetos sem textura. Menor complexidade (ambiente controlado) Desvantagens: Possui restrições sobre o ambiente que vai ser reconstruído Dificuldade encontrada para tratar objetos especulares TÉCNICAS ATIVAS

40 Essa classe de técnicas se baseia na captura de imagens da cena sob condições naturais de iluminação. Não interfere no ambiente a ser reconstruído Exemplo: Structure from Motion TÉCNICAS PASSIVAS

41 Reconstrução 3D a partir de imagens

42 Vantagens: Apenas uma câmera é necessária para a captura das imagens (câmera comum de baixo custo) Mais flexível (não precisa de ambiente controlado) Desvantagem: É mais complexa TÉCNICAS PASSIVAS

43 RECONSTRUÇÃO BASEADA EM IMAGEM

44 TIPOS DE RECONSTRUÇÃO Reconstrução esparsa: gera uma nuvem de pontos, a qual contém e representa informação 3D de cada um dos pontos da superfície do objeto a ser reconstruído. Reconstrução densa: encontra o valor em coordenadas de mundo do maior número de pontos da imagem possível, além dos features já encontrados, para melhorar a qualidade do modelo.

45 RECONSTRUÇÃO ESPARSA Primeiro Passo: Extração de features Bundle Adjustment: Otimização da estrutura e parâmetros de visualização 3D (ou seja, a pose da câmera, distorção radial), minizando erro de reprojeção dos pontos. Segundo passo: Determinação da localização 3D dos pontos selecionados como features.

46 RECONSTRUÇÃO ESPARSA Dubrovnik, Croácia

47 RECONSTRUÇÃO ESPARSA Sala dos Mapas, Roma

48 RECONSTRUÇÃO DENSA Retificação da Imagem Uma série de transformações é aplicada às imagens, de forma que os pontos correspondentes estejam na mesma coordenada- y em ambos os quadros

49 RECONSTRUÇÃO DENSA Próximos passos: Nova seleção de features (busca mais simples e para quase todos os pixels da imagem) Determinação de uma Matriz Fundamental mais precisa Maior número de correspondências

50 RECONSTRUÇÃO DENSA Reconstrução 3D de uma avalanche em Marte

51 RECONSTRUÇÃO DENSA Modelo reconstruído pelo software PMVS2

52 Consiste em estimar a pose tridimensional de um determinado objeto presente no mundo real. É necessário o uso de sensores que percebem as características do ambiente, tais como: o Ultrasom o Trackers de movimento o Sensores Ópticos Pode também ser utilizado para animações em cinema e aplicações de RA. TRACKING 3D

53 NÚMERO DE IMAGENS Uma imagem: a posição real do ponto é ambígua

54 Duas imagens: os pontos reais coincidem com a intersecção dos raios de visão (sem erros) NÚMERO DE IMAGENS

55 Três ou mais imagens: os raios de visão devem intersectar o mesmo ponto real (sem erros) NÚMERO DE IMAGENS

56 Mas, na presença de erro: NÚMERO DE IMAGENS

57 PROBLEMA DA CORRESPONDÊNCIA Dada duas imagens e um ponto em uma destas imagens, como encontrar seu correspondente na outra

58 PROBLEMA DA CORRESPONDÊNCIA Função de matching para avaliar o grau de semelhança entre pontos (ou de erro para avaliar o grau de diferença ) o Semelhança de luminosidade, distância de cores RGB Uso da geometria epipolar para restringir o espaço de busca na imagem.

59 Restrição epipolar: PROBLEMA DA CORRESPONDÊNCIA

60 MÉTODOS DE CORRESPONDÊNCIA Baseado em features Baseado em correlação

61 BASEADOS EM FEATURES Realizam a correspondência entre as features de duas imagens. Features (ou pontos de destaque) são entidades com propriedades específicas que se sobressaem tais como bordas e contornos.

62 FEATURES Features são inerentemente esparsas. Tal característica representa uma vantagem já que restringe o espaço de busca. Entretanto um conjunto esparso de correspondências também representa uma reconstrução esparsa! Ou seja, existe uma troca entre a redução no espaço de busca e a cobertura da cena.

63 VANTAGENS e DESVANTAGENS São bastante utilizadas para rastreamento e calibração de câmera. Features servem como dicas de profundidade ou como uma indicação da possibilidade de descontinuidades. Sofrem de problemas como contorno aparente.

64 BASEADOS EM CORRELAÇÃO Tentam correlacionar janelas (blocos) numa imagem referência com janelas em outras imagens. Pares de janelas com maior grau de correlação representam uma correspondência.

65 BASEADOS EM CORRELAÇÃO Variam no formato ou tamanho da janela, na maneira de escolher os blocos candidatos Uma vez determinada a correspondência entres os blocos é possível atribuir valores de profundidade ao bloco inteiro ou somente a um pixel representativo.

66 VANTAGENS E DESVANTAGENS Cobrem toda a área das imagens. Podem gerar reconstruções densas. São sensíveis a variações de textura. São sensíveis a variações parâmetros utilizados (eg, tamanho e formato do bloco) Na maioria das vezes necessitam de retificação de imagens.

67 MÉTODOS DE RECONSTRUÇÃO Arvore de classificação de métodos em relação ao número de imagens Shape from Shading Shape from Texture Shape from Focus Structured Light Structure from Motion

68 PIPELINES DE RECONSTRUÇÃO

69 Reconstrução projetiva FASES DE UM PIPELINE Aquisição de imagens Seleção de features Rastreamento 2D Reconstrução métrica Reconstrução densa Texturização

70 POLLEFEYS Obtém modelos 3D a partir de uma sequência de imagens (independentes) monoculares não-calibradas Não precisa de conhecimento prévio sobre a cena ou parâmetros da câmera Funciona mesmo que haja mudanças nos parâmetros da câmera (foco, zoom) entre uma imagem e outra Reconstrução offline

71 POLLEFEYS Sequência inicial de imagens Projective Reconstruction

72 POLLEFEYS Projective Reconstruction Uso do The Harris corners detector para encontrar as features (maximiza a dissimilaridade entre pixels vizinhos) Rastreamento 2D de pontos com o uso de análise de similaridades Redução do espaço de busca (imagens na sequência não devem diferenciar muito) Projective Reconstruction

73 POLLEFEYS Struct from Motion Cálculo da geometria epipolar entre pares de imagens Uso do RANSAC (RANdom SAmpling Consesus), para abordagem mais robusta Cálculo incremental (refinamento da matriz com uso de mais casamentos) Projective Reconstruction

74 POLLEFEYS Projective Reconstruction features Linha Epipolar Ponto previsto

75 POLLEFEYS Projective Reconstruction Self-Calibration Método utilizado para encontrar os parâmetros intrínsecos da câmera Permite variação dos parâmetros durante aquisição de imagens (foco automático ou uso de zoom) Uso da matriz essencial no lugar da matriz fundamental

76 POLLEFEYS Projective Reconstruction Self-Calibration Antes Depois

77 POLLEFEYS Projective Reconstruction Self-Calibration No final, posse da posição e orientação de todas as câmeras, assim como dos parâmetros intrínsecos, a matriz de projeção para cada pose é encontrada Permite aprimorar a reconstrução de projetiva para métrica (preserva propriedades como paralelismo e ortogonalidade)

78 POLLEFEYS Projective Reconstruction Self-Calibration Dense Matching Obtenção da reconstrução densa Uso de retificação para que as linhas epipolares coincidam com o scanline da imagem Busca por correspondentes é reduzida ao casamento de pixels no scanline (mais eficiência)

79 POLLEFEYS Projective Reconstruction Self-Calibration Dense Matching

80 POLLEFEYS Projective Reconstruction Self-Calibration Dense Matching Correspondência computada entre pares adjacentes de imagens retificadas Cálculo de um mapa de profundidade para cada ponto de vista de câmera Fusão entre os mapas para gerar um mapa denso da imagem

81 POLLEFEYS Projective Reconstruction Self-Calibration Dense Matching

82 POLLEFEYS Projective Reconstruction Self-Calibration Dense Matching 3D Model Building Suavização do mapa de profundidade Triagularização da superfície (uso de Convex Hull e densidade de pontos) Aplicação de textura sobre a superfície Uso de centróide e média entre os pixels

83 POLLEFEYS Projective Reconstruction Self-Calibration Dense Matching 3D Model Building

84 POLLEFEYS Projective Reconstruction Self-Calibration Dense Matching 3D Model Building

85 POLLEFEYS Inclui também técnica para reconstrução por vídeo Envolve geração automática de keyframes Restrições de distância mínima (baseline) e rotação mínima entre frames

86 POLLEFEYS Exemplo de reconstrução por vídeo

87 NISTER Pipeline de reconstrução métrica em tempo real Deve-se conhecer previamente os parâmetros intrínsecos da câmera Possui tempo máximo para estimar a pose

88 NISTER Feature Detection Feature Matching Feature Detection Também utiliza o The Harris corners detector para encontrar features Feature Matching Uso de análise de similaridades e geometria epipolar

89 NISTER Feature Detection Feature Matching Structure and Motion Uso do RANSAC com um esquema feito por Nister para evitar testes desnecessários (processamento em tempo real) Triangulação do ponto real Uso de Bundle ajustment para minimizar erros de reprojeção

90 NISTER Exemplo da reconstrução esparsa em tempo real

91 NISTER Feature Detection Feature Matching Structure and Motion Dense Reconstruction Uso de métodos(fusão média de mapas de profundidade, triangulação de superfície e texturização) para gerar a reconstrução densa Reconstrução ainda em tempo real

92 NISTER Exemplo da reconstrução densa em tempo real

93 POLLEFEYS x NISTER

94 RECONSTRUÇÃO OFFLINE E TEMPO REAL

95 RECONSTRUÇÃO OFFLINE A determinação da visibilidade dos objetos em uma cena é feita em pré-processamento. Técnicas: o Cells o Portals o PVS

96 RECONSTRUÇÃO TEMPO REAL A visibilidade dos objetos é determinada enquanto é efetuada a visualização da cena Demanda por algoritmos de alta performance Largamente utilizado em áreas de pesquisa o Realidade Aumentada (Tracking 3D) o Controle de robôs o Interação humano computador (IHC). Técnicas: o Shadow Frusta

97 RECONSTRUÇÃO ONLINE Exemplo

98 RECONSTRUÇÃO ONLINE Exemplo

99 APLICAÇÕES

100 ÁREAS DE APLICAÇÃO Cartografia Arquitetura Medicina Reconhecimento de padrões Navegação

101 MEDICINA InVesalius

102 ARQUITETURA Building Rome In A Day

103 NAVEGAÇÃO Exosphere3D

104 RECONHECIMENTO DE PADRÕES 3D Face Scanner

105 CARTOGRAFIA Earthmine

106 TENDÊNCIAS FUTURAS

107 Reconstruções de maior qualidade o Algoritmos mais precisos o Trabalhar com menos restrições sobre os dados Aplicações que rodem em tempo real o Algoritmos mais eficientes o Estimativas mais robustas Implementações baseadas em hardware o Algoritmos que rodem na GPU o Uso de buffers com maior número de bits por pixel

108 DÚVIDAS…

109 REFERÊNCIAS rio.br/~celes/monograph/pf_ivson2006.pdf

110 REFERÊNCIAS ?f=117&t=


Carregar ppt "RECONSTRUÇÃO 3D. EQUIPE Amora Cristina (acat) Anália Lima (alc5) Caio César (ccss2) Irineu Martins (imlm2) Ivson Diniz (ids) Laís Sousa (lsa)"

Apresentações semelhantes


Anúncios Google