A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Reconstrução de formas Solução geométrica baseada na escavação do espaço e em superfícies reflectoras Nuno Martins Coimbra Novembro de 2001.

Apresentações semelhantes


Apresentação em tema: "Reconstrução de formas Solução geométrica baseada na escavação do espaço e em superfícies reflectoras Nuno Martins Coimbra Novembro de 2001."— Transcrição da apresentação:

1 Reconstrução de formas Solução geométrica baseada na escavação do espaço e em superfícies reflectoras Nuno Martins Coimbra Novembro de 2001

2 Nuno Martins Introdução u A obtenção de informação tridimensional a partir de imagens é um processo com grande potencial de aplicação em diferentes domínios de actividade produtiva. u Assim, o grupo onde me incluo tem como objectivo o desenvolvimento de várias técnicas para a obtenção dessa informação.

3 Nuno Martins Introdução u É variada a informação tridimensional que se pode recolher das imagens. Além disso, existem diferentes maneiras de representar essas informações. u Assim, esta apresentação irá tratar o problema da recuperação de formas e usará a representação volumétrica.

4 Nuno Martins Introdução u Na representação volumétrica a forma é dada por um conjunto discreto de primitivas básicas, conhecidas como voxels ou 3D pixels. u Cada voxel representa um pequeno volume cúbico do espaço tridimensional da cena, e contém as características correspondentes às suas propriedades físicas.

5 Nuno Martins Introdução u Durante esta apresentação irá ser descrito um modo alternativo ao método de recuperação de formas conhecido como escavação do espaço, ou, em inglês, space carving. u Essa alternativa será denominada como método geométrico da escavação do espaço.

6 Nuno Martins Organização da apresentação u Esta apresentação divide-se em: u Método da escavação do espaço; u Diferenças entre o métodos; u O processo de reconstrução de formas: u Calibração do sistema de aquisição; u Método geométrico da escavação do espaço.

7 Nuno Martins Método da escavação do espaço u O método da escavação do espaço surgiu de um estudo feito por Kiriakos N. Kutulakos e Steven M. Seitz. u Neste estudo provou-se que o método da escavação do espaço converge para a imagem do invólucro 3D (referido como photo hull ou visual hull, em inglês) e que este pode ser calculado directamente das imagens.

8 Nuno Martins Método da escavação do espaço u O método da escavação do espaço constrói a cena tridimensional a partir de um conjunto de imagens calibradas. u Esta aproximação é parecida à de um escultor a criar uma estátua: retirando material aos poucos, os quais não fazem parte do resultado final.

9 Nuno Martins Método da escavação do espaço u Para começar, é inicializado um volume composto por um conjunto discreto de voxels, o qual envolve toda a cena tridimensional que se quer reconstruir. u O algoritmo vai removendo, ou escavando, voxels do volume quando esses voxels não forem consistentes com as imagens usadas.

10 Nuno Martins Método da escavação do espaço u Para modelos de luz que podem ser calculados localmente: u Um volume é consistente com um conjunto de imagens se todos os seus pontos forem consistentes com esse conjunto de imagens. u Um ponto é consistente com um conjunto de imagens se a côr da sua projecção nas imagens puder resultar da radiação do ponto 3D.

11 Nuno Martins Método da escavação do espaço u Quando são usados modelos mais complexos, um volume tridimensional é consistente quanto à forma e quanto à radiação com um ponto na imagem se a côr do ponto da imagem puder resultar da forma do volume sob o modelo de luz corrente.

12 Nuno Martins Método da escavação do espaço u Assim, é definido neste método um critério de verificação da consistência. u O objectivo deste critério é decidir se existe um valor de radiação que possa ser atribuído a um ponto no espaço de forma a ele ser considerado consistente com as imagens de entrada.

13 Nuno Martins Método da escavação do espaço u Resumindo, na fase de escavação faz-se: u O cálculo do critério de consistência para voxel (começando pelos exteriores e avançando para dentro). u Se o voxel for consistente, é lhe atribuído o valor de radiação. u Caso contrário não fará parte da superfície que se está a reconstruir.

14 Nuno Martins Método da escavação do espaço u A consistência é verificada projectando o voxel em cada imagem que o vê e comparando as cores das projecções nas imagens. u O método termina quando não for possível eliminar mais nenhum voxel do volume.

15 Nuno Martins Método da escavação do espaço u O que resta do volume é a forma da superfície que se desejava recuperar, referida como imagem do invólucro (photo hull). u Kutulakos e Seitz provaram que a forma resultante é consistente com todas as imagens usadas no processo.

16 Nuno Martins Método da escavação do espaço Algoritmo u Inicializar o volume que contém a área de interesse através de um conjunto de voxels; u Para todos os voxels V na superfície do volume: u encontrar todas as imagens onde V seja visível; u decidir se V é consistente com essas imagens; u escavar V, se não for encontrada consistência; u Repetir o passo anterior até não ser possível retirar mais voxels.

17 Nuno Martins Diferenças entre os métodos u A não utilização do conhecimento sobre a luz. u A utilização da geometria epipolar.

18 Nuno Martins O processo de reconstrução de formas u Tal como o método da escavação do espaço, o método geométrico da escavação do espaço necessita de um qualquer processo de calibração. u A geometria de um sistema de aquisição, formado por espelhos e câmaras pode facilitar a calibração.

19 Nuno Martins Calibração do sistema de aquisição u Para uma melhor explanação, divide-se o processo de calibração nos seguintes pontos: u O funcionamento dos espelhos; u As vantagens da utilização dos espelhos u Os espelhos no processo de calibração u Cálculo das transformações projectivas u Cálculo dos centros ópticos

20 Nuno Martins u É equivalente ver a imagem de um espelho ou a imagem captada pela câmara. O funcionamento dos espelhos

21 Nuno Martins u Os espelhos planares regem-se pelo seguinte princípio de reflexão: O funcionamento dos espelhos

22 Nuno Martins u Multiplicação do número de câmaras, mantendo idênticos os seus parâmetros. Facilita a calibração. u Imagens captadas com a intervenção dos espelhos têm histogramas de intensidade iguais. As vantagens na utilização dos espelhos

23 Nuno Martins u Alargamento do campo de visão das câmaras. Minimiza o custo e aumenta as capacidades. u Maior flexibilidade dos sistemas de aquisição de imagens. Os espelhos facilitam o escalonamento do sistema e proporcionam um melhor controlo sobre o problema da oclusão. As vantagens na utilização dos espelhos

24 Nuno Martins u Segundo Sammer, a geometria epipolar entre duas imagens captadas com a ajuda dos espelhos é descrita geometricamente por Os espelhos no processo de calibração

25 Nuno Martins u E se fosse usado mais do que as imagens reflectidas no espelho? u O que se pode tirar do estudo de Sammer se for considerada a imagem que não é reflectida pelos espelhos? Os espelhos no processo de calibração

26 Nuno Martins Os espelhos no processo de calibração

27 Nuno Martins u Pode criar-se um mecanismo que facilita a correspondência entre as imagens Os espelhos no processo de calibração

28 Nuno Martins u Podem ser estimadas transformações projectivas entre as imagens e planos tridimensionais (espelhos). u Podem ser obtidos os centros ópticos da câmara real e das câmaras virtuais. Os espelhos no processo de calibração

29 Nuno Martins u Define-se a origem para o sistema de coordenadas 3D u Define-se que o espelho esquerdo é o plano XZ Cálculo das transformações projectivas

30 Nuno Martins u Como o espelho direito é um plano, e então Cálculo das transformações projectivas

31 Nuno Martins Obter os epipolos por construção: u Definir as rectas epipolares projecções conhecidas do ponto 3D ponto genérico u Criação de um sistema com, pelo menos, duas equações iguais à descrita acima u Obter a solução do sistema Cálculo dos centros ópticos

32 Nuno Martins (a) (b) (c) (d) Cálculo dos centros ópticos

33 Nuno Martins u A triangulação é o cálculo da intersecção das rectas 3D que passam pelos respectivos centros ópticos e pelas projecções de um único ponto 3D nos planos imagem. Cálculo dos centros ópticos

34 Nuno Martins u Com base na triangulação, os centros ópticos são obtidos através de: Cálculo dos centros ópticos

35 Nuno Martins u Os pontos 3D,, são obtidos através da utilização das transformações projectivas nas projecções nas imagens,. Cálculo dos centros ópticos

36 Nuno Martins u No cálculo do centro óptico real, utiliza-se um dos epipolos, juntamente com os centros ópticos virtuais. u Este processo é trivial na ausência de ruído. Com ruído, os raios de luz geralmente não se encontram. É necessário encontrar a melhor aproximação para o ponto de intersecção. Cálculo dos centros ópticos

37 Nuno Martins Método geométrico da escavação do espaço u O processo de extracção do mapa 3D começa com a separação das imagens relativas a cada um dos centros ópticos, pois elas foram adquiridas de uma só vez.

38 Nuno Martins Método geométrico da escavação do espaço u Posteriormente é considerado um volume V, que tem o formato de um cubo, que envolve a cena tridimensional que se pretende reconstruir. u De seguida, executa-se o algoritmo de método geométrico da escavação do espaço.

39 Nuno Martins Método geométrico da escavação do espaço Algoritmo u Dividir o volume inicial em voxels u Para cada par de câmaras u Para cada voxel, v i, do volume u Verificar se ambas as câmaras vêm v i u Remover v i se apenas uma câmara o vê u Repetir passo anterior até não poderem ser retirados mais voxels

40 Nuno Martins Método geométrico da escavação do espaço Algoritmo u Verificar se ambas as câmaras vêm v i u Projectar o voxel nas imagens respectivas de cada câmara de forma a saber as suas fronteiras e limitar a procura na imagem u Usar a correlação cruzada, as homografias e a matriz fundamental para ter certezas sobre a correspondência das projecções do voxel u Só se todos os pontos da projecção do voxel tiverem correspondentes é que são vistos por ambas as câmaras

41 Nuno Martins Método geométrico da escavação do espaço u A correlação deve ser feita entre as imagens tendo em conta a distorção afim que advém do processo de correspondência. u A estimação da homografia e da matriz fundamental é simplificada devido à geometria dos espelhos e câmara.

42 Nuno Martins Método geométrico da escavação do espaço u De outra forma, a remoção de voxels é feita até ao ponto de intersecção das duas rectas 3D que assentam nos centros ópticos das câmaras e nas projecções das imagens. u Concluído o processo de remoção, os voxels que restaram podem ser mostrados utilizando uma qualquer biblioteca gráfica (OpenGL).

43 Nuno Martins Método geométrico da escavação do espaço u Quanto maior for a divisão do volume inicial em voxels melhor será a qualidade da reconstrução. u No entanto o processo é mais demorado e necessita de mais recursos computacionais.

44 Nuno Martins u É necessário utilizarem-se mais imagens para uma reconstrução plena e perfeita. u Isto faz com que deva ser estudada a introdução de mais espelhos. u O processo de calibração do sistema tem excelentes resultados na obtenção da informação necessária ao método. Conclusões e trabalho futuro

45 Nuno Martins u Deve, também, ser desenvolvida uma técnica para automaticamente aumentar o número de pontos necessários à fase da calibração, de forma a reduzir os erros e aumentar a robustez. u Deve ser tratada a questão da textura da forma tridimensional resultante. Conclusões e trabalho futuro


Carregar ppt "Reconstrução de formas Solução geométrica baseada na escavação do espaço e em superfícies reflectoras Nuno Martins Coimbra Novembro de 2001."

Apresentações semelhantes


Anúncios Google