Reconstrução de formas Solução geométrica baseada na escavação do espaço e em superfícies reflectoras Nuno Martins Coimbra Novembro de 2001

Introdução A obtenção de informação tridimensional a partir de imagens é um processo com grande potencial de aplicação em diferentes domínios de actividade produtiva. Assim, o grupo onde me incluo tem como objectivo o desenvolvimento de várias técnicas para a obtenção dessa informação.

Introdução É variada a informação tridimensional que se pode recolher das imagens. Além disso, existem diferentes maneiras de representar essas informações. Assim, esta apresentação irá tratar o problema da recuperação de formas e usará a representação volumétrica.

Introdução Na representação volumétrica a forma é dada por um conjunto discreto de primitivas básicas, conhecidas como voxels ou 3D pixels. Cada voxel representa um pequeno volume cúbico do espaço tridimensional da cena, e contém as características correspondentes às suas propriedades físicas.

Introdução Durante esta apresentação irá ser descrito um modo alternativo ao método de recuperação de formas conhecido como escavação do espaço, ou, em inglês, space carving. Essa alternativa será denominada como método geométrico da escavação do espaço.

Organização da apresentação Esta apresentação divide-se em: Método da escavação do espaço; Diferenças entre o métodos; O processo de reconstrução de formas: Calibração do sistema de aquisição; Método geométrico da escavação do espaço.

Método da escavação do espaço O método da escavação do espaço surgiu de um estudo feito por Kiriakos N. Kutulakos e Steven M. Seitz. Neste estudo provou-se que o método da escavação do espaço converge para a imagem do invólucro 3D (referido como photo hull ou visual hull, em inglês) e que este pode ser calculado directamente das imagens.

Método da escavação do espaço O método da escavação do espaço constrói a cena tridimensional a partir de um conjunto de imagens calibradas. Esta aproximação é parecida à de um escultor a criar uma estátua: retirando material aos poucos, os quais não fazem parte do resultado final.

Método da escavação do espaço Para começar, é inicializado um volume composto por um conjunto discreto de voxels, o qual envolve toda a cena tridimensional que se quer reconstruir. O algoritmo vai removendo, ou escavando, voxels do volume quando esses voxels não forem consistentes com as imagens usadas.

Método da escavação do espaço Para modelos de luz que podem ser calculados localmente: Um volume é consistente com um conjunto de imagens se todos os seus pontos forem consistentes com esse conjunto de imagens. Um ponto é consistente com um conjunto de imagens se a côr da sua projecção nas imagens puder resultar da radiação do ponto 3D.

Método da escavação do espaço Quando são usados modelos mais complexos, um volume tridimensional é consistente quanto à forma e quanto à radiação com um ponto na imagem se a côr do ponto da imagem puder resultar da forma do volume sob o modelo de luz corrente.

Método da escavação do espaço Assim, é definido neste método um critério de verificação da consistência. O objectivo deste critério é decidir se existe um valor de radiação que possa ser atribuído a um ponto no espaço de forma a ele ser considerado consistente com as imagens de entrada.

Método da escavação do espaço Resumindo, na fase de escavação faz-se: O cálculo do critério de consistência para voxel (começando pelos exteriores e avançando para dentro). Se o voxel for consistente, é lhe atribuído o valor de radiação. Caso contrário não fará parte da superfície que se está a reconstruir.

Método da escavação do espaço A consistência é verificada projectando o voxel em cada imagem que o vê e comparando as cores das projecções nas imagens. O método termina quando não for possível eliminar mais nenhum voxel do volume.

Método da escavação do espaço O que resta do volume é a forma da superfície que se desejava recuperar, referida como imagem do invólucro (photo hull). Kutulakos e Seitz provaram que a forma resultante é consistente com todas as imagens usadas no processo.

Método da escavação do espaço Algoritmo Inicializar o volume que contém a área de interesse através de um conjunto de voxels; Para todos os voxels V na superfície do volume: encontrar todas as imagens onde V seja visível; decidir se V é consistente com essas imagens; escavar V, se não for encontrada consistência; Repetir o passo anterior até não ser possível retirar mais voxels.

Diferenças entre os métodos A não utilização do conhecimento sobre a luz. A utilização da geometria epipolar.

O processo de reconstrução de formas Tal como o método da escavação do espaço, o método geométrico da escavação do espaço necessita de um qualquer processo de calibração. A geometria de um sistema de aquisição, formado por espelhos e câmaras pode facilitar a calibração.

Calibração do sistema de aquisição Para uma melhor explanação, divide-se o processo de calibração nos seguintes pontos: O funcionamento dos espelhos; As vantagens da utilização dos espelhos Os espelhos no processo de calibração Cálculo das transformações projectivas Cálculo dos centros ópticos

O funcionamento dos espelhos É equivalente ver a imagem de um espelho ou a imagem captada pela câmara.

O funcionamento dos espelhos Os espelhos planares regem-se pelo seguinte princípio de reflexão:

As vantagens na utilização dos espelhos Multiplicação do número de câmaras, mantendo idênticos os seus parâmetros. Facilita a calibração. Imagens captadas com a intervenção dos espelhos têm histogramas de intensidade iguais.

As vantagens na utilização dos espelhos Alargamento do campo de visão das câmaras. Minimiza o custo e aumenta as capacidades. Maior flexibilidade dos sistemas de aquisição de imagens. Os espelhos facilitam o escalonamento do sistema e proporcionam um melhor controlo sobre o problema da oclusão.

Os espelhos no processo de calibração Segundo Sammer, a geometria epipolar entre duas imagens captadas com a ajuda dos espelhos é descrita geometricamente por

Os espelhos no processo de calibração E se fosse usado mais do que as imagens reflectidas no espelho? O que se pode tirar do estudo de Sammer se for considerada a imagem que não é reflectida pelos espelhos?

Os espelhos no processo de calibração

Os espelhos no processo de calibração Pode criar-se um mecanismo que facilita a correspondência entre as imagens

Os espelhos no processo de calibração Podem ser estimadas transformações projectivas entre as imagens e planos tridimensionais (espelhos). Podem ser obtidos os centros ópticos da câmara real e das câmaras virtuais.

Cálculo das transformações projectivas Define-se a origem para o sistema de coordenadas 3D Define-se que o espelho esquerdo é o plano XZ

Cálculo das transformações projectivas Como o espelho direito é um plano, e então

Cálculo dos centros ópticos Obter os epipolos por construção: Definir as rectas epipolares projecções conhecidas do ponto 3D ponto genérico Criação de um sistema com, pelo menos, duas equações iguais à descrita acima Obter a solução do sistema

Cálculo dos centros ópticos (a) (b) (c) (d)

Cálculo dos centros ópticos A triangulação é o cálculo da intersecção das rectas 3D que passam pelos respectivos centros ópticos e pelas projecções de um único ponto 3D nos planos imagem.

Cálculo dos centros ópticos Com base na triangulação, os centros ópticos são obtidos através de:

Cálculo dos centros ópticos Os pontos 3D, , são obtidos através da utilização das transformações projectivas nas projecções nas imagens, .

Cálculo dos centros ópticos No cálculo do centro óptico real, utiliza-se um dos epipolos, juntamente com os centros ópticos virtuais. Este processo é trivial na ausência de ruído. Com ruído, os raios de luz geralmente não se encontram. É necessário encontrar a melhor aproximação para o ponto de intersecção.

Método geométrico da escavação do espaço O processo de extracção do mapa 3D começa com a separação das imagens relativas a cada um dos centros ópticos, pois elas foram adquiridas de uma só vez.

Método geométrico da escavação do espaço Posteriormente é considerado um volume V, que tem o formato de um cubo, que envolve a cena tridimensional que se pretende reconstruir. De seguida, executa-se o algoritmo de método geométrico da escavação do espaço.

Método geométrico da escavação do espaço Algoritmo Dividir o volume inicial em voxels Para cada par de câmaras Para cada voxel, vi, do volume Verificar se ambas as câmaras vêm vi Remover vi se apenas uma câmara o vê Repetir passo anterior até não poderem ser retirados mais voxels

Método geométrico da escavação do espaço Algoritmo Verificar se ambas as câmaras vêm vi Projectar o voxel nas imagens respectivas de cada câmara de forma a saber as suas fronteiras e limitar a procura na imagem Usar a correlação cruzada, as homografias e a matriz fundamental para ter certezas sobre a correspondência das projecções do voxel Só se todos os pontos da projecção do voxel tiverem correspondentes é que são vistos por ambas as câmaras

Método geométrico da escavação do espaço A correlação deve ser feita entre as imagens tendo em conta a distorção afim que advém do processo de correspondência. A estimação da homografia e da matriz fundamental é simplificada devido à geometria dos espelhos e câmara.

Método geométrico da escavação do espaço De outra forma, a remoção de voxels é feita até ao ponto de intersecção das duas rectas 3D que assentam nos centros ópticos das câmaras e nas projecções das imagens. Concluído o processo de remoção, os voxels que restaram podem ser mostrados utilizando uma qualquer biblioteca gráfica (OpenGL).

Método geométrico da escavação do espaço Quanto maior for a divisão do volume inicial em voxels melhor será a qualidade da reconstrução. No entanto o processo é mais demorado e necessita de mais recursos computacionais.

Conclusões e trabalho futuro É necessário utilizarem-se mais imagens para uma reconstrução plena e perfeita. Isto faz com que deva ser estudada a introdução de mais espelhos. O processo de calibração do sistema tem excelentes resultados na obtenção da informação necessária ao método.

Conclusões e trabalho futuro Deve, também, ser desenvolvida uma técnica para automaticamente aumentar o número de pontos necessários à fase da calibração, de forma a reduzir os erros e aumentar a robustez. Deve ser tratada a questão da textura da forma tridimensional resultante.