Reconstrução de cenas a partir de imagens através de Escultura do Espaço por Refinamento Adaptativo por Anselmo A. Montenegro Tese de doutorado Orientadores: Marcelo Gattass, PUC-Rio Paulo Cezar Carvalho, IMPA

Roteiro Introdução Trabalhos anteriores Processamento no espaço das imagens Processamento no espaço da cena O método proposto Implementação do sistema Resultados Conclusões e trabalhos futuros

Motivação básica Cenários virtuais Telepresença Jogos Engenharia: “As-built” models Um sistema de modelagem de objetos baseado em câmeras e computadores pessoais para dar suporte a atividades como:

Reconstrução por superfícies Cena reconstruída Texturização Estruturação Registro Aquisição de dados

Reconstrução Volumétrica Características: –Representa a cena através de uma subdivisão volumétrica do espaço. –Não requer a solução explícita do problema de correspondências. –A solução é obtida através da satisfação de restrições. –Subdivide-se em duas classes: Métodos baseados em silhuetas. Métodos baseados em foto-consistência.

Reconstrução Volumétrica

Reconstrução volumétrica através de silhuetas: –Primeiro método de reconstrução volumétrica. –Procura estimar o Visual Hull: forma que quando visualizada reproduz as silhuetas observadas –Aproximado através de interseções de cones volumétricos. –Não captura formas com curvatura negativa. Reconstrução Volumétrica

Reconstrução baseada em critérios de foto- consistência: –Baseia-se na existência de coerência das cores geradas pelos pontos da cena em cada uma das imagens. –Não requer uma segmentação explícita da cena em fundo e objeto. –Exemplos: Coloração de voxels (Seitz e Dyer 1997/1999). Escultura do espaço (Kutulakos e Seitz 2000). –Assume que a iluminação é localmente computável. Reconstrução Volumétrica

Reconstrução Volumétrica: cronologia Interseções entre Superfícies Martin e Aggarwal (83) Interseções entre Superfícies Martin e Aggarwal (83) Representações por octrees Chien(84, 85), Potmesil(87), Szeliski(93) Representações por octrees Chien(84, 85), Potmesil(87), Szeliski(93) Representações por voxels Massone(85), Fromhertz(94,95) e Moezzi(96, 97) Representações por voxels Massone(85), Fromhertz(94,95) e Moezzi(96, 97) Reconstrução baseada em silhuetas Seitz e Dyer (1997,1998) Seitz e Kutulakos (2000) Variações Reconstrução baseada em foto-consistência

Escultura do espaço no espaço das imagens

Imagem 1Imagem 2Imagem 3Imagem 4 Estado Segmentação objeto OBJETO Amostra/ Visibilidade VISÍVEL Resultado combinado NÃO CONSISTENTE Exemplo 1: não-foto-consistência Escultura do espaço no espaço das imagens

Imagem 1Imagem 2Imagem 3Imagem 4 Estado Segmentação objeto OBJETO Amostra/ Visibilidade VISÍVEL Resultado combinado XX CONSISTENTE Exemplo 2: foto-consistência Escultura do espaço no espaço das imagens

Imagem 1Imagem 2Imagem 3Imagem 4 Estado Segmentação fundoobjeto FUNDO Amostra/ Visibilidade XXXXX Resultado combinado XXXX NÃO CONSISTENTE Exemplo 3: não-foto-consistência trivial Escultura do espaço no espaço das imagens

Imagem 1Imagem 2Imagem 3Imagem 4 Estado Segmentação objeto OBJETO Amostra/ Visibilidade NÃO VISÍVEL Resultado combinado XXXX NÃO CONSISTENTE Exemplo 4: foto-consistência trivial Escultura do espaço no espaço das imagens

Escultura do espaço no espaço das imagens: problemas Dificuldade de registro Amostragem inadequada Conseqüências: –Erros na avaliação de foto-consistência. –Erros no tratamento das informações sobre a visibilidade dos voxels. –Dificuldade de lidar com imagens em resoluções diferentes. Solução: Processamento no espaço da cena. Aproximação da reprojeção dos voxels através de pontos

Escultura do espaço no espaço da cena Estratégia: –Registrar as informações relevantes nos planos de varredura (referência). Mecanismo utilizado: –Mapeamento projetivo de texturas. Vantagens: –Fácil registro. –Reamostragem correta. –Tratamento correto da visibilidade. –Possibilidade de programação em hardware.

Escultura do espaço no espaço da cena

Imagens e segmentação Mapas de visibilidade Escultura do espaço no espaço da cena

Imagens e segmentação Mapas de visibilidade amostra Escultura do espaço no espaço da cena

Imagem 1Imagem 2Imagem 3Imagem 4 Estado Segmentação OOOOOFFO FUNDO OFOOOOOO Amostra XXXXXXXX X XXXXXXXX Resultado combinado XXXXXXXX NÃO CONSISTENTE XXXXXXXX Exemplo1: não-foto-consistência Escultura do espaço no espaço da cena

Imagem 1Imagem 2Imagem 3Imagem 4 Estado Segmentação OOOOOOOO FUNDO OOOOOOOO Amostra VISÍVEL Resultado combinado CONSISTENTE XXXX Exemplo 2: foto-consistência Escultura do espaço no espaço da cena

Proposta do trabalho: Escultura do espaço por refinamento adaptativo Motivação: –Não é possível conhecer a príncipio a resolução adequada para a realização da reconstrução. –A representação do espaço através de partição uniforme não é econômica. –Processo ineficiente: muitos elementos individuais são avaliados de forma desnecessária.

Escultura do espaço por refinamento adaptativo Objetivos: –Descartar grandes regiões vazias já nos estágios iniciais do processo. –Concentrar esforços em regiões próximas à superfície da cena. –Utilizar células de grande resolução somente onde for necessário.

Estratégia: –Representar o espaço de reconstrução através de subdivisão adaptativa: octrees. –Projetar as imagens de entrada em níveis de resolução compatíveis com o nível de refinamento do espaço(uso de mipmapping). –Aplicar uma etapa do algoritmo de varredura de planos para cada nível de refinamento. –Utilizar as informações sobre a segmentação dos objetos de interesse para a remoção de espaços vazios. –Trabalhos correlatos: Prock 1999 e Sainz Escultura do espaço por refinamento adaptativo

Varredura dos planos. –O número de planos de varredura depende somente do nível de refinamento corrente da octree. –As células em cada plano de varredura podem ser determinadas através da interseção do plano corrente com a octree. –Em uma dada iteração são consideradas somente células não avaliadas.

Escultura do espaço por refinamento adaptativo

–Classificações para cada célula: Foto-consistente. Não-foto-consistente. Indefinida. –Célula indefinida: Caso 1: célula mista (fundo/objeto). Caso 2: célula intermediária com informação fotométrica incoerente. –Célula não-foto-consistente: –Caso 1: célula de fundo. –Caso 2: célula de nível máximo com informação fotométrica incoerente. Escultura do espaço por refinamento adaptativo: classificação das células

É realizada com base em teste estatístico (determinar se as diferenças fotométricas são significantes, comparadas com o ruído). Deve levar em consideração os efeitos da filtragem sobre as imagens projetadas. Escultura do espaço por refinamento adaptativo: avaliação da coerência fotométrica.

Efeito da filtragem na foto consistência

Sistema de aquisição Calibração do fundo da cena Calibração das câmeras Captura das imagens Segmentação dos objetos Reconstrução por E.E.

Dificuldades na calibração das câmeras Excesso de ruído nas imagens. Necessidade de um método robusto. Método utilizado: (Szenberg 2001). –Baseado em reconhecimento de modelos. –Não requer que todas as feições sejam identificadas nas imagens.

Calibração das câmeras Resultado da calibração

Identificação do fundo da cena Necessária para a segmentação dos objetos de interesse. As imagens do fundo são modeladas através de intervalos de confiança para as médias dos valores observados nas componentes r, g e b de cada pixel. Feita em etapa de pré-processamento e pode usar um número grande de amostras (foram usadas 128 amostras, obtidas de 128 quadros).

Captura das imagens e segmentação Cada imagem é obtida como uma média de vários quadros (foram usados quatro quadros). Os objetos de interesse são segmentados com base nos mapas de intervalos de confiança. Se o valores observados para um pixel estão dentro dos respectivos intervalos de confiança, o pixel é classificado como do fundo; senão, ele é considerado como pertencente aos objetos. Problemas: sombras e penumbras são consideradas como parte dos objetos.

Captura das imagens e segmentação: tratamento de sombras Métodos baseados em correlação não conseguem corrigir problemas associados às sombras. Solução: teste com base em intervalos de confiança para os canais de cromaticidade.

Testes: dado I – “Al”

Testes: dado I – imagens segmentadas

Testes: dado II – “Dolphins”

Testes: dado II – imagens segmentadas

Testes: dado III – “Tigre”

Testes: dado III – imagens segmentadas

Testes: dado III – “Tigre”

Testes: dado III – imagens segmentadas

Recontrução EEEI - dado I – 256x256

Recontrução EEEC - dado I – 256x256

Recontrução EERA - dado I – 256x256

Recontrução EEEI - dado II – 256x256

Recontrução EEEC - dado II – 256x256

Recontrução EERA - dado II – 256x256

Recontrução EEEI - dado III – 256x256

Recontrução EEEC - dado III – 256x256

Recontrução EERA - dado III – 256x256

Reconstruções em diferentes resoluções – dado Tigre EEEI 64x64 EEEI 128x128 EEEC 64x64 EEEC 128x128 EERA 64x64 EERA 128x128

Reconstruções em diferentes resoluções – dado Dino EEEI 64x64 EEEI 128x128 EEEC 64x64 EEEC 128x128 EERA 64x64 EERA 128x128

Níveis de refinamento no método EERA Nível 5Nível 6Nível 7Nível 8

Níveis de refinamento no método EERA Nível 4Nível 5Nível 6Nível 7Nível 8

Níveis de refinamento no método EERA Nível 5Nível 6Nível 7Nível 8

Níveis de refinamento no método EERA Nível 5Nível 6Nível 7Nível 8

Resultados: dado “Al” EEEI TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x s 128x s 256x s EEEC TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x s 128x s 256x s EERA TamanhoTempo 64x644s 128x1288s 256x25618s

Resultados: dado “Dolphins” EEEI TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x s 128x s 256x s EEEC TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x s 128x s 256x s EERA TamanhoTempo 64x643s 128x1286s 256x25613s

Resultados: dado “Tigre” EEEI TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x s 128x s 256x s EEEC TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x s 128x s 256x s EERA TamanhoTempo 64x646s 128x12811s 256x25622s

Resultados: dado “Dino” EEEI TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x s 128x s 256x s EEEC TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x s 128x s 256x s EERA TamanhoTempo 64x645s 128x12810s 256x25621s

Conclusões Reconstrução no espaço da cena: –Resolve parte dos problemas de amostragem encontrados no método que trabalha no espaço da imagem.  Permite que a reconstrução seja realizada mesmo quando a taxa de ruído é bastante elevada.  Sem programação em GPU é mais lento que o método no espaço da imagem.

Conclusões Uso de informações de segmentação: –É importante para aumentar a precisão geométrica da reconstrução.  É fundamental quando poucas imagens são utilizadas.  É fundamental em estratégia baseadas em refinamento adaptativo.

Conclusões Uso de refinamento adaptativo: –Produz resultados de qualidade similar aos métodos não adaptativos que trabalham no espaço da cena. –Apresenta-se como uma estratégia eficiente para reconstrução. –Aproveita coerência espacial da cena. –Tem potencial para aproveitar também a coerência temporal.  Com a classificação proposta ele pode ser implementado sem critérios de foto-consistência complicados.

Conclusões  Sobre o aparato implementado: –É de fácil construção e de baixo custo. –É simples de se utilizar. –É escalonável. –Produz resultados razoáveis mesmo com equipamentos de aquisição de baixo custo. –Consegue lidar razoavelmente bem em condições de pouco controle sobre a iluminação.

Trabalhos futuros Programação em placas gráficas. Investigação de outras estruturas para representação do espaço. Uso de câmeras reposicionáveis. Reconstrução em tempo real. Investigação de modelos probabilísticos. Uso de estimativas da superfície no cálculo da foto-consistência.