Reconstrução de cenas a partir de imagens através de Escultura do Espaço por Refinamento Adaptativo por Anselmo A. Montenegro Tese de doutorado Orientadores:

Apresentação em tema: "Reconstrução de cenas a partir de imagens através de Escultura do Espaço por Refinamento Adaptativo por Anselmo A. Montenegro Tese de doutorado Orientadores:"— Transcrição da apresentação:

1 Reconstrução de cenas a partir de imagens através de Escultura do Espaço por Refinamento Adaptativo por Anselmo A. Montenegro Tese de doutorado Orientadores: Marcelo Gattass, PUC-Rio Paulo Cezar Carvalho, IMPA

2 Roteiro Introdução Trabalhos anteriores Processamento no espaço das imagens Processamento no espaço da cena O método proposto Implementação do sistema Resultados Conclusões e trabalhos futuros

3 Motivação básica Cenários virtuais Telepresença Jogos Engenharia: “As-built” models Um sistema de modelagem de objetos baseado em câmeras e computadores pessoais para dar suporte a atividades como:

4 Reconstrução por superfícies Cena reconstruída Texturização Estruturação Registro Aquisição de dados

5 Reconstrução Volumétrica Características: –Representa a cena através de uma subdivisão volumétrica do espaço. –Não requer a solução explícita do problema de correspondências. –A solução é obtida através da satisfação de restrições. –Subdivide-se em duas classes: Métodos baseados em silhuetas. Métodos baseados em foto-consistência.

6 Reconstrução Volumétrica

7 Reconstrução volumétrica através de silhuetas: –Primeiro método de reconstrução volumétrica. –Procura estimar o Visual Hull: forma que quando visualizada reproduz as silhuetas observadas –Aproximado através de interseções de cones volumétricos. –Não captura formas com curvatura negativa. Reconstrução Volumétrica

8 Reconstrução baseada em critérios de foto- consistência: –Baseia-se na existência de coerência das cores geradas pelos pontos da cena em cada uma das imagens. –Não requer uma segmentação explícita da cena em fundo e objeto. –Exemplos: Coloração de voxels (Seitz e Dyer 1997/1999). Escultura do espaço (Kutulakos e Seitz 2000). –Assume que a iluminação é localmente computável. Reconstrução Volumétrica

9 Reconstrução Volumétrica: cronologia Interseções entre Superfícies Martin e Aggarwal (83) Interseções entre Superfícies Martin e Aggarwal (83) Representações por octrees Chien(84, 85), Potmesil(87), Szeliski(93) Representações por octrees Chien(84, 85), Potmesil(87), Szeliski(93) Representações por voxels Massone(85), Fromhertz(94,95) e Moezzi(96, 97) Representações por voxels Massone(85), Fromhertz(94,95) e Moezzi(96, 97) Reconstrução baseada em silhuetas Seitz e Dyer (1997,1998) Seitz e Kutulakos (2000) Variações Reconstrução baseada em foto-consistência

10 Escultura do espaço no espaço das imagens

11 Imagem 1Imagem 2Imagem 3Imagem 4 Estado Segmentação objeto OBJETO Amostra/ Visibilidade VISÍVEL Resultado combinado NÃO CONSISTENTE Exemplo 1: não-foto-consistência Escultura do espaço no espaço das imagens

12 Imagem 1Imagem 2Imagem 3Imagem 4 Estado Segmentação objeto OBJETO Amostra/ Visibilidade VISÍVEL Resultado combinado XX CONSISTENTE Exemplo 2: foto-consistência Escultura do espaço no espaço das imagens

13 Imagem 1Imagem 2Imagem 3Imagem 4 Estado Segmentação fundoobjeto FUNDO Amostra/ Visibilidade XXXXX Resultado combinado XXXX NÃO CONSISTENTE Exemplo 3: não-foto-consistência trivial Escultura do espaço no espaço das imagens

14 Imagem 1Imagem 2Imagem 3Imagem 4 Estado Segmentação objeto OBJETO Amostra/ Visibilidade NÃO VISÍVEL Resultado combinado XXXX NÃO CONSISTENTE Exemplo 4: foto-consistência trivial Escultura do espaço no espaço das imagens

15 Escultura do espaço no espaço das imagens: problemas Dificuldade de registro Amostragem inadequada Conseqüências: –Erros na avaliação de foto-consistência. –Erros no tratamento das informações sobre a visibilidade dos voxels. –Dificuldade de lidar com imagens em resoluções diferentes. Solução: Processamento no espaço da cena. Aproximação da reprojeção dos voxels através de pontos

16

17 Escultura do espaço no espaço da cena Estratégia: –Registrar as informações relevantes nos planos de varredura (referência). Mecanismo utilizado: –Mapeamento projetivo de texturas. Vantagens: –Fácil registro. –Reamostragem correta. –Tratamento correto da visibilidade. –Possibilidade de programação em hardware.

18 Escultura do espaço no espaço da cena

19

20 Imagens e segmentação Mapas de visibilidade Escultura do espaço no espaço da cena

21 Imagens e segmentação Mapas de visibilidade amostra Escultura do espaço no espaço da cena

22 Imagem 1Imagem 2Imagem 3Imagem 4 Estado Segmentação OOOOOFFO FUNDO OFOOOOOO Amostra XXXXXXXX X XXXXXXXX Resultado combinado XXXXXXXX NÃO CONSISTENTE XXXXXXXX Exemplo1: não-foto-consistência Escultura do espaço no espaço da cena

23 Imagem 1Imagem 2Imagem 3Imagem 4 Estado Segmentação OOOOOOOO FUNDO OOOOOOOO Amostra VISÍVEL Resultado combinado CONSISTENTE XXXX Exemplo 2: foto-consistência Escultura do espaço no espaço da cena

24 Proposta do trabalho: Escultura do espaço por refinamento adaptativo Motivação: –Não é possível conhecer a príncipio a resolução adequada para a realização da reconstrução. –A representação do espaço através de partição uniforme não é econômica. –Processo ineficiente: muitos elementos individuais são avaliados de forma desnecessária.

25 Escultura do espaço por refinamento adaptativo Objetivos: –Descartar grandes regiões vazias já nos estágios iniciais do processo. –Concentrar esforços em regiões próximas à superfície da cena. –Utilizar células de grande resolução somente onde for necessário.

26 Estratégia: –Representar o espaço de reconstrução através de subdivisão adaptativa: octrees. –Projetar as imagens de entrada em níveis de resolução compatíveis com o nível de refinamento do espaço(uso de mipmapping). –Aplicar uma etapa do algoritmo de varredura de planos para cada nível de refinamento. –Utilizar as informações sobre a segmentação dos objetos de interesse para a remoção de espaços vazios. –Trabalhos correlatos: Prock 1999 e Sainz 2002. Escultura do espaço por refinamento adaptativo

27

28 Varredura dos planos. –O número de planos de varredura depende somente do nível de refinamento corrente da octree. –As células em cada plano de varredura podem ser determinadas através da interseção do plano corrente com a octree. –Em uma dada iteração são consideradas somente células não avaliadas.

29 Escultura do espaço por refinamento adaptativo

30

31 –Classificações para cada célula: Foto-consistente. Não-foto-consistente. Indefinida. –Célula indefinida: Caso 1: célula mista (fundo/objeto). Caso 2: célula intermediária com informação fotométrica incoerente. –Célula não-foto-consistente: –Caso 1: célula de fundo. –Caso 2: célula de nível máximo com informação fotométrica incoerente. Escultura do espaço por refinamento adaptativo: classificação das células

32 É realizada com base em teste estatístico (determinar se as diferenças fotométricas são significantes, comparadas com o ruído). Deve levar em consideração os efeitos da filtragem sobre as imagens projetadas. Escultura do espaço por refinamento adaptativo: avaliação da coerência fotométrica.

33 Efeito da filtragem na foto consistência

34 Sistema de aquisição Calibração do fundo da cena Calibração das câmeras Captura das imagens Segmentação dos objetos Reconstrução por E.E.

35 Dificuldades na calibração das câmeras Excesso de ruído nas imagens. Necessidade de um método robusto. Método utilizado: (Szenberg 2001). –Baseado em reconhecimento de modelos. –Não requer que todas as feições sejam identificadas nas imagens.

36 Calibração das câmeras Resultado da calibração

37 Identificação do fundo da cena Necessária para a segmentação dos objetos de interesse. As imagens do fundo são modeladas através de intervalos de confiança para as médias dos valores observados nas componentes r, g e b de cada pixel. Feita em etapa de pré-processamento e pode usar um número grande de amostras (foram usadas 128 amostras, obtidas de 128 quadros).

38 Captura das imagens e segmentação Cada imagem é obtida como uma média de vários quadros (foram usados quatro quadros). Os objetos de interesse são segmentados com base nos mapas de intervalos de confiança. Se o valores observados para um pixel estão dentro dos respectivos intervalos de confiança, o pixel é classificado como do fundo; senão, ele é considerado como pertencente aos objetos. Problemas: sombras e penumbras são consideradas como parte dos objetos.

39 Captura das imagens e segmentação: tratamento de sombras Métodos baseados em correlação não conseguem corrigir problemas associados às sombras. Solução: teste com base em intervalos de confiança para os canais de cromaticidade.

40 Testes: dado I – “Al”

41 Testes: dado I – imagens segmentadas

42 Testes: dado II – “Dolphins”

43 Testes: dado II – imagens segmentadas

44 Testes: dado III – “Tigre”

45 Testes: dado III – imagens segmentadas

46 Testes: dado III – “Tigre”

47 Testes: dado III – imagens segmentadas

48 Recontrução EEEI - dado I – 256x256

49 Recontrução EEEC - dado I – 256x256

50 Recontrução EERA - dado I – 256x256

51 Recontrução EEEI - dado II – 256x256

52 Recontrução EEEC - dado II – 256x256

53 Recontrução EERA - dado II – 256x256

54 Recontrução EEEI - dado III – 256x256

55 Recontrução EEEC - dado III – 256x256

56 Recontrução EERA - dado III – 256x256

57 Reconstruções em diferentes resoluções – dado Tigre EEEI 64x64 EEEI 128x128 EEEC 64x64 EEEC 128x128 EERA 64x64 EERA 128x128

58 Reconstruções em diferentes resoluções – dado Dino EEEI 64x64 EEEI 128x128 EEEC 64x64 EEEC 128x128 EERA 64x64 EERA 128x128

59 Níveis de refinamento no método EERA Nível 5Nível 6Nível 7Nível 8

60 Níveis de refinamento no método EERA Nível 4Nível 5Nível 6Nível 7Nível 8

61 Níveis de refinamento no método EERA Nível 5Nível 6Nível 7Nível 8

62 Níveis de refinamento no método EERA Nível 5Nível 6Nível 7Nível 8

63 Resultados: dado “Al” EEEI TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x64262144242683194611s 128x128209715219416141555386s 256x2561677721615532893124432349s EEEC TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x64262144244540176043s 128x1282097152194804914910312s 256x2561677721615530995124622170s EERA TamanhoTempo 64x644s 128x1288s 256x25618s

64 Resultados: dado “Dolphins” EEEI TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x6426214425743847061s 128x12820971522059575375776s 256x256167772161553289329919945s EEEC TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x6426214425828638583s 128x128209715220626663448612s 256x256167772161647619230102471s EERA TamanhoTempo 64x643s 128x1286s 256x25613s

65 Resultados: dado “Tigre” EEEI TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x6426214426031418031s 128x12820971522033893632592s 256x256167772161601008476713212s EEEC TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x6426214425288592594s 128x12820971522009781803719s 256x256167772161605876171845531s EERA TamanhoTempo 64x646s 128x12811s 256x25622s

66 Resultados: dado “Dino” EEEI TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x6426214425966324811s 128x12820971522033893339852s 256x256167772161643451834269812s EEEC TamanhoTotal de voxs.Voxs. removidosVoxs. consistentesTempo 64x6426214425288535424s 128x12820971522061380357729s 256x256167772161647430430291234s EERA TamanhoTempo 64x645s 128x12810s 256x25621s

67 Conclusões Reconstrução no espaço da cena: –Resolve parte dos problemas de amostragem encontrados no método que trabalha no espaço da imagem.  Permite que a reconstrução seja realizada mesmo quando a taxa de ruído é bastante elevada.  Sem programação em GPU é mais lento que o método no espaço da imagem.

68 Conclusões Uso de informações de segmentação: –É importante para aumentar a precisão geométrica da reconstrução.  É fundamental quando poucas imagens são utilizadas.  É fundamental em estratégia baseadas em refinamento adaptativo.

69 Conclusões Uso de refinamento adaptativo: –Produz resultados de qualidade similar aos métodos não adaptativos que trabalham no espaço da cena. –Apresenta-se como uma estratégia eficiente para reconstrução. –Aproveita coerência espacial da cena. –Tem potencial para aproveitar também a coerência temporal.  Com a classificação proposta ele pode ser implementado sem critérios de foto-consistência complicados.

70 Conclusões  Sobre o aparato implementado: –É de fácil construção e de baixo custo. –É simples de se utilizar. –É escalonável. –Produz resultados razoáveis mesmo com equipamentos de aquisição de baixo custo. –Consegue lidar razoavelmente bem em condições de pouco controle sobre a iluminação.

71 Trabalhos futuros Programação em placas gráficas. Investigação de outras estruturas para representação do espaço. Uso de câmeras reposicionáveis. Reconstrução em tempo real. Investigação de modelos probabilísticos. Uso de estimativas da superfície no cálculo da foto-consistência.