A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Algoritmos de Corte de Grafo para Mapas de Disparidades em Estéreo Vitor Barata R. B. Barroso INF 2064 - Visão Computacional.

Apresentações semelhantes


Apresentação em tema: "Algoritmos de Corte de Grafo para Mapas de Disparidades em Estéreo Vitor Barata R. B. Barroso INF 2064 - Visão Computacional."— Transcrição da apresentação:

1 Algoritmos de Corte de Grafo para Mapas de Disparidades em Estéreo Vitor Barata R. B. Barroso INF Visão Computacional e Realidade Aumentada Trabalho Final

2 Introdução

3 O Problema de Visão em Estéreo Duas câmeras capturam a mesma cena simultaneamente A partir das duas seqüências de imagens, queremos: Descobrir pontos, vistos por cada câmera num mesmo instante, que correspondem ao mesmo ponto real Deduzir posições reais dos pontos e gerar um modelo virtual do mundo Cam 2 Cam 1

4 O Problema de Visão em Estéreo Simplificações comuns: Câmeras sincronizadas, imagens do mesmo instante Modelo das câmeras conhecido, imagens retificadas Deslocamento apenas em um eixo, horizontal nas imagens Distância e ângulo pequenos entre as câmeras Ruído desprezível

5 O Problema das Disparidades Dadas duas imagens de estéreo: Encontrar os pixels correspondentes e oclusos entre as duas Gerar um mapa indicando, para cada pixel de uma imagem: A distância em relação ao pixel correspondente na outra imagem Um valor especial para indicar oclusão = d(x 1,y 1 )

6 O Problema das Disparidades Modelagem do problema Superfícies lambertianas: a aparência não varia com o ponto- de-vista Semelhança entre pontos individuais medida pela intensidade (luminância) Superfícies suaves por partes Regiões com variação suave de intensidade devem ter variação suave de disparidade Descontinuidades na intensidade indicam bordas e devem poder ser preservadas na disparidade

7 BaseLine - SSD com janela fixa A vizinhança de pixels correspondentes deve ter alta correlação nas duas imagens -

8 BaseLine - SSD com janela fixa Não funciona perto de descontinuidades de oclusão -

9 BaseLine - SSD com janela fixa Validação Cruzada Calculam-se disparidades nos dois sentidos entre as imagens Se o pixel A for mapeado em B e este não for mapeado de volta, marca-se A como ocluso

10 Algoritmos de Corte de Grafo

11 Energia em Classificação de Pixels Encaramos a correspondência como um problema de classificação de pixels A imagem é um conjunto P de pixels com um sistema de vizinhança N O rótulo/etiqueta de um pixel p é sua disparidade f p, que pode assumir apenas valores discretos (inteiros ou não) O mapeamento f pode ser associado à seguinte energia (a ser minimizada): E data mede o erro de intensidade entre pixels correspondentes: E smooth tenta garantir a conservação de regiões suaves sobre cada objeto e descontinuidades entre objetos diferentes:

12 Minimização Local de Energia Algoritmo iterativo: Começamos com um mapeamento f arbitrário Ciclo: Geramos vários candidatos f aplicando uma regra que defina os tipos de perturbação (movimentos) possíveis Encontrar o candidato f que tem a menor energia Se E(f) < E(f), fazemos f f e repetimos o ciclo Movimentos Inversões Substituímos, de uma só vez, rótulos por e vice-versa, para qualquer número de pixels Expansões Substituímos, de uma só vez, o rótulo de qualquer número de pixels por um rótulo αβ α

13 Corte Mínimo de Grafos Solução por Grafos: Um nó central para cada pixel da imagem Nós terminais: e para inversões e ! para expansões Arestas entre cada pixel e ambos terminais Arestas entre pares de pixels vizinhos Pesos apropriados nas arestas Corte mínimo do grafo: Arestas que separam os terminais com o menor custo possível Custo = soma dos pesos das arestas O corte separa cada pixel de um dos terminais Relacionando com o problema: Cada corte do grafo define um mapeamento f Corte mínimo determina o candidato f de menor energia

14 Reformulação do Problema Abordagem alternativa Atribuições Conjunto A de todas as atribuições a = que podem ser feitas correspondendo pares de pixels nas duas imagens O rótulo f a de uma atribuição a só pode ser 1 (ativa) ou 0 (inativa) Oclusão: nenhuma atribuição ativa para determinado pixel Unicidade: não pode haver mais de uma atribuição ativa para cada pixel Movimentos Expansão Quaisquer atribuições podem ser removidas Atribuições com disparidade α podem ser acrescentadas Inversão Atribuições com disparidades α ou β podem ser removidas Atribuições com disparidades α ou β podem ser acrescentadas

15 Minimização Local de Energia Função de energia: Penalidades: Custo de suavização: dado um pixel e sua disparidade, penalizamos... Inversão: cada vizinho que tiver uma atribuição com disparidade diferente Expansão: cada vizinho que não tiver uma atribuição com a mesma disparidade

16 Resultados

17 Métrica para Avaliação Mapas de referência (ground truth) Disparidades sub-pixel! Redução de mapas de imagens em 4x Algoritmos precisariam interpolar superfícies Vantagem de precisão: trabalhar com resolução original e reduzir Disparidades extrapoladas/ausentes! Bordas laterais das imagens Sombras de objetos Avaliação Base middlebury exige interpolações e extrapolações! Inviável. Falta de referências de estado-da-arte utilizáveis Avaliador próprio: acertos, erros próximos, erros grosseiros falsas oclusões, falsas correspondências

18 Resultados Swap x Expand Em ambos tipos de grafo, expand é mais rápido e correto Parâmetros Funções de custo para dados, suavidade e oclusão Algoritmos são muito sensíveis Execução leva vários minutos Inviável explorar plenamente os parâmetros Idéias Uso de swap para melhorar ou perturbar expand (ruim!) Custo de oclusão e suavidade incrementais (vale à pena?) Filtro de pós-processamento para limpar ruídos

19 Resultados - Cones Vista Direita

20 Resultados - Cones Vista Esquerda

21 Resultados - Cones Ground Truth original

22 Resultados - Cones Ground Truth com oclusões

23 Resultados - Cones TécnicaCorretosPróximosGrosseirosF InclusosF Oclusos Incremental Map Expand Pixel Expand SSD 7x

24 Resultados - Cones Ground Truth com oclusões

25 Resultados - Cones Expansões Incrementais

26 Resultados - Cones Comparação

27 Resultados - Teddy Vista Direita

28 Resultados - Teddy Vista Esquerda

29 Resultados - Teddy Ground Truth original

30 Resultados - Teddy Ground Truth com oclusões

31 Resultados - Teddy TécnicaCorretosPróximosGrosseirosF InclusosF Oclusos Incremental Map Expand Pixel Expand SSD 7x

32 Resultados - Teddy Ground Truth com oclusões

33 Resultados - Teddy Expansões Incrementais

34 Resultados - Teddy Comparação

35 Conclusão Graph Cut é um método muito útil para visão, pois permite encontrar mínimos locais fortes em problemas de otimização difíceis. Problema: não é tempo real Movimentos de expansão são mais rápidos E poderosos Primeiro ciclo já dá resultados interessantes em 15 segundos Os algoritmos estudados dão resultados aparentemente satisfatórios, mas infelizmente não foi possível comparar com as técnicas do estado-da-arte atual

36 Referências Y Boykov, O Veksler, R Zabih, Fast Approximate Energy Minimization via Graph Cuts - IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 11, pp , November, V Kolmogorov, R Zabih, Computing Visual Correspondence with Occlusions via Graph Cuts - International Conference on Computer Vision, 2001 D Scharstein, R Szeliski, A taxonomy and evaluation of dense two-frame stereo correspondence algorithms - International Journal of Computer Vision, vol. 47, no. 1-3, pp. 7-42, April, 2002


Carregar ppt "Algoritmos de Corte de Grafo para Mapas de Disparidades em Estéreo Vitor Barata R. B. Barroso INF 2064 - Visão Computacional."

Apresentações semelhantes


Anúncios Google