Maria João M. Vasconcelos1, João Manuel R. S. Tavares1,2

Apresentação em tema: "Maria João M. Vasconcelos1, João Manuel R. S. Tavares1,2"— Transcrição da apresentação:

1 Maria João M. Vasconcelos1, João Manuel R. S. Tavares1,2
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens Maria João M. Vasconcelos1, João Manuel R. S. Tavares1,2

2 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Resumo: Nesta apresentação será descrita uma técnica de modelação de objectos, representados em imagens, baseada em análise estatística, assim como a sua utilização na segmentação e reconhecimento de objectos em novas imagens. Índice: Introdução; Modelo Pontual de Distribuição (PDM); Modelos de Forma Activa (ASM) e Modelos de Aparência Activa (AAM); Modelos usados; Resultados experimentais; Conclusões e Trabalho Futuro. Maria João M. Vasconcelos, João Manuel R. S. Tavares

3 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Análise de objectos representados em imagens Área da Visão Computacional “Conjunto de métodos e técnicas através dos quais sistemas computacionais são capazes de interpretar imagens.” Modelização de objectos Modelos flexíveis – modelos estatísticos que permitem analisar e simular objectos que apresentam formas variáveis em imagens. Aplicações Medicina – localização de estruturas em imagens médicas; Indústria – inspecção de produtos; Sistemas de segurança – reconhecimento de faces; … Maria João M. Vasconcelos, João Manuel R. S. Tavares

4 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Modelos Pontuais de Distribuição: Propostos por Cootes e Taylor em 1992; Método de modelização de objectos baseado em análise estatística; Estudam a forma geométrica dos objectos e suas variações; Variantes: Modelos de Forma Activa; Modelos de Aparência Activa. São utilizados na segmentação e reconhecimento de objectos em imagens. Maria João M. Vasconcelos, João Manuel R. S. Tavares

5 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Etapas: Maria João M. Vasconcelos, João Manuel R. S. Tavares

6 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Utilização dos PMDs na pesquisa de objectos: Modelos de Forma Activa – ASMs: Modelo da forma geométrica; Perfis de intensidade dos pontos-chave: Níveis de cinzento em torno de cada ponto-chave são semelhantes nas várias imagens. Fase de pesquisa: Estudo da região de cada ponto-chave para calcular o movimento associado; Cálculo dos parâmetros de forma e de pose do PDM; Actualização dos parâmetros tendo em conta os limites impostos. Maria João M. Vasconcelos, João Manuel R. S. Tavares

7 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Modelos de Aparência Activa – AAMs: Modelo da forma geométrica; Modelo de textura: Deforma-se cada instância do objecto para coincidir com a forma média; Obtém-se os níveis de cinzento da imagem do modelo normalizado: Modelo de aparência: Combinação do modelo da forma com o modelo de textura. Modelo activo: Considera a relação entre os parâmetros obtidos pelo modelo de aparência e os erros residuais existentes entre a nova instância e modelo construído. Maria João M. Vasconcelos, João Manuel R. S. Tavares

8 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Modelos usados: Mão 25 imagens de treino; 4 indivíduos diferentes; Etiquetadas automaticamente com 65 pontos-chave. Face 1 indivíduo; Etiquetadas manualmente com 68 pontos-chave. Maria João M. Vasconcelos, João Manuel R. S. Tavares

9 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Colocação automática de pontos-chave (mão) Extracção do contorno da mão através de um algoritmo de detecção de zonas de pele; Cálculo das zonas de maior curvatura do contorno; Delimitação da zona da mão (eliminar a zona do pulso); Colocação dos pontos-chave tendo em conta as zonas de maior curvatura. Maria João M. Vasconcelos, João Manuel R. S. Tavares

10 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Mão 65 Pontos-chave (automático) Face 68 Pontos-chave (manual) Maria João M. Vasconcelos, João Manuel R. S. Tavares

11 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Mão ASM Os primeiros 6 modos de variação explicam 95% da variância total da forma geométrica. 1º modo 2º modo 3º modo 3 modos por linha, em cada linha desvios padrão diferentes -2, -1, 0, 1, 2. Maria João M. Vasconcelos, João Manuel R. S. Tavares

12 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Face 1º modo 1º modo 2º modo 2º modo 3º modo 3º modo Modelo da forma Os primeiros 4 modos explicam 95% da variância total da forma geométrica. Modelo de aparência Os primeiros 5 modos explicam 95% da variação total da aparência. Maria João M. Vasconcelos, João Manuel R. S. Tavares

13 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Modelos de Forma Activa (imagens “novas”) Posição inicial 9ª it 19ª it 29ª it 17ª it 13ª it 5ª it Posição inicial Utilização de multiresolução, só na última está na resolução verdadeira. Maria João M. Vasconcelos, João Manuel R. S. Tavares

14 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Modelos de Aparência Activa Exemplo de segmentação usando o modelo de aparência activa construído para a face numa imagem de teste. (imagem “nova”) Imagem original 8ª iteração 15ª iteração Imagem reconstruída Utilização de multiresolução, só na última está na resolução verdadeira. Maria João M. Vasconcelos, João Manuel R. S. Tavares

15 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Conclusões: Foi apresentada uma metodologia que permite construir modelos flexíveis, para objectos deformáveis representados em imagens, baseada em análise estatística. Os modelos descritos têm aplicações em várias áreas, desde a localização de estruturas em imagens médicas até ao reconhecimento de faces. Os resultados experimentais obtidos mostram que os métodos activos permitem segmentar e localizar adequadamente o objecto modelizado em novas imagens. Maria João M. Vasconcelos, João Manuel R. S. Tavares

16 Maria João M. Vasconcelos, João Manuel R. S. Tavares
| Introdução | ASM / AAM | PDM | Modelos | Resultados | Conclusões | Trabalho Futuro | Perspectivas de Trabalho Futuro: Automatizar a etapa da colocação e emparelhamento dos pontos-chave em imagens de faces: Usar uma metodologia semelhante à desenvolvida para as mãos: contornos dos olhos, boca e contorno “inferior” da face; Considerar como pontos-chave os nodos de uma malha rectangular adaptativa e multiresolução colocada adequadamente na imagem. Comparar experimentalmente os modelos de forma activa com os modelos de aparência activa. Maria João M. Vasconcelos, João Manuel R. S. Tavares

17 Maria João M. Vasconcelos1, João Manuel R. S. Tavares1,2
Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimento de Objectos em Imagens Maria João M. Vasconcelos1, João Manuel R. S. Tavares1,2 Obrigado!