Fernando Carvalho, João Manuel R. S. Tavares METODOLOGIAS PARA IDENTIFICAÇÃO DE FACES EM IMAGENS: INTRODUÇÃO E EXEMPLOS DE RESULTADOS Fernando Carvalho, João Manuel R. S. Tavares ISEP – Instituto Superior de Engenharia do Porto FEUP – Faculdade de Engenharia da Universidade do Porto LOME – Laboratório de Óptica e Mecânica Experimental

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Introdução: Em Visão Computacional, uma das áreas que tem tido elevado interesse, por parte dos seus investigadores, é a das imagens de faces; Nesta apresentação, são resumidamente indicadas várias aplicações e sumariamente descritas três das metodologias existentes; Para cada metodologia considerada são apresentados alguns resultados experimentais, obtidos a partir do uso da plataforma de desenvolvimento Matlab. Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro As metodologias existentes, no domínio das imagens de faces, são usualmente utilizadas em Visão Computacional para: Detecção de faces; Extracção de características faciais; Reconhecimento e seguimento temporal de faces; Classificação/análise de expressões faciais; Geração de faces virtuais; Simulação do estado emocional nas faces; Simulação do efeito do envelhecimento nas faces; etc. Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Metodologias consideradas: Correlação Cruzada; Detecção de zonas de Pele; Modelos Protótipos Deformáveis. Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Método de Correlação Cruzada Descrição : Permite a detecção de uma sub-imagem (Template), relativa a uma dada característica facial, como o olho, a boca, etc; Consiste na determinação da transformada de Fourier, da Imagem com a face e da sub-imagem, seguida da correlação cruzada entre as transformadas; Os coeficientes de correlação são obtidos pela transformada Inversa de Fourier; As coordenadas correspondentes ao valor máximo dos coeficientes de correlação, corresponde à potencial localização da sub-imagem. Imagem com a face e sub-imagem do olho: imagens originais (em cima), após a normalização (em baixo) e respectivos histogramas (ao lado). Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Exemplo de resultados “Mapa” dos Coeficientes de Correlação Imagem original com a sinalização, a vermelho, da correspondente localização da sub-imgem Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Método de Detecção de Zonas de Pele Descrição: Conversão do formato RGB para o formato YCRCB, permite: A eliminação do efeito da luminosidade; A implementação de um modelo de probabilidade que segue uma distribuição normal ou Gaussiana; É calculada a Média e a Covâriancia do modelo de probabilidade, a partir de um conjunto de amostras de pele, convertidas no formato YCRCB, de vários indivíduos; O algoritmo, tendo como referência a Média e a Covâriancia das amostras, procede à determinação da probabilidade de dado pixel, de dada imagem em análise, pertencer a uma dada zona de pele; Por último, faz a segmentação da imagem pelas zonas de pele encontradas, e procede à respectiva representação binária dessas mesmas zonas. Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Conversão do Formato RGB para o Formato YCRCB Imagem original, Componente Y - intensidade, Cb – Componente azul, Cr – Componente vermelha. (da esquerda para a direita) Amostras de pele Imagem com 32 amostras de pele, extraídas da face de indivíduos de raça branca, e de ambos os sexos Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Modelo de probabilidade da distribuição normal Consideremos as variáveis aleatórias são representadas por: , cuja média e pode-se definir a função de probabilidade da distribuição Gaussiana como: e a co-variância e atendendo que: Função de probabilidade obtido das amostras de pele consideradas Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Resultado obtido a partir do detector de zonas de pele Imagem de probabilidade e respectiva binarização (da esquerda para a direita). Verificação dos segmentos correspondentes a Faces: Utiliza-se o algoritmo de correlação cruzada; A sub-imagem é um modelo facial adequado; A imagem a correlacionar, de níveis de cinzento, corresponde a uma dada zona de pele a verificar; É determinado o ângulo de inclinação da zona a verificar, sendo este atribuído ao modelo facial (aumenta-se a eficácia da correlação); É estabelecido um limiar nos coeficientes de correlação, cerca de 0.6, que permite considerar ou não o segmento como face. Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Exemplos de resultados Sequência de detecção, com múltiplas faces Segmento facial, níveis de correlação e modelo facial (da esquerda para a direita) Face circunscrita por um rectângulo Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Método dos Modelos Protótipos Deformáveis Descrição: Permitem a detecção de faces e a extracção de características; Modelos parametrizados, os parâmetros conferem-lhe o comportamento deformável; Considera-se o principio da Minimização de Energia para actualização dos parâmetros (por exemplo, pelo método do gradiente descendente); É necessário aplicar um pré-processamento à imagem em análise, de forma a realçar a característica facial pretendida (por exemplo, detector de orlas); O processamento correspondente ao ajuste dinâmico do modelo à característica facial, é dividido por épocas (processo iterativo). Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Exemplos de resultados Imagem de Intensidade, vales de Intensidade, Picos de Intensidade, Orlas de intensidade (da esquerda para a direita e de cima para baixo) Exemplo de modelo protótipo para o olho Modelo paramétrico, definido por 11 parâmetros Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Exemplos de resultados, determinação da íris Primeira época: É usado o campo de energia correspondente aos vales de Intensidade, permite encontrar o centro da íris; Coordenadas do ponto inicial P a vermelho (ponto (30, 35) – ponto dado); Coordenadas do ponto final Q a verde (ponto (38 ,21) – ponto obtido). Imagem com ponto inicial a vermelho, percurso iterativo a azul e ponto final a verde Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Segunda época: São usados os campos de energia correspondentes aos vales de intensidade e intensidade da imagem, permite encontrar a orla correspondente à íris. Imagem com representação da íris através de uma circunferência, a vermelho o contorno final, a azul os contornos das sucessivas iterações (Raio inicial: 20 pixels, Raio final: 9,3 pixels) Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Terceira época: É usado o campo correspondente às orlas de intensidade, permitindo um ajuste fino à orla da íris. Imagem com a representação da íris através de um circunferência, a vermelho o contorno final, a azul os contornos das sucessivas iterações durante o ajuste fino (Raio inicial: 9,3 pixels, Raio final: 10,3 pixels) Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Conclusões O algoritmo de correlação cruzada é eficiente, embora por vezes não apresente resultados conclusivos (por exemplo quando a imagem em estudo é bastante distinta da usada para extrair a sub-imagem usada na correlação). O Algoritmo de detecção de zonas de pele apresenta bons resultados ao nível da detecção da face, no entanto a existência de outras zonas de pele, correspondentes a distintas partes do corpo na imagem, implica que as mesmas sejam também detectadas. O Algoritmo dos modelos protótipos deformáveis apresenta boas características de detecção, contudo o valor de algumas constantes associadas aos níveis de energia têm de ser obtidos experimentalmente (pesos a usar). Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Imagens de Faces: Exemplos de Metodologias e Aplicações | Introdução | Metodologias | Aplicação | Conclusões | Trabalho Futuro Trabalho Futuro Determinar a rotação da face a partir dos segmentos de pele obtidos; Continuação dos ensaios experimentais usando modelos protótipos deformáveis mais complexos; Aplicação do método dos protótipos deformáveis ao seguimento de características faciais em sequências de Imagens (por exemplo usando em conjunto com o filtro de Kalman). Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares

Obrigado! Congreso de Métodos Numéricos en Ingeniería 2005 Fernando Carvalho, João Tavares