UMA APLICAÇÃO DE VISÃO COMPUTACIONAL QUE UTILIZA GESTOS DA MÃO PARA INTERAGIR COM O COMPUTADOR Dissertação de Mestrado Michel Alain Quintana Truyenque Orientador: Prof. Marcelo Gattass Defesa de Dissertação

ROTEIRO Introdução. Conceitos Básicos. Trabalhos Relacionados. Subtração de Fundo. Detecção de Silhueta. Reconhecimento. Aplicações. Conclusões. Demonstração.

Introdução Motivação. Objetivos. Escopo. Interação sem restrições. Equipamentos Caros. Ambiente. Objetivos. Mão Limpa. Restrições do ambiente. Câmeras Web. Escopo. Identificação de gestos predefinidos. Localização da posição de certos dedos.

Conceitos Básicos. Sistemas Baseados em Visão. Interfaces Tradicionais. Digitais. Bérard [1]

Conceitos Básicos. Requisitos Funcionais. Requisitos Não-Funcionais Detecção. Identificação. Rastreamento. Requisitos Não-Funcionais Latência. Resolução. Estabilidade. Visão Computacional na Interação Humano-Computador. Vantagens. Desafios.

Trabalhos Relacionados. Diversas Abordagens. Não existe nenhuma amplamente difundida. Baseados no Reconhecimento de Gestos. Interação baseado no reconhecimento de alguns gestos. Baseado na Detecção dos Dedos. Interação leva em conta além de gestos posições dos dedos.

Trabalhos Relacionados. Baseados no Reconhecimento de Gestos. Modelo 3D. Regh e Kanade [30]

Trabalhos Relacionados. Baseados no Reconhecimento de Gestos. Baseado na aparência da imagem 2D. Freeman [30] (a)Heap [12],(b)Segen [33],(c)Laptev [22]

Trabalhos Relacionados. Baseados na Detecção dos Dedos. Queck [29] (a)Handenberg [11], (b)Oka[27] Mackormic [26]

Trabalhos Relacionados. Natureza do Sistema Proposto. Sistema Base de reconhecimento de alguns gestos. Ambientes de trabalho convencionais. Não existem aplicações especificas. Sistema baseado na detecção dos dedos.

Subtração de Fundo Motivação. Segmentação de objetos diferentes ao fundo. Problemas na mudança e latências das fontes de iluminação. No contexto do trabalho o objeto é a MÃO.

Subtração de Fundo Segmentação por Subtração de Fundo. Existem muitos enfoques. Baseados na Cor, [14] [15] [6] [13] [2] [3]. Movimento [17]; Estéreo [45]; logarítmica [46]; Markov [20] Híbridas [17][46][5]. Requisitos para o Algoritmo. Tempo Real. Mudanças globais e locais ocasionadas pela fontes de iluminação. Detecção aproximada do objeto.

Subtração de Fundo Algoritmos Susceptíveis a sombras. [46][2] Algoritmos que lidam com sombras. [6][13] P d d P

Subtração de Fundo Algoritmos Robustos . Modelos de Cor. θ Lidam razoavelmente com as sombras. Algoritmo de Horprasert [14](Distorção de Brilho e Cor) Algoritmo de Cheung,Kanade[3](Medida do Angulo) Modelos de Cor. G Ei Ii θ R O B

Subtração de Fundo Modelagem do Fundo. Para o algoritmo de Cheung, Kanade [3], utiliza a media. Modelagem de Fundo Horprasert [14]. Ei = Imagem Media. Si = Desvio Padrão. ai = Distorção de brilho. bi = Distorção de Cor.

Subtração de Fundo Modelagem de Fundo Horprasert [14]. (1) (2)

Subtração de Fundo Modelagem de Fundo Horprasert [14]. (3) (4)

Subtração de Fundo Subtração ou Segmentação. Algoritmo Horprasert [14]. Fundo Original (B). Fundo com baixa iluminação ou Sombra (S). Fundo com alta iluminação(H). Objeto (F).

Subtração de Fundo Subtração ou Segmentação. Algoritmo Horprasert [14].

Subtração de Fundo Subtração ou Segmentação. Algoritmo Horprasert [14]. G Ei d αiEi Ii CDi R O B

Subtração de Fundo Subtração ou Segmentação. θ Algoritmo Cheung, Kanade [3]. G Cr Cb θ R O B

Subtração de Fundo Seleção dos Limiares. Algoritmo Cheung, Kanade [3], tentativa e erro. Algoritmo de Horprasert [14], aprendizado estatístico. (a)Adaptada de [14] Estabelecer Valores Mínimos do: Desvio padrão. Distorção de Brilho. Distorção de Cor.

Subtração de Fundo Resultados. 320x240 pixels, câmera WebCam Logitech QuickCamPro 4000, USB, processador Pentium III de 800Mhz ,com 128 MB RAM Algoritmo Cheung, Kanade [3].

Subtração de Fundo Resultados. Algoritmo Horprasert [14].

Subtração de Fundo Resultados. Algoritmo Horprasert [14].

Subtração de Fundo Algoritmo Horprasert [14].

Detecção de Silhueta Motivação. Três Etapas. Quais pontos da imagem representam a silhueta. Representação do objeto. Extração de Feições. Três Etapas. Refinamento da Segmentação. Detecção das Bordas. Detecção, Coleta e Estruturação do Pontos que conformam a silhueta.

Detecção de Silhueta Refinamento da Segmentação. Filtros Morfológicos. Dilatação e Erosão [34]. Aplica primeiro Dilatação e depois a Erosão na imagem dilatada. Máscara utilizada N8

Detecção de Silhueta Refinamento da Segmentação. Resultados. (a)Resultado da segmentação. (b)Dilatação em (a). (c)Erosão em (b).

Detecção de Silhueta Detecção de Bordas. Abordagem. Localizar os contornos internos e externos. Diferentes abordagens. Abordagem. Diferença das imagens da Dilatação e Erosão.

Detecção de Silhueta Detecção de Bordas.

Detecção de Silhueta Detecção de Contornos. Duas Etapas. Relacionado com o reconhecimento. Duas Etapas. Percorre e armazena as bordas. Seleção das silhuetas. Representação. Listas de Códigos (Chain Codes) [40].

Detecção de Silhueta Percurso e Armazenamento. Ordem pré estabelecida (anti-horária). Utilizando 8 direções. Um ponto de cada vez.

Detecção de Silhueta Percurso e Armazenamento. Caso particular.

Detecção de Silhueta Seleção da Silhueta da Mão. Abordagem. Problema de seleção. Quais Silhuetas selecionar? Único Objeto a Mão. Abordagem. Maior Silhueta representa a silhueta externa da Mão.

Detecção de Silhueta Sub-Amostragem Um quinto dos pontos originalmente detectados.