A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May 2007 1 Animando Humanos Virtuais em.

Apresentações semelhantes


Apresentação em tema: "Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May 2007 1 Animando Humanos Virtuais em."— Transcrição da apresentação:

1 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. Thiago Kehl Fernando S. Osório Cláudio R. Jung Soraia R. Musse Apresentado por: Prof. Dr. Fernando S. OSÓRIO - PPG Computação Aplicada / Unisinos UNISINOS - PUC/RS RBV - Rede Brasileira de Visualização / FINEP HP Brasil

2 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Motivação / Histórico 2. Objetivos > Interface Homem-Máquina > Visão Geral do Projeto 3. Visão Computacional > Reconhecimento de Posturas > Extração de Atributos > Aprendizado e Classificação Neural (ANN) > Resultados: Rede Neural 4. Simulação com Humanos Virtuais > Modelos de Comportamento (ações) 5. Arquitetura do Sistema 6. Conclusões e Perspectivas Agenda

3 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Motivação / Histórico SVR 2000

4 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Objetivos IHC - Interface Homem-Máquina • Interface usando dispositivos diferentes... Convencionais Convencionais => Teclado, Mouse, Joystick Novos dispositivos Novos dispositivos => Interação Gestual - Uso de data-gloves - Uso de sensores de movimento (encoders, acelerômetros) - Uso de câmeras • Diferencial: - Custo - Facilidade de uso / Simplicidade da Interação

5 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Objetivos Visão Computacional  Pr é -processar imagens de posturas de mãos coletadas atrav é s de uma Webcam  Construir um classificador capaz de identificar tais posturas Simulação com Humanos Virtuais  Servir como entrada para sistemas de simula ç ão de comportamento de humanos virtuais em ambientes povoados  Definir para cada classe de postura uma a ç ão selecionada dentro de uma s é rie de comportamentos estruturados

6 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Objetivos Visão Computacional  Pr é -processar imagens de posturas de mãos coletadas atrav é s de uma Webcam  Construir um classificador capaz de identificar tais posturas Simulação com Humanos Virtuais  Servir como entrada para sistemas de simula ç ão de comportamento de humanos virtuais em ambientes povoados  Definir para cada classe de postura uma a ç ão selecionada dentro de uma s é rie de comportamentos estruturados

7 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Visão Computacional Simulação com Humanos Virtuais 2. Objetivos - Visão Geral do Projeto WebCam: Processamento de Imagens Rede Neural: Treino / Uso na classificação Ações: Grupos de Humanos Virtuais

8 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Objetivos - Visão Geral do Projeto Matlab Aquisição, procesamento e medidas Treinamento RNA [SNNS/C++] Classificador RNA [C++] Aplicação de multidões de humanos virtuais [C++] = Sockets e Memória Compartilhada Integração: Aquisição das Imagens, Classificação, Ações

9 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Visão Computacional 3.1 Reconhecimento de Posturas 3.2 Extração de Atributos 3.3 Aprendizado e Classificação Neural (ANN) 3.4 Resultados: Rede Neural Posturas escolhidas para utiliza ç ão no experimento • 5 dedos (mão aberta) • 0 dedos (mão fechada) • 1 dedo (indicador) • 1 dedo (polegar) • 2 dedos (v – vit ó ria) • 1 dedo (m í nimo)

10 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Visão Computacional 3.1 Reconhecimento de Posturas 3.2 Extração de Atributos 3.3 Aprendizado e Classificação Neural (ANN) 3.4 Resultados: Rede Neural Posturas escolhidas para utiliza ç ão no experimento • 5 dedos (mão aberta) • 0 dedos (mão fechada) • 1 dedo (indicador) • 1 dedo (polegar) • 2 dedos (v – vit ó ria) • 1 dedo (m í nimo) Posturas Gestos

11 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Visão Computacional 3.1 Reconhecimento de Posturas 3.2 Extração de Atributos 3.3 Aprendizado e Classificação Neural (ANN) 3.4 Resultados: Rede Neural Posturas escolhidas para utiliza ç ão no experimento • 5 dedos (mão aberta) • 0 dedos (mão fechada) • 1 dedo (indicador) • 1 dedo (polegar) • 2 dedos (v – vit ó ria) • 1 dedo (m í nimo) Aquisição das imagens: - Aquisição das imagens a partir da Webcam - Pré-processamento das imagens no MATLAB - A limiarização e segmentação das imagens - Extração das referência (métricas/atributos)

12 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Visão Computacional 3.1 Reconhecimento de Posturas 3.2 Extração de Atributos 3.3 Aprendizado e Classificação Neural (ANN) 3.4 Resultados: Rede Neural Exemplo de extração de atributos: (a) Intensidade do canal azul. (b) Resultado da binarização. (c) Resultado do fechamento morfológico. (d) Imagem binária final restrita ou bounding box. Aquisição das imagens: - Aquisição das imagens a partir da Webcam - Pré-processamento das imagens no MATLAB - A limiarização e segmentação das imagens - Extração das referência (métricas/atributos)

13 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Visão Computacional 3.1 Reconhecimento de Posturas 3.2 Extração de Atributos 3.3 Aprendizado e Classificação Neural (ANN) 3.4 Resultados: Rede Neural Extração de Atributos (feições): Procedimentos que, aplicados a uma imagem retornam um valor numérico capaz de diferenciar os tipos de imagens - Histograma Vertical - Histograma Horizontal - Densidade de P/B - Alternância de P/B - Bounding Box Aquisição das imagens: - Aquisição das imagens a partir da Webcam - Pré-processamento das imagens no MATLAB - A limiarização e segmentação das imagens - Extração das referência (métricas/atributos)

14 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Visão Computacional 3.1 Reconhecimento de Posturas 3.2 Extração de Atributos 3.3 Aprendizado e Classificação Neural (ANN) 3.4 Resultados: Rede Neural Extração de Atributos (feições): Procedimentos que, aplicados a uma imagem retornam um valor numérico capaz de diferenciar os tipos de imagens - Histograma Vertical - Histograma Horizontal - Densidade de P/B - Alternância de P/B - Bounding Box Histograma Horizontal Aquisição das imagens: - Aquisição das imagens a partir da Webcam - Pré-processamento das imagens no MATLAB - A limiarização e segmentação das imagens - Extração das referência (métricas/atributos)

15 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Visão Computacional 3.1 Reconhecimento de Posturas 3.2 Extração de Atributos 3.3 Aprendizado e Classificação Neural (ANN) 3.4 Resultados: Rede Neural Extração de Atributos (feições): Procedimentos que, aplicados a uma imagem retornam um valor numérico capaz de diferenciar os tipos de imagens - Histograma Vertical - Histograma Horizontal - Densidade de P/B - Alternância de P/B - Bounding Box Histograma Vertical Aquisição das imagens: - Aquisição das imagens a partir da Webcam - Pré-processamento das imagens no MATLAB - A limiarização e segmentação das imagens - Extração das referência (métricas/atributos)

16 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Visão Computacional 3.1 Reconhecimento de Posturas 3.2 Extração de Atributos 3.3 Aprendizado e Classificação Neural (ANN) 3.4 Resultados: Rede Neural Atributos das imagens Entradas adotadas: Atributos das imagens 10 projeções verticais 10 projeções horizontais Dimensões da largura e altura do bounding box Base de treinamento e teste/validação do classificador: 22 entradas e 1 saída (a sua respectiva classe (1 dentre as 6 posturas) 600 exemplos (imagens) de treino (70%) e 180 de validação (30%) 70 exemplos de cada classe = 70 x 6 = 420 exemplos na base de treino Rede Neural: (22 Input, 22 Hidden, 6 Output) Aprendizado: RProp (Resilent Propagation ~ BackProp acelerado) Softwares: JavaNNS SNNS Analyze SNNS2C

17 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Visão Computacional 3.1 Reconhecimento de Posturas 3.2 Extração de Atributos 3.3 Aprendizado e Classificação 3.4 Resultados: Rede Neural Taxa média de acertos - aprendizado : 99,95% Taxa média de erro - abaixo de 0,05%. Taxa de acertos (treino/teste): muito próxima a 100%

18 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Visão Computacional 3.1 Reconhecimento de Posturas 3.2 Extração de Atributos 3.3 Aprendizado e Classificação 3.4 Resultados: Rede Neural Taxa média de acertos - aprendizado : 99,95% Taxa média de erro - abaixo de 0,05%. Taxa de acertos (treino/teste): muito próxima a 100%

19 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Simulação com Humanos Virtuais Simulação de grupos - "Crowds" Aplicação de simulação militar: - Formação: Linha, Quadrado, Divisão de grupo, Junção - Agrupamento: Denso, Esparso Comando das tropas através de gestos - Reconhecimento de posturas - Associação da postura às ações

20 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Arquitetura do Sistema – Exporta ç ão da rede com o melhor resultado  Utiliza ç ão do SNNS2C para exportar a rede que apresentou o melhor resultado dentre todos os testes – Integra ç ão das aplica ç ões via sockets e mem ó ria compartilhada  Aquisi ç ão da Imagem  Pr é -Processamento: extra ç ão de atributos  Classifica ç ão com a rede (snns2c)  Classe identificada gera c ó digo da a ç ão  Gera ç ão das a ç ões => Anima ç ão do Humanos Virtuais

21 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Conclusões e Perspectivas Tópicos abordados: - Interface Humano-Computador - Aprendizado e Reconhecimento de Posturas - Aplicação em Tempo Real - Visão Computacional - Simulação de Humanos Virtuais Trabalhos Futuros: - Reconhecimento de GESTOS (dinâmica do movimento) - Explorar mais o uso de interfaces gestuais Trabalhos relacionados... A tool for teaching musical metrics based on computer vision - CGI2007 Rodrigo Schramm e Claudio Jung

22 Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May Proc. Imagens / Visualização 3D


Carregar ppt "Animando Humanos Virtuais em Tempo-Real usando Visão Computacional e Redes Neurais Nelson F. Souza Jr. et al. 30 May 2007 1 Animando Humanos Virtuais em."

Apresentações semelhantes


Anúncios Google