Rastreamento de Objetos Human Body Tracking

Equipe Flávio Juvenal – fjsj Lais Varejão – lvv Natália Cabral – ncs Paulo Oliveira – phslfo Victor Alencar - vaca Victor Lorena – vlfs

Roteiro Motivação Definição Histórico Rastreamento de objetos Human Body Tracking Técnicas Aplicações Desafios atuais

Motivação Computadores mais potentes, câmeras de vídeo de alta resolução a baixo custo e uma crescente necessidade de automatizar a análise de vídeos geraram um grande interesse por algoritmos de rastreamento de objetos.

Definição Rastreamento de objetos é o problema de estimar a trajetória do objeto no plano da imagem à medida que ele se move na cena.

Histórico

Histórico Rotoscoping Envolve captura e projeção Desenha quadro por quadro Inventado por Max Felischer em 1914 Considerado o percursor da ‘motion capture’. Fleischer usou seu irmao vistido de palhaço como referência viva para a animação do personagem Koko the Clown. Rotoscopia, primeiramente, funciona capturando cenas de um vídeo de atores reais.

Rotoscoping Vídeo Capturado Decalque Animadores decalcam cada quadro através de um papel transparente e fosco. Isso resulta em um figura que se move de maneira bastante realista.

Rotoscoping Pós Processamento Transformação em desenho animado Inclusão do cenário Forma primitiva de captura de movimento No fim, a figura animada seria colorida e integrada com camadas de cenários para criar o objetivo final. Walt Disney usaram essa técnica em filmes como A branca de neve e Peter Pan. A captura de movimento e rotoscoping tem algumas semelhanças. Ambos capturam um ator vivo e usa os quadros capturados como referência em uma animação.

Histórico Início dos anos 70: Uso Militar Rastreamento da cabeça dos pilotos de avião em manobras de combate 1982: Animação de Personagens Foi desenvolvido uma dançarina computadorizada usando captura de movimento (The Catherine Wheel) http://rallen.design.ucla.edu/newvideo/cathrine_wheel_ex.mov

Histórico 1985: Animação de Personagens Propaganda com captura de movimento no Superbowl (Brilliance) http://www.youtube.com/watch?v=HZY5_ZzRdbk Fim dos anos 80: Motion Capture Sistemas computadorizados auxiliavam na captura da posição e forma dos objetos no espaço

Histórico Anos 90: Filmes de Hollywood Titanic Batman and Robin Real Adventures of Jonny Quest The Mummy, The Mummy Returns Final Fantasy Lord of the Rings http://www.youtube.com/watch?v=-PpV1KJ0Wsw

Rastreamento

Etapas do Rastreamento Detecção dos objetos Rastreamento quadro a quadro Análise do rastreamento

Desafios Perda de informação ao projetar de 3D para 2D Ruído em imagens Objetos com movimentos e formas complexas Natureza articulada dos objetos Oclusão parcial ou total do objeto Mudança de iluminação da cena Processamento em tempo real

Fatores relevantes Representações do objeto Escolha das características da imagem Modelagem do movimento, da aparência e da forma do objeto Quantidade de objetos na cena Movimentação da câmera Condições de iluminação

Representação dos objetos Pontos Adequada para acompanhar objetos que ocupam pequenas regiões em uma imagem.

Representação dos objetos Formas geométricas primitivas Embora sejam mais adequadas para o rastreamento de objetos rígidos, também são utilizadas no rastreamento de objetos não rígidos.

Representação dos objetos Objetos com silhuetas e contornos Adequada para o rastreamento de formas não rígidas complexas.

Representação dos objetos Modelos de forma articulada Formas geométricas representam partes do corpo e são agrupadas através articulações.

Representação dos objetos Modelos esqueléticos Esqueletos de objetos extraídos a partir da aplicação de transformação do eixo medial da silhueta do objeto. Úteis na modelagem de objetos rígidos e articulados.

Escolha de características da imagem Deve-se buscar a unicidade do objeto Cor Exemplo: http://www.youtube.com/watch?v=1iwvL83Cumo&NR=1 Contornos Exemplo: http://www.youtube.com/watch?v=_Dln257k2Sc

Escolha de características da imagem Fluxo óptico Exemplo: http://www.youtube.com/watch?v=Q3gT52sHDI4&feature=related Textura Exemplo: http://www.youtube.com/watch?v=lhUfo4Cyfgs

Mecanismos de detecção do objeto Único frame Múltiplos frames Point Detector Background Subtraction Segmentation Supervised Learning

Point Detector Qualidade do ponto de interesse = grau invariância, quanto a iluminação e ponto de vista da câmera. Utilizado para solucionar problemas de movimento.

Background Subtraction Representação por modelo de cena Capta movimentação através da mudança significativa de qualquer região do fundo Representação por modelo de cena Capta movimentação através da mudança significativa de qualquer região do fundo

Segmentation O algoritmo busca a segmentação da imagem Problemas da técnica: Definir se as imagens são parecidas Partição eficiente

Supervised Learning Aprendizagem supervisionada de determinado objeto

Rastreamento de objetos Objetivo Determinar a posição do objeto a cada frame Região completa da imagem Tipos de rastreamento Tracking point Tracking kernel Tracking silhouette

Tracking Point Objetos representados por pontos O rastreamento inclui a posição do objeto e sua velocidade Requer um mecanismo externo para detectar objetos em cada frame

Tracking Point

Tracking Kernel Kernel refere-se à forma e a aparência do objeto Pode ser um modelo retangular ou uma forma elíptica Os objetos são rastreados pelo cálculo do movimento do kernel em frames consecutivos Este movimento é geralmente sob a forma de uma transformação  paramétrica, como tradução, rotação e afins.

Tracking Kernel

Tracking Silhouette Monitoramento é realizado por meio da estimativa da região objeto em cada frame. Métodos de Tracking Silhouette usam a informação codificada no interior da região objeto, e estas são chamadas de mapas de contorno. Silhuetas são rastreadas por qualquer forma de correspondência.

Tracking Silhouette / Edges

Human body tracking

Definição É o processo de captura de movimento, a partir de dados de atores representando várias ações diferentes, assim como, a tradução do movimento para um modelo digital.

Rastreamento sem marcadores Como funciona? Várias câmeras capturam o movimento dos objetos na cena. Para cada quadro, um software encontra o contorno dos objetos nas diferentes imagens e captura o movimento. O software então analisa as características das imagens e realiza a modelagem do clone 3D.

Rastreamento sem marcadores Vantagens Na captura de movimento com marcadores, alguns se deslocam requerendo uma correção manual. O uso sem marcadores evita a correção. Permite que o ator use o próprio figurino. Desvantagens É necessário o uso de várias câmeras. A área ainda está em pesquisa.

Rastreamento sem marcadores Exemplo: New Scientist http://www.youtube.com/watch?v=dTisU4dibSc

Rastreamento com marcadores O movimento dos atores é capturado através de sensores localizados em suas articulações e extremidades. Deve-se evitar músculos rígidos.

Etapas do rastreamento Calibração da Câmera Calibração do objeto Captura de movimento Cleanup dos dados Processamento dos ângulos das articulações Mapeamento dos modelos

Rastreamento com marcadores Exemplo: Captive Motion – The Process http://www.youtube.com/watch?v=I6P710hHx9c

Técnicas

Inercial Roupa que acopla acelerômetros como sensores de movimento e giroscópios como sensores de inclinação. Muito usado por empresas desenvolvedoras de jogos, devido a facilidade de uso.

Inercial Vantagens Flexibilidade e facilidade de uso Dispensa câmeras Não sofre interferência de campos luminosos e magnéticos Visualização em tempo real

Inercial Desvantagens Possui menor precisão Falhas de posicionamento podem aumentar com o tempo Não podem ser usados na face

Inercial Exemplo: http://www.youtube.com/watch?v=OlKBdTRF61w

Óptico O ator veste marcações refletivas ou de luz própria que são seguidas por um conjunto de no mínimo três câmeras. Um software fornece as coordenadas 3D dos refletores, a partir das imagens 2D geradas pelas câmeras.

Óptico Vantagens Maior liberdade dos movimentos, pois não há cabos presos ao corpo Captura dos movimentos de mais de um ator Alta taxa de amostragem de dados, permitindo captura de movimentos rápidos

Óptico Desvantagens Interferência de fontes luminosas Oclusão das marcações Necessidade de calcular a rotação de certas partes do corpo Necessidade de pós-processamento

Óptico Exemplos: http://crazymotion.net/3d-human-body-motion-salsa-dance/whHfKU3gFimIjAy.html http://www.youtube.com/watch?v=IxJrhnynlN8

Eletromagnético  O ator veste um conjunto de receptores magnéticos que monitoram e identificam a posição 3D de cada receptor em relação a um transmissor estático. Cada receptor necessita de um cabo para se conectar ao computador responsável pelos cálculos 

Eletromagnético Vantagens Captura em tempo real Baixo custo do equipamento Baixo custo computacional Não ocorrência de oclusão

Eletromagnético Desvantagens Distorções magnéticas Interferências causadas por campos magnéticos de objetos metálicos Limitação dos movimentos Sistemas novos no mercado com custo elevado

Eletromagnético Exemplo: http://www.polhemus.com/?page=Video:_LATUS1_video

Mecânico O ator veste um exoesqueleto preso em suas costas que acompanha seus movimentos através de sensores, alojados em cada uma das articulações e responsáveis por captar a amplitude de seus movimentos.  Outra opção são luvas de captura de dados e marionetes articuladas.

Mecânico Vantagens Não sofre interferência dos campos magnéticos ou luminosos Dados rotacionais podem ser capturados em tempo real, sem problemas de oclusão

Mecânico Desvantagens Necessita calibração A posição absoluta do ator não é conhecida e sim calculada a partir das rotações Não são calculadas informações de distância em relação ao chão

Mecânico Exemplo: http://www.youtube.com/watch?v=8a-FcGGEYyM&feature=related

Acústico O sistema consiste de emissores sonoros são anexados ao corpo do ator e três receptores fixos. Os emissores são acionados em sequência e o som produzido é captado pelos receptores, que então calculam o posicionamento 3D. Pode ser integrado com um mocap inercial para melhorar a performance.

Acústico Vantagens Não sofre interferência Não ocorre oclusão

Acústico Desvantagens Dificuldade de se obter uma descrição correta dos dados num instante desejado. Necessidade de cabos Há reflexão dos sons emitidos pelos transmissores Interferência de ruídos externos

Aplicações

Aplicações Filmes Possibilita movimentos humanos mais realistas em personagens digitais. http://www.youtube.com/watch?v=1wK1Ixr-UmM

Aplicações Jogos Utiliza mocap para tornar os movimentos do personagem mais reais http://www.youtube.com/watch?v=IxJrhnynlN8 Projeto Natal http://www.gossipgamers.com/microsofts-explanation-video-on-how-project-natal-works/

Aplicações Militares Monitora cenários para detecção de atividades suspeitas ou eventos inesperados http://www.youtube.com/watch?v=pMkV8E2re9U

Aplicações Medicina Análise da reação das articulações http://www.youtube.com/watch?v=ZEV3dj7ck9k

Aplicações Monitoramento do tráfego Coleta em tempo real de estatísticas e informações do trânsito http://www.youtube.com/watch?v=4i3yDNEpwro http://www.youtube.com/watch?v=qkaySMJWb0s&NR=1

Aplicações Navegação de automóveis Capacidade de planejar o caminho e evitar obstáculos http://www.youtube.com/watch?v=eQTlhISzhOg&feature=related http://www.youtube.com/watch?v=DAcfOEINeKA&NR=1

Aplicações Interação Humano-Computador Utiliza mocap para prover mecanismos avançados para uso com pacientes tetraplégicos http://www.eyewriter.org/

Conclusões

Tendências Futuras Pressuposições atuais: Suavidade do movimento Quantidade mínima de oclusão Constância de iluminação, de alto contraste em relação ao fundo, etc. problemas associados de seleção de recurso, representação do objeto, a forma dinâmica e estimativa de movimento são as áreas de pesquisa muito ativa e novas soluções estão continuamente sendo proposto

Tendências Futuras Aplicações limitadas: vigilância automática, interação homem-computador, recuperação de vídeo monitoramento de tráfego navegação do veículo

Tendências Futuras Desafio Desenvolver algoritmos para rastrear objetos em vídeos sem restrições Ex.: vídeos barulhentos, comprimidos, desestruturados e contêm trechos editados obtidos por câmaras de visões múltiplas

Tendências Futuras Desafio Integração de informações contextuais é pouco abordada Rastreadores podem incorporar restrições gerais no formato e no movimento do objeto Melhora o desempeho

Tendências Futuras Desafio Filmagens de reuniões Oclusão e pessoas parcialmente visíveis Há pesquisas para possibilitar adicionar áudio no rastreamento

Conclusão Uma abordagem baseada em integrar diferentes fontes de informações resultará em um tracker geral, útil a várias aplicações. Em geral, características únicas do objeto são melhores para o rastreamento. Contudo, informações específicas adicionais podem ajudar a sintonizar o tracker com um cenário específico.

? Dúvidas

Bibliografia http://www.cs.ucf.edu/vision/public_html/papers/Object%20Tracking.pdf mo_cap_kowdeed.ppt http://www.inf.ufrgs.br/~laffernandes/fernandes_TCC_2002.pdf http://www.inf.furb.br/seminco/2005/artigos/134-vf.pdf http://digitalacting.com/2009/10/27/the-future-of-motion-capture/ http://www.newscientist.com/article/dn14007 http://web.mit.edu/comm-forum/papers/furniss.html#fn32

Bibliografia http://docs.autodesk.com/3DSMAX/13/ENU/Autodesk%203ds%20Max%202011%20Help/index.html?url=./files/WSf742dab041063133728b9b2112a1ce7292-7eda.htm,topicNumber=d0e262719 http://www.technovelgy.com/ct/Science-Fiction-News.asp?NewsNum=762 http://www.rebeccaallen.com/v2/work/work.php?ID=24 http://graphics.stanford.edu/courses/cs448a-00-fall/cs448a-lec01.pdf http://accad.osu.edu/~bwindsor/AC694Z_Spring2004/Class1_brian_bw.pdf http://web.mit.edu/comm-forum/papers/furniss.html#fn3