Rastreamento de Objetos

Apresentação em tema: "Rastreamento de Objetos"— Transcrição da apresentação:

1 Rastreamento de Objetos
Human Body Tracking

2 Equipe Flávio Juvenal – fjsj Lais Varejão – lvv Natália Cabral – ncs
Paulo Oliveira – phslfo Victor Alencar - vaca Victor Lorena – vlfs

3 Roteiro Motivação Definição Histórico Rastreamento de objetos
Human Body Tracking Técnicas Aplicações Desafios atuais

4 Motivação Computadores mais potentes, câmeras de vídeo de alta resolução a baixo custo e uma crescente necessidade de automatizar a análise de vídeos geraram um grande interesse por algoritmos de rastreamento de objetos.

5 Definição Rastreamento de objetos é o problema de estimar a trajetória do objeto no plano da imagem à medida que ele se move na cena.

6 Histórico

7 Histórico Rotoscoping Envolve captura e projeção
Desenha quadro por quadro Inventado por Max Felischer em 1914 Considerado o percursor da ‘motion capture’. Fleischer usou seu irmao vistido de palhaço como referência viva para a animação do personagem Koko the Clown. Rotoscopia, primeiramente, funciona capturando cenas de um vídeo de atores reais.

8 Rotoscoping Vídeo Capturado Decalque
Animadores decalcam cada quadro através de um papel transparente e fosco. Isso resulta em um figura que se move de maneira bastante realista.

9 Rotoscoping Pós Processamento Transformação em desenho animado
Inclusão do cenário Forma primitiva de captura de movimento No fim, a figura animada seria colorida e integrada com camadas de cenários para criar o objetivo final. Walt Disney usaram essa técnica em filmes como A branca de neve e Peter Pan. A captura de movimento e rotoscoping tem algumas semelhanças. Ambos capturam um ator vivo e usa os quadros capturados como referência em uma animação.

10 Histórico Início dos anos 70: Uso Militar
Rastreamento da cabeça dos pilotos de avião em manobras de combate 1982: Animação de Personagens Foi desenvolvido uma dançarina computadorizada usando captura de movimento (The Catherine Wheel)

11 Histórico 1985: Animação de Personagens
Propaganda com captura de movimento no Superbowl (Brilliance) Fim dos anos 80: Motion Capture Sistemas computadorizados auxiliavam na captura da posição e forma dos objetos no espaço

12 Histórico Anos 90: Filmes de Hollywood Titanic Batman and Robin
Real Adventures of Jonny Quest The Mummy, The Mummy Returns Final Fantasy Lord of the Rings

13 Rastreamento

14 Etapas do Rastreamento
Detecção dos objetos Rastreamento quadro a quadro Análise do rastreamento

15 Desafios Perda de informação ao projetar de 3D para 2D
Ruído em imagens Objetos com movimentos e formas complexas Natureza articulada dos objetos Oclusão parcial ou total do objeto Mudança de iluminação da cena Processamento em tempo real

16 Fatores relevantes Representações do objeto
Escolha das características da imagem Modelagem do movimento, da aparência e da forma do objeto Quantidade de objetos na cena Movimentação da câmera Condições de iluminação

17 Representação dos objetos
Pontos Adequada para acompanhar objetos que ocupam pequenas regiões em uma imagem.

18 Representação dos objetos
Formas geométricas primitivas Embora sejam mais adequadas para o rastreamento de objetos rígidos, também são utilizadas no rastreamento de objetos não rígidos.

19 Representação dos objetos
Objetos com silhuetas e contornos Adequada para o rastreamento de formas não rígidas complexas.

20 Representação dos objetos
Modelos de forma articulada Formas geométricas representam partes do corpo e são agrupadas através articulações.

21 Representação dos objetos
Modelos esqueléticos Esqueletos de objetos extraídos a partir da aplicação de transformação do eixo medial da silhueta do objeto. Úteis na modelagem de objetos rígidos e articulados.

22 Escolha de características da imagem
Deve-se buscar a unicidade do objeto Cor Exemplo: Contornos Exemplo:

23 Escolha de características da imagem
Fluxo óptico Exemplo: Textura Exemplo:

24 Mecanismos de detecção do objeto
Único frame Múltiplos frames Point Detector Background Subtraction Segmentation Supervised Learning

25 Point Detector Qualidade do ponto de interesse = grau invariância, quanto a iluminação e ponto de vista da câmera. Utilizado para solucionar problemas de movimento.

26 Background Subtraction
Representação por modelo de cena Capta movimentação através da mudança significativa de qualquer região do fundo Representação por modelo de cena Capta movimentação através da mudança significativa de qualquer região do fundo

27 Segmentation O algoritmo busca a segmentação da imagem
Problemas da técnica: Definir se as imagens são parecidas Partição eficiente

28 Supervised Learning Aprendizagem supervisionada de determinado objeto

29 Rastreamento de objetos
Objetivo Determinar a posição do objeto a cada frame Região completa da imagem Tipos de rastreamento Tracking point Tracking kernel Tracking silhouette

30 Tracking Point Objetos representados por pontos
O rastreamento inclui a posição do objeto e sua velocidade Requer um mecanismo externo para detectar objetos em cada frame

31 Tracking Point

32 Tracking Kernel Kernel refere-se à forma e a aparência do objeto
Pode ser um modelo retangular ou uma forma elíptica Os objetos são rastreados pelo cálculo do movimento do kernel em frames consecutivos Este movimento é geralmente sob a forma de uma transformação  paramétrica, como tradução, rotação e afins.

33 Tracking Kernel

34 Tracking Silhouette Monitoramento é realizado por meio da estimativa da região objeto em cada frame. Métodos de Tracking Silhouette usam a informação codificada no interior da região objeto, e estas são chamadas de mapas de contorno. Silhuetas são rastreadas por qualquer forma de correspondência.

35 Tracking Silhouette / Edges

36 Human body tracking

37 Definição É o processo de captura de movimento, a partir de dados de atores representando várias ações diferentes, assim como, a tradução do movimento para um modelo digital.

38 Rastreamento sem marcadores
Como funciona? Várias câmeras capturam o movimento dos objetos na cena. Para cada quadro, um software encontra o contorno dos objetos nas diferentes imagens e captura o movimento. O software então analisa as características das imagens e realiza a modelagem do clone 3D.

39 Rastreamento sem marcadores
Vantagens Na captura de movimento com marcadores, alguns se deslocam requerendo uma correção manual. O uso sem marcadores evita a correção. Permite que o ator use o próprio figurino. Desvantagens É necessário o uso de várias câmeras. A área ainda está em pesquisa.

40 Rastreamento sem marcadores
Exemplo: New Scientist

41 Rastreamento com marcadores
O movimento dos atores é capturado através de sensores localizados em suas articulações e extremidades. Deve-se evitar músculos rígidos.

42 Etapas do rastreamento
Calibração da Câmera Calibração do objeto Captura de movimento Cleanup dos dados Processamento dos ângulos das articulações Mapeamento dos modelos

43 Rastreamento com marcadores
Exemplo: Captive Motion – The Process

44 Técnicas

45 Inercial Roupa que acopla acelerômetros como sensores de movimento e giroscópios como sensores de inclinação. Muito usado por empresas desenvolvedoras de jogos, devido a facilidade de uso.

46 Inercial Vantagens Flexibilidade e facilidade de uso Dispensa câmeras
Não sofre interferência de campos luminosos e magnéticos Visualização em tempo real

47 Inercial Desvantagens Possui menor precisão
Falhas de posicionamento podem aumentar com o tempo Não podem ser usados na face

48 Inercial Exemplo:

49 Óptico O ator veste marcações refletivas ou de luz própria que são seguidas por um conjunto de no mínimo três câmeras. Um software fornece as coordenadas 3D dos refletores, a partir das imagens 2D geradas pelas câmeras.

50 Óptico Vantagens Maior liberdade dos movimentos, pois não há cabos presos ao corpo Captura dos movimentos de mais de um ator Alta taxa de amostragem de dados, permitindo captura de movimentos rápidos

51 Óptico Desvantagens Interferência de fontes luminosas
Oclusão das marcações Necessidade de calcular a rotação de certas partes do corpo Necessidade de pós-processamento

52 Óptico Exemplos:

53 Eletromagnético  O ator veste um conjunto de receptores magnéticos que monitoram e identificam a posição 3D de cada receptor em relação a um transmissor estático. Cada receptor necessita de um cabo para se conectar ao computador responsável pelos cálculos 

54 Eletromagnético Vantagens Captura em tempo real
Baixo custo do equipamento Baixo custo computacional Não ocorrência de oclusão

55 Eletromagnético Desvantagens Distorções magnéticas
Interferências causadas por campos magnéticos de objetos metálicos Limitação dos movimentos Sistemas novos no mercado com custo elevado

56 Eletromagnético Exemplo:

57 Mecânico O ator veste um exoesqueleto preso em suas costas que acompanha seus movimentos através de sensores, alojados em cada uma das articulações e responsáveis por captar a amplitude de seus movimentos.  Outra opção são luvas de captura de dados e marionetes articuladas.

58 Mecânico Vantagens Não sofre interferência dos campos magnéticos ou luminosos Dados rotacionais podem ser capturados em tempo real, sem problemas de oclusão

59 Mecânico Desvantagens Necessita calibração
A posição absoluta do ator não é conhecida e sim calculada a partir das rotações Não são calculadas informações de distância em relação ao chão

60 Mecânico Exemplo:

61 Acústico O sistema consiste de emissores sonoros são anexados ao corpo do ator e três receptores fixos. Os emissores são acionados em sequência e o som produzido é captado pelos receptores, que então calculam o posicionamento 3D. Pode ser integrado com um mocap inercial para melhorar a performance.

62 Acústico Vantagens Não sofre interferência Não ocorre oclusão

63 Acústico Desvantagens
Dificuldade de se obter uma descrição correta dos dados num instante desejado. Necessidade de cabos Há reflexão dos sons emitidos pelos transmissores Interferência de ruídos externos

64 Aplicações

65 Aplicações Filmes Possibilita movimentos humanos mais realistas em personagens digitais.

66 Aplicações Jogos Utiliza mocap para tornar os movimentos do personagem mais reais Projeto Natal

67 Aplicações Militares Monitora cenários para detecção de atividades suspeitas ou eventos inesperados

68 Aplicações Medicina Análise da reação das articulações

69 Aplicações Monitoramento do tráfego
Coleta em tempo real de estatísticas e informações do trânsito

70 Aplicações Navegação de automóveis
Capacidade de planejar o caminho e evitar obstáculos

71 Aplicações Interação Humano-Computador
Utiliza mocap para prover mecanismos avançados para uso com pacientes tetraplégicos

72 Conclusões

73 Tendências Futuras Pressuposições atuais: Suavidade do movimento
Quantidade mínima de oclusão Constância de iluminação, de alto contraste em relação ao fundo, etc. problemas associados de seleção de recurso, representação do objeto, a forma dinâmica e estimativa de movimento são as áreas de pesquisa muito ativa e novas soluções estão continuamente sendo proposto

74 Tendências Futuras Aplicações limitadas: vigilância automática,
interação homem-computador, recuperação de vídeo monitoramento de tráfego navegação do veículo

75 Tendências Futuras Desafio
Desenvolver algoritmos para rastrear objetos em vídeos sem restrições Ex.: vídeos barulhentos, comprimidos, desestruturados e contêm trechos editados obtidos por câmaras de visões múltiplas

76 Tendências Futuras Desafio
Integração de informações contextuais é pouco abordada Rastreadores podem incorporar restrições gerais no formato e no movimento do objeto Melhora o desempeho

77 Tendências Futuras Desafio Filmagens de reuniões
Oclusão e pessoas parcialmente visíveis Há pesquisas para possibilitar adicionar áudio no rastreamento

78 Conclusão Uma abordagem baseada em integrar diferentes fontes de informações resultará em um tracker geral, útil a várias aplicações. Em geral, características únicas do objeto são melhores para o rastreamento. Contudo, informações específicas adicionais podem ajudar a sintonizar o tracker com um cenário específico.

79 ? Dúvidas

80 Bibliografia mo_cap_kowdeed.ppt

81 Bibliografia