Carregar apresentação
A apresentação está carregando. Por favor, espere
1
Rastreamento de Objetos
Human Body Tracking
2
Equipe Flávio Juvenal – fjsj Lais Varejão – lvv Natália Cabral – ncs
Paulo Oliveira – phslfo Victor Alencar - vaca Victor Lorena – vlfs
3
Roteiro Motivação Definição Histórico Rastreamento de objetos
Human Body Tracking Técnicas Aplicações Desafios atuais
4
Motivação Computadores mais potentes, câmeras de vídeo de alta resolução a baixo custo e uma crescente necessidade de automatizar a análise de vídeos geraram um grande interesse por algoritmos de rastreamento de objetos.
5
Definição Rastreamento de objetos é o problema de estimar a trajetória do objeto no plano da imagem à medida que ele se move na cena.
6
Histórico
7
Histórico Rotoscoping Envolve captura e projeção
Desenha quadro por quadro Inventado por Max Felischer em 1914 Considerado o percursor da ‘motion capture’. Fleischer usou seu irmao vistido de palhaço como referência viva para a animação do personagem Koko the Clown. Rotoscopia, primeiramente, funciona capturando cenas de um vídeo de atores reais.
8
Rotoscoping Vídeo Capturado Decalque
Animadores decalcam cada quadro através de um papel transparente e fosco. Isso resulta em um figura que se move de maneira bastante realista.
9
Rotoscoping Pós Processamento Transformação em desenho animado
Inclusão do cenário Forma primitiva de captura de movimento No fim, a figura animada seria colorida e integrada com camadas de cenários para criar o objetivo final. Walt Disney usaram essa técnica em filmes como A branca de neve e Peter Pan. A captura de movimento e rotoscoping tem algumas semelhanças. Ambos capturam um ator vivo e usa os quadros capturados como referência em uma animação.
10
Histórico Início dos anos 70: Uso Militar
Rastreamento da cabeça dos pilotos de avião em manobras de combate 1982: Animação de Personagens Foi desenvolvido uma dançarina computadorizada usando captura de movimento (The Catherine Wheel)
11
Histórico 1985: Animação de Personagens
Propaganda com captura de movimento no Superbowl (Brilliance) Fim dos anos 80: Motion Capture Sistemas computadorizados auxiliavam na captura da posição e forma dos objetos no espaço
12
Histórico Anos 90: Filmes de Hollywood Titanic Batman and Robin
Real Adventures of Jonny Quest The Mummy, The Mummy Returns Final Fantasy Lord of the Rings
13
Rastreamento
14
Etapas do Rastreamento
Detecção dos objetos Rastreamento quadro a quadro Análise do rastreamento
15
Desafios Perda de informação ao projetar de 3D para 2D
Ruído em imagens Objetos com movimentos e formas complexas Natureza articulada dos objetos Oclusão parcial ou total do objeto Mudança de iluminação da cena Processamento em tempo real
16
Fatores relevantes Representações do objeto
Escolha das características da imagem Modelagem do movimento, da aparência e da forma do objeto Quantidade de objetos na cena Movimentação da câmera Condições de iluminação
17
Representação dos objetos
Pontos Adequada para acompanhar objetos que ocupam pequenas regiões em uma imagem.
18
Representação dos objetos
Formas geométricas primitivas Embora sejam mais adequadas para o rastreamento de objetos rígidos, também são utilizadas no rastreamento de objetos não rígidos.
19
Representação dos objetos
Objetos com silhuetas e contornos Adequada para o rastreamento de formas não rígidas complexas.
20
Representação dos objetos
Modelos de forma articulada Formas geométricas representam partes do corpo e são agrupadas através articulações.
21
Representação dos objetos
Modelos esqueléticos Esqueletos de objetos extraídos a partir da aplicação de transformação do eixo medial da silhueta do objeto. Úteis na modelagem de objetos rígidos e articulados.
22
Escolha de características da imagem
Deve-se buscar a unicidade do objeto Cor Exemplo: Contornos Exemplo:
23
Escolha de características da imagem
Fluxo óptico Exemplo: Textura Exemplo:
24
Mecanismos de detecção do objeto
Único frame Múltiplos frames Point Detector Background Subtraction Segmentation Supervised Learning
25
Point Detector Qualidade do ponto de interesse = grau invariância, quanto a iluminação e ponto de vista da câmera. Utilizado para solucionar problemas de movimento.
26
Background Subtraction
Representação por modelo de cena Capta movimentação através da mudança significativa de qualquer região do fundo Representação por modelo de cena Capta movimentação através da mudança significativa de qualquer região do fundo
27
Segmentation O algoritmo busca a segmentação da imagem
Problemas da técnica: Definir se as imagens são parecidas Partição eficiente
28
Supervised Learning Aprendizagem supervisionada de determinado objeto
29
Rastreamento de objetos
Objetivo Determinar a posição do objeto a cada frame Região completa da imagem Tipos de rastreamento Tracking point Tracking kernel Tracking silhouette
30
Tracking Point Objetos representados por pontos
O rastreamento inclui a posição do objeto e sua velocidade Requer um mecanismo externo para detectar objetos em cada frame
31
Tracking Point
32
Tracking Kernel Kernel refere-se à forma e a aparência do objeto
Pode ser um modelo retangular ou uma forma elíptica Os objetos são rastreados pelo cálculo do movimento do kernel em frames consecutivos Este movimento é geralmente sob a forma de uma transformação paramétrica, como tradução, rotação e afins.
33
Tracking Kernel
34
Tracking Silhouette Monitoramento é realizado por meio da estimativa da região objeto em cada frame. Métodos de Tracking Silhouette usam a informação codificada no interior da região objeto, e estas são chamadas de mapas de contorno. Silhuetas são rastreadas por qualquer forma de correspondência.
35
Tracking Silhouette / Edges
36
Human body tracking
37
Definição É o processo de captura de movimento, a partir de dados de atores representando várias ações diferentes, assim como, a tradução do movimento para um modelo digital.
38
Rastreamento sem marcadores
Como funciona? Várias câmeras capturam o movimento dos objetos na cena. Para cada quadro, um software encontra o contorno dos objetos nas diferentes imagens e captura o movimento. O software então analisa as características das imagens e realiza a modelagem do clone 3D.
39
Rastreamento sem marcadores
Vantagens Na captura de movimento com marcadores, alguns se deslocam requerendo uma correção manual. O uso sem marcadores evita a correção. Permite que o ator use o próprio figurino. Desvantagens É necessário o uso de várias câmeras. A área ainda está em pesquisa.
40
Rastreamento sem marcadores
Exemplo: New Scientist
41
Rastreamento com marcadores
O movimento dos atores é capturado através de sensores localizados em suas articulações e extremidades. Deve-se evitar músculos rígidos.
42
Etapas do rastreamento
Calibração da Câmera Calibração do objeto Captura de movimento Cleanup dos dados Processamento dos ângulos das articulações Mapeamento dos modelos
43
Rastreamento com marcadores
Exemplo: Captive Motion – The Process
44
Técnicas
45
Inercial Roupa que acopla acelerômetros como sensores de movimento e giroscópios como sensores de inclinação. Muito usado por empresas desenvolvedoras de jogos, devido a facilidade de uso.
46
Inercial Vantagens Flexibilidade e facilidade de uso Dispensa câmeras
Não sofre interferência de campos luminosos e magnéticos Visualização em tempo real
47
Inercial Desvantagens Possui menor precisão
Falhas de posicionamento podem aumentar com o tempo Não podem ser usados na face
48
Inercial Exemplo:
49
Óptico O ator veste marcações refletivas ou de luz própria que são seguidas por um conjunto de no mínimo três câmeras. Um software fornece as coordenadas 3D dos refletores, a partir das imagens 2D geradas pelas câmeras.
50
Óptico Vantagens Maior liberdade dos movimentos, pois não há cabos presos ao corpo Captura dos movimentos de mais de um ator Alta taxa de amostragem de dados, permitindo captura de movimentos rápidos
51
Óptico Desvantagens Interferência de fontes luminosas
Oclusão das marcações Necessidade de calcular a rotação de certas partes do corpo Necessidade de pós-processamento
52
Óptico Exemplos:
53
Eletromagnético O ator veste um conjunto de receptores magnéticos que monitoram e identificam a posição 3D de cada receptor em relação a um transmissor estático. Cada receptor necessita de um cabo para se conectar ao computador responsável pelos cálculos
54
Eletromagnético Vantagens Captura em tempo real
Baixo custo do equipamento Baixo custo computacional Não ocorrência de oclusão
55
Eletromagnético Desvantagens Distorções magnéticas
Interferências causadas por campos magnéticos de objetos metálicos Limitação dos movimentos Sistemas novos no mercado com custo elevado
56
Eletromagnético Exemplo:
57
Mecânico O ator veste um exoesqueleto preso em suas costas que acompanha seus movimentos através de sensores, alojados em cada uma das articulações e responsáveis por captar a amplitude de seus movimentos. Outra opção são luvas de captura de dados e marionetes articuladas.
58
Mecânico Vantagens Não sofre interferência dos campos magnéticos ou luminosos Dados rotacionais podem ser capturados em tempo real, sem problemas de oclusão
59
Mecânico Desvantagens Necessita calibração
A posição absoluta do ator não é conhecida e sim calculada a partir das rotações Não são calculadas informações de distância em relação ao chão
60
Mecânico Exemplo:
61
Acústico O sistema consiste de emissores sonoros são anexados ao corpo do ator e três receptores fixos. Os emissores são acionados em sequência e o som produzido é captado pelos receptores, que então calculam o posicionamento 3D. Pode ser integrado com um mocap inercial para melhorar a performance.
62
Acústico Vantagens Não sofre interferência Não ocorre oclusão
63
Acústico Desvantagens
Dificuldade de se obter uma descrição correta dos dados num instante desejado. Necessidade de cabos Há reflexão dos sons emitidos pelos transmissores Interferência de ruídos externos
64
Aplicações
65
Aplicações Filmes Possibilita movimentos humanos mais realistas em personagens digitais.
66
Aplicações Jogos Utiliza mocap para tornar os movimentos do personagem mais reais Projeto Natal
67
Aplicações Militares Monitora cenários para detecção de atividades suspeitas ou eventos inesperados
68
Aplicações Medicina Análise da reação das articulações
69
Aplicações Monitoramento do tráfego
Coleta em tempo real de estatísticas e informações do trânsito
70
Aplicações Navegação de automóveis
Capacidade de planejar o caminho e evitar obstáculos
71
Aplicações Interação Humano-Computador
Utiliza mocap para prover mecanismos avançados para uso com pacientes tetraplégicos
72
Conclusões
73
Tendências Futuras Pressuposições atuais: Suavidade do movimento
Quantidade mínima de oclusão Constância de iluminação, de alto contraste em relação ao fundo, etc. problemas associados de seleção de recurso, representação do objeto, a forma dinâmica e estimativa de movimento são as áreas de pesquisa muito ativa e novas soluções estão continuamente sendo proposto
74
Tendências Futuras Aplicações limitadas: vigilância automática,
interação homem-computador, recuperação de vídeo monitoramento de tráfego navegação do veículo
75
Tendências Futuras Desafio
Desenvolver algoritmos para rastrear objetos em vídeos sem restrições Ex.: vídeos barulhentos, comprimidos, desestruturados e contêm trechos editados obtidos por câmaras de visões múltiplas
76
Tendências Futuras Desafio
Integração de informações contextuais é pouco abordada Rastreadores podem incorporar restrições gerais no formato e no movimento do objeto Melhora o desempeho
77
Tendências Futuras Desafio Filmagens de reuniões
Oclusão e pessoas parcialmente visíveis Há pesquisas para possibilitar adicionar áudio no rastreamento
78
Conclusão Uma abordagem baseada em integrar diferentes fontes de informações resultará em um tracker geral, útil a várias aplicações. Em geral, características únicas do objeto são melhores para o rastreamento. Contudo, informações específicas adicionais podem ajudar a sintonizar o tracker com um cenário específico.
79
? Dúvidas
80
Bibliografia mo_cap_kowdeed.ppt
81
Bibliografia
Apresentações semelhantes
© 2024 SlidePlayer.com.br Inc.
All rights reserved.