A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Segmentação, Rastreamento de Objetos e Detecção de Eventos Primitivos com Aplicação no Monitoramento Automático de Ações Humanas em Vídeo Dissertação de.

Apresentações semelhantes


Apresentação em tema: "Segmentação, Rastreamento de Objetos e Detecção de Eventos Primitivos com Aplicação no Monitoramento Automático de Ações Humanas em Vídeo Dissertação de."— Transcrição da apresentação:

1 Segmentação, Rastreamento de Objetos e Detecção de Eventos Primitivos com Aplicação no Monitoramento Automático de Ações Humanas em Vídeo Dissertação de Mestrado Aluno: Bruno Costa Orientador: Herman Gomes COPIN/CEEI/UFCG 30/10/2008

2 Roteiro Introdução Detecção de Movimento Rastreamento Detecção de Ações Arquitetura Proposta e Modelagem Bases de Dados e Experimentos Conclusões e Trabalhos Futuros 30/10/ © Bruno Alexandre Dias da Costa

3 Introdução

4 Motivações Uso de vídeo se tornou algo ubíquo Aumento no uso de sistemas de monitoramento devido a problemas violência, atos de vandalismo, roubos e atentados terroristas Grandes volumes de vídeos em sua maioria nunca assistidos Necessidade de análise de vídeos é primordial, tanto do ponto de vista pragmático como acadêmico 30/10/ © Bruno Alexandre Dias da Costa

5 Introdução Motivações Novo domínio de aplicações (looking at people): Monitoramento de Vídeo (Surveillance) Análise de Movimento Realidade Virtual Controle e Automação Interfaces Avançadas Compressão de Vídeo 30/10/ © Bruno Alexandre Dias da Costa

6 Introdução Motivações Surgem diversos projetos em Monitoramento de Vídeo PFinder - VSAM – W4 – ADVISOR – CAVIAR – 30/10/ © Bruno Alexandre Dias da Costa

7 Introdução Problemas Armazenamento desnecessário de grandes quantidades de vídeo Inspeção/Monitoramento manual e contínuo de vídeo é despendioso Soluções Armazenar apenas o necessário Notificar os acontecimentos de maneira automática e em tempo hábil 30/10/ © Bruno Alexandre Dias da Costa

8 Introdução Sistemas de Vigilância Automática Desafios Gerais Detectar Rastrear Interpretar Quando vemos uma pessoa em movimento, nossos olhos a rastraeiam; então, pela análise das posturas que essa pessoa assume, nosso cérebro reconhece o comportamento dela (Utsumi, 2003) 30/10/ © Bruno Alexandre Dias da Costa

9 Introdução Sistemas de Vigilância Automática Detecção de Mov. Rastreamento Sequência lógica dos módulos Nível de abstração Classificação (Regiões de mov.) (Objeto, trajetória) (Ação/evento/comportamento) 30/10/ © Bruno Alexandre Dias da Costa

10 Introdução Objetivos Viabilizar as soluções para os problemas citados através da visão computacional Metodologia Revisar técnicas tradicionalmente utilizadas Destacar as principais dificuldades e tendências Desenvolver um protótipo de sistema que seja capaz de detectar remoção ou abandono de objetos em ambientes monitorados 30/10/ © Bruno Alexandre Dias da Costa

11 Introdução Relevância Sistemas automáticos devem requerer a atenção humana somente quando necessário Monitoramento manual e contínuo de fluxo de vídeo além de estar sujeito à falhas, consome tempo valioso Detectar objetos abandonados é importante, pois podem representar riscos Proteger objetos contra remoção sem a devida permissão 30/10/ © Bruno Alexandre Dias da Costa

12 Detecção de Movimento

13 Características Objetos alvo Modelo de segmentação Processamento Pós-segmentação Classificação de objetos Entrada: sequência de imagens capturadas Saída: Imagens binarizadas, objetos alvo Desafio Adaptar-se às mudanças de background 30/10/ © Bruno Alexandre Dias da Costa

14 Detecção de Movimento Exemplo 30/10/ © Bruno Alexandre Dias da Costa

15 Detecção de Movimento Modelos de Segmentação Subtração de Imagem (Siebel, 2003) Estatísticos (Haritaoglu, 2000) Diferença Temporal (Lipton, 2000) Fluxo Óptico (Wang, 2003) 30/10/ © Bruno Alexandre Dias da Costa

16 Detecção de Movimento Processamento Pós-Segmentação Remoção de Sombras (Jacques, 2005) Regiões sombreadas são semelhantes ao background, com uma diferença de iluminação Remoção de Ruído (Gonzalez, 2002) Remoção de regiões muito pequenas Filtros de suavização Erosão/Dilitação Detecção de Regiões Conectadas (OpenCV) 30/10/ © Bruno Alexandre Dias da Costa

17 Detecção de Movimento Processamento Pós-Segmentação - Exemplos 30/10/ © Bruno Alexandre Dias da Costa

18 Detecção de Movimento Processamento Pós-Segmentação - Exemplos 30/10/ © Bruno Alexandre Dias da Costa

19 Detecção de Movimento Processamento Pós-Segmentação - Exemplos 30/10/ © Bruno Alexandre Dias da Costa

20 Rastreamento

21 Características Algoritmo de rastreamento Entrada: objetos segmentados Saída: objetos rotulados Objetivo Estabelecer relações temporais entre objetos alvo de quadros de vídeo consecutivos Desafios Tratamento de oclusão (junção e divisão de objetos) Rastreamento multi-câmera 30/10/ © Bruno Alexandre Dias da Costa

22 Rastreamento Modelos de Algoritmos – Correspondência de características Iterar entre os objetos de quadros consecutivos comparando os vetores de características calculados Exemplos Altura Largura Área Perímetro Retângulo mínimo Compactação Regularidade 30/10/ © Bruno Alexandre Dias da Costa

23 Modelos de Algoritmos – Filtro de Kalman (Welch, 1995) Conjunto de equações matemáticas Composto de duas etapas: predição e correção Rastreamento PrediçãoCorreção 30/10/ © Bruno Alexandre Dias da Costa

24 Detecção de Ações

25 Características Classificação de dados com características que variam no tempo Entrada: objetos rastreados Saída: depende da aplicação (alarmes ao operador) Classificador Tradicional Simples heurísticas 30/10/ © Bruno Alexandre Dias da Costa

26 Detecção de Ações Classificadores Tradicionais Hidden Markov Model (Ohya, 1992) Template Matching (Polana, 1994) Redes Bayesianas (Ribeiro, 2005) Redes Neurais (Lin, 1999) Heurísticas Conjuntos de restrições simples (Rincón, 2006) 30/10/ © Bruno Alexandre Dias da Costa

27 Arquitetura e Modelagem

28 Arquitetura Proposta 30/10/ © Bruno Alexandre Dias da Costa

29 Arquitetura Proposta Sistema de Vigilância Automática Módulos Implementados Detecção de Movimento Rastreamento Deteção de Abandono e Remoção de Objetos Ferramentas de Implementação Linguagem C Ambiente Eclipse + Plugin CDT Bibliotecas: OpenCV, FFMPEG 30/10/ © Bruno Alexandre Dias da Costa

30 Modelagem do Sistema Sistema de Vigilância Automática 30/10/ © Bruno Alexandre Dias da Costa

31 Modelagem do Sistema Detecção de Movimento – visão geral Modelos Implementados Bimodal (W4) M. de Gaussianas (GMM) 30/10/ © Bruno Alexandre Dias da Costa

32 Modelagem do Sistema Rastreamento Algoritmos Implementados AlgoritmoEstratégiaDetecção de Oclusão/Junção Tratamento de Oclusão/Junção Detecção de Divisão Algoritmo 1Similaridade de vetor de características. SimNão. Atribui ao objeto resultante o rótulo do maior objeto em oclusão. Sim. Algoritmo 2Similaridade de vetor de características e Filtro de Kalman. SimSim. Utiliza a predição da posição do objeto. Sim. 30/10/ © Bruno Alexandre Dias da Costa

33 Modelagem do Sistema Rastreamento – visão geral 30/10/ © Bruno Alexandre Dias da Costa

34 Modelagem do Sistema Rastreamento – Algoritmo 1 (Amer, 2005) Mantém duas listas de objetos (Grafo bipartido) Itera entre objetos das duas listas Compara vetores da características Associa objetos similares Verifica ocorrência de oclusão/junção Objeto resultante recebe rótulo do maior objeto de oclusão Verifica ocorrência de divisão de objetos Maior objeto resultante recebe rótulo de objeto dividido Atualiza propriedades dos objetos 30/10/ © Bruno Alexandre Dias da Costa

35 Modelagem do Sistema Rastreamento – Algoritmo 2 (Algoritmo 1 + Filtro de Kalman) Aplica equações de predição Itera entre objetos das duas listas Compara vetores da características Associa objetos similares (incluindo predição) Verifica ocorrência de oclusão/junção Objetos em oclusão são mantidos no rastreamento Verifica ocorrência de divisão de objetos Atualiza Propriedades dos Objetos Objetos em oclusão são atualizados com predição 30/10/ © Bruno Alexandre Dias da Costa

36 Modelagem do Sistema Detecção de Eventos – Algoritmo original proposto 30/10/ © Bruno Alexandre Dias da Costa

37 Modelagem do Sistema Detecção de Eventos – Algoritmo original proposto Mantêm uma lista de eventos correntes Conjunto de restrições simples Um objeto sofre divisão (indicado pelo rastreamento) Objeto maior pratica ação Objeto menor sofre ação Objeto que sofre ação permanece imóvel Objetos permanecem a uma distância maior que limiar Um evento é criado O evento persiste por certo tempo Uma alarme é gerado 30/10/ © Bruno Alexandre Dias da Costa

38 Bases de Dados e Experimentos

39 Bases de Dados Bases de Dados para Experimentos Detecção de Movimento PETS 2004 (indoor) PETS 2001 (outdoor) Rastreamento PETS 2006 Detecção de Eventos PETS 2006 Vídeo Produzido no DSC 30/10/ © Bruno Alexandre Dias da Costa

40 Bases de Dados PETS 2001PETS 2006 PETS 2004 Vídeo DSC 30/10/ © Bruno Alexandre Dias da Costa

41 Experimentos Detecção de Movimento - Métricas 30/10/ © Bruno Alexandre Dias da Costa MétricasDescrição (Segmentação Con. Verdade) Detecção Correta (CD)Um para um Ruído (N)Um para nenhum Falha de Detecção (ND)Nenhum para um Região Dividida (SR)Muitos par um Região Conjunta (JR)Um para muitos Região Conjunta e Dividida (JSR) Muitos para muitos Detecção TotalCD+ SR+JR+JSR GT DT I GT DT Interseção mínima de 50%

42 Experimentos Detecção de Movimento MétricasW4 (%) GMM (%) Detecção Correta90,5194,72 Falha de Detecção3,501,84 Região Dividida1,090,72 Região Conjunta1,431,36 Região Conjunta e Dividida 3.471,36 Detecção Total96,5098,16 Ruído39,2211,13 MétricasW4 (%) GMM (%) Detecção Correta63,1060,00 Falha de Detecção6,6510,91 Região Dividida0,80,01 Região Conjunta25,5928,36 Região Conjunta e Dividida 3,860,11 Detecção Total93,3589,09 Ruído61,7438,78 PETS Indoor PETS outdoor 30/10/ © Bruno Alexandre Dias da Costa CD de trabalhos relacionados variam entre 80 e 90%

43 Experimentos Detecção de Movimento – W4 Original Segmentação vs Conj.Verdade 30/10/ © Bruno Alexandre Dias da Costa

44 Experimentos Detecção de Movimento – GMM OriginalSegmentação vs Conj.Verdade 30/10/ © Bruno Alexandre Dias da Costa

45 Experimentos Rastreamento – Algoritmo 1 PETS Câmera 3, Dataset 1 ObjetoQuadrosNúm. de RótulosQ. RastreadosDivisõesJunções Objeto Objeto Objeto Objeto Objeto Objeto Total /10/ © Bruno Alexandre Dias da Costa

46 Experimentos Rastreamento – Algoritmo 1 Objeto 1 30/10/ © Bruno Alexandre Dias da Costa

47 Experimentos Rastreamento – Algoritmo 1 Objeto 5 30/10/ © Bruno Alexandre Dias da Costa

48 Experimentos Rastreamento – Algoritmo 2 PETS Câmera 3, Dataset 1 (Objetos com alto grau de oclusão) ObjetoQuadrosNúm. de RótulosOclusões/ Junções Oclusões Detectadas Rótulos Recuperados Objeto Objeto Objeto Objeto Objeto Total /10/ © Bruno Alexandre Dias da Costa

49 Experimentos Rastreamento – Algoritmo 2 Objeto 10 30/10/ © Bruno Alexandre Dias da Costa

50 Experimentos Eventos – Abandono e Remoção de Objetos Utilizando saídas do Algoritmo 1 de rastreamento VídeoBase de Vídeo Grau de complexidade QuadrosAbandonos Detectados Remoções Detectados Falsos positivos Vídeo 1PETS 2006Baixa Vídeo 2PETS 2006Moderada Vídeo 3PETS 2006Moderada Vídeo 4Vídeo DSCBaixa /10/ © Bruno Alexandre Dias da Costa

51 Experimentos Eventos - Abandono e Remoção de Objetos 30/10/ © Bruno Alexandre Dias da Costa

52 Conclusões e Trabalhos Futuros

53 Conclusões Detecção de Movimento A principal questão a ser observada no uso de modelos de segmentação adaptativos diz respeito ao momento em que as adaptações são feitas Detecção de Sombras apresentou melhores resultados com modelo W4 Modelo W4 apresentou maior consumo de recursos computacionais Implementação do GMM não apresentou se apresentou muito superior ao W4 como se esperava Alternativas: Considerar frame rate do vídeo, combinação de técnicas de diferentes modelos, uso erosão dilatação 30/10/ © Bruno Alexandre Dias da Costa

54 Conclusões Rastreamento São dois os principais fatores que dificultam o rastreamento: falhas de segmentação e a oclusão/junção entre dois ou mais objetos Algoritmo 1 comportou-se melhor em relação à falhas de segmentação Algoritmo 2 não obteve êxito (predição apenas da posição); Tratamento de oclusão passa, necessariamente por uso de múltiplas câmeras 30/10/ © Bruno Alexandre Dias da Costa

55 Conclusões Eventos Viabilidade de uso de heurísticas simples em vídeos não complexos Eventos e ações complexas exigem mecanismos tradicionais de aprendizagem de máquina Módulo mais prejudicado pela deficiência dos demais 30/10/ © Bruno Alexandre Dias da Costa

56 Contribuições Neste Trabalho Fundamentação teórica das técnicas tradicionalmente utilizadas Proposta de arquitetura para sistemas de monitoramento automático Comparativo entre dois modelos de segmentação de movimento Combinação entre algoritmos de rastreamento e mecanismos para detecção de oclusão e divisão de objetos Algoritmo baseado em regras simples para detecção automática de abandono e remoção de objetos em utilizando informações de rastreamento 30/10/ © Bruno Alexandre Dias da Costa

57 Trabalhos Futuros Experimentar Combinações de modelos de segmentação Avaliar a representatividade dos itens de um vetor de características para rastreamento Implementar algoritmos de rastreamento multi-câmera Incorporar classificadores de diversos tipos de objetos Elaborar técnicas para otimização de parâmetros de cada módulo Desenvolvimento de um framework que permitisse avaliar técnicas tradicionais, bem como adição e testes de novos modelos 30/10/ © Bruno Alexandre Dias da Costa

58 Referências (Utsumi, 2003) Utsumi, H. Mori, J. Ohya, and M. Yachida. Multiple-view-based tracking of multiple humans. In ICPR 98: Proceedings of the 14th International Conference on Pattern Recognition-Volume 1, page 597, Washington, DC, USA, (Jacques, 2005) J. C. S. Jacques, C. R. Jung, and S. R. Musse. Background subtraction and shadow detection in grayscale video sequences. In Proceedings of Brazilian Simposium on Computer Graphics and Image Processing (SIBGRAPI), pages 189–196. IEEE Computer Society, (Siebel, 2003) N. T. Siebel. Design and Implementation of People Tracking Algorithms for Visual Surveillance Applications. PhD thesis, Department of Computer Science, The University of Reading, Reading, UK, March (Haritaoglu, 2000) Haritaoglu, D. Harwood, and L. S. Davis. W4: real-time surveillance of people and their activities. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 22(8):809–830, (Lipton, 2000) R. Collins, A. Lipton, T. Kanade, H. Fujiyoshi, D. Duggins, Y. Tsin, D. Tolliver, N. Enomoto, and O. Hasegawa. A system for video surveillance and monitoring: VSAM final report. Technical Report CMU-RI-TR-00-12, Robotics Institute, Carnegie Mellon University,2000. (Wang, 2003) L. Wang, W. Hu, and T. Tan. Recent developments in human motion analysis. Pattern Recognition, 36(3):585–601, (Gonzalez, 2002)C. R. Gonzalez and R. E. Woods. Digital Image Processing (2nd Edition). Prentice Hall, 2nd edition, January (Welch, 1995) G. Welch and G. Bishop. An introduction to the kalman filter. Technical report, University of North Carolina, Chapel Hill, NC, USA, /10/ © Bruno Alexandre Dias da Costa

59 Referências (Ohya,1992) J. Yamato, J. Ohya, and K. Ishii. Recognizing human action in time-sequential images using hidden markov model. In Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages 379–385, (Polana,1994) R. Polana and R. Nelson. Low level recognition of human motion (or how to get your manwithout finding his body parts). In Proceedings of the 1994 IEEEWorkshop on Motion of Non-Rigid and Articulated Objects, pages 77–82, (Ribeiro, 2005) P. C. Ribeiro and J. Santos-Victor. Human activity recognition from video: modeling, feature selection and classification architecture. In Proceedings of HAREM 2005 – International Workshop on Human Activity Recognition and Modelling, (Lin, 1999) C. Lin, H. Nein, and W. Lin. A space-time delay neural network for motion recognition and its application to lipreading. International Journal of Neural Systems, 9(4):311–334, (Rincón, 2006) J. Rincón, J. E. Herrero-Jaraba, J. R. Gómez, and C. Orrite-Uruñuela. Automatic left luggage detection and tracking using multi-camera ukf. In Proceedings 9th IEEE International Workshop on Performance Evaluation in Tracking and Surveillance (PETS 06), pages 59–66, New York, NY, USA, June /10/ © Bruno Alexandre Dias da Costa


Carregar ppt "Segmentação, Rastreamento de Objetos e Detecção de Eventos Primitivos com Aplicação no Monitoramento Automático de Ações Humanas em Vídeo Dissertação de."

Apresentações semelhantes


Anúncios Google