Sistema de tracking para inserção dinâmica de linha de impedimento em vídeos de jogos de futebol Rodrigo Busato Sartor Orientador: Paulo César Rodacki.

Apresentação em tema: "Sistema de tracking para inserção dinâmica de linha de impedimento em vídeos de jogos de futebol Rodrigo Busato Sartor Orientador: Paulo César Rodacki."— Transcrição da apresentação:

1 Sistema de tracking para inserção dinâmica de linha de impedimento em vídeos de jogos de futebol Rodrigo Busato Sartor Orientador: Paulo César Rodacki Gomes

2 Roteiro Introdução Objetivos Fundamentação teórica Desenvolvimento Resultados e discussões Conclusão Extensões

3 Roteiro Introdução Objetivos Fundamentação teórica Desenvolvimento Resultados e discussões Conclusão Extensões

4 Introdução Impedimento Detecção de objetos em movimento Tracking Realce das linhas do campo

5 Roteiro Introdução Objetivos Fundamentação teórica Desenvolvimento Resultados e discussões Conclusão Extensões

6 Objetivos Desenvolver os passos iniciais para inserção da linha de impedimento em vídeos de jogos de futebol Identificar as linhas que delimitam o campo, incluindo a pequena e grande área. Realizar o acompanhamento dos jogadores através de técnicas de tracking.

7 Roteiro Introdução Objetivos Fundamentação teórica Desenvolvimento Resultados e discussões Conclusão Extensões

8 Fundamentação teórica Posição de impedimento Detecção de objetos em movimentos –Tracking –Objetos em movimento –Optical flow Filtros de Imagem –Imagens de vídeo Realce de linhas –Passa-alta –Passa-baixa –Limiarização (threshold)

9 Fundamentação teórica Posição de impedimento A lei 11 do livro de regras do futebol rege que: “U m jogador estará em posição de impedimento quando se encontrar mais próximo da linha de meta adversária do que a bola e o penúltimo adversário ”

10 Fundamentação teórica Posição de impedimento

11 Fundamentação teórica Detecção de objetos em movimentos Tracking –É um registro especial de imagens onde procura-se um objeto dado em uma imagem dada –O espaço de busca é limitado, pois é considerado que objeto tenha uma trajetória continua.

12 Fundamentação teórica Detecção de objetos em movimentos Tracking (continuação...) –Muitos sistemas de tracking utilizam como passo inicial a detecção dos movimentos (optical flow) –Após a detecção do movimento podem ser utilizadas algumas técnicas como a segmentação adaptativa para realizar o optical flow apenas na área de interesse

13 Fundamentação teórica Detecção de objetos em movimentos Objetos em movimento –Uma das maneiras mais simples de realizar a detecção dos movimentos, é a comparação pixel por pixel, o que gera uma imagem binaria, onde na comparação entre os frames os pixels que tiverem uma diferença significativa, ficam em branco, e o restante em preto

14 Fundamentação teórica Detecção de objetos em movimentos Optical flow –Fornece meios de determinar e representar o movimento dentro de uma sequencia de imagens –Quando é detectado movimento em um pixel toda região em sua volta é examinada –O tamanho da área examinada é determinada pelo tamanho da aceleração máxima tanto para x quanto para y

15 Fundamentação teórica Detecção de objetos em movimentos Optical flow (continuação...) –A área é analisada de dentro para fora partindo do pixel central até encontrar um pixel correspondente –Após a detecção do movimento, pode ser previsto a posição esperada do pixel no próximo frame –A localização do pixel no próximo frame é dada pela soma da posição atual mais a diferença entre a posição atua e a posição anterior. Tanto para o eixo “x” quanto para o eixo “y”

16 Fundamentação teórica Filtros de imagem Imagens de vídeo –Um vídeo é uma sequência S de imagens I t, onde I t indica a imagem no tempo t do vídeo –Uma imagem I pode ser representada pela função I : D ⊂ℜ ² → ℜ n –Onde D é o domínio da imagem e n é um número escalar para representar a cor de um pixel qualquer – geralmente um byte ou seja de 0 a 255

17 Fundamentação teórica Filtros de imagem Representação da imagem de um vídeo

18 Fundamentação teórica Filtros de imagem Realce de linhas –É realizado para detectar pontos candidato a estarem sobre os segmentos de retas presentes na imagem

19 Fundamentação teórica Filtros de imagem Passa-alta –Funciona mantendo os trechos de alta frequência e eliminando as baixas, sendo utilizado para detectar as bordas da imagem –Pode ser utilizado o algoritmo laplaciano que é definido pelo operado matemático ∇. –Devido à interferência, o laplaciano mantem pontos que possuem frequência alta, mais não pertencem a imagem

20 Fundamentação teórica Filtros de imagem Passa-alta (continuação...)

21 Fundamentação teórica Filtros de imagem Passa-baixa –Funciona mantendo os trechos de baixa frequência e eliminando as altas, sendo utilizado para reduzir as interferências ocasionadas por exemplo pela transmissão da TV –Pode ser utilizado o algoritmo de gaussiano

22 Fundamentação teórica Filtros de imagem Passa-baixa (continuação...)

23 Fundamentação teórica Filtros de imagem A junção do algoritmo laplaciano e gaussiano é descrito como algoritmo laplaciano da gaussiana ou simplesmente LoG

24 Fundamentação teórica Filtros de imagem Laplassiano da gaussiana (continuação...)

25 Fundamentação teórica Filtros de imagem Limiarização (threshold) –O principio da limiarização consiste em separar de uma imagem em duas classes (o fundo e o objeto). Produzindo ao seu final uma imagem binaria –A forma mais simples de limiarização consiste na bipartição do histograma, convertendo os pixels cujo tom de cinza é maior ou igual a um certo valor limiar em branco e os demais em pretos

26 Fundamentação teórica Filtros de imagem Limiarização (threshold) (continuação...)

27 Fundamentação teórica Trabalhos correlatos Calibração de câmeras para cálculo de impedimentos (FURB, 2003) Ambiente virtual tridimensional para cálculo de impedimento (FURB, 2004) Acompanhamento de cenas com calibração automática de câmeras (PUC-RJ, 2001)

28 Roteiro Introdução Objetivos Fundamentação teórica Desenvolvimento Resultados e discussões Conclusão Extensões

29 Desenvolvimento Especificação –Requisitos –Caso de uso –Diagrama de classes –Diagrama de sequência Implementação –Ferramentas e técnicas –Principais funcionalidades

30 Desenvolvimento Principais requisitos Fncionais –Permitir inserir um vídeo de uma partida de futebol; –Disponibilizar o vídeo para visualização com o rastreamento de jogadores; –Disponibilizar o vídeo para visualização com o realce de linhas; Não funcionais –O protótipo será desenvolvido na linguagem de programação Java, no ambiente de desenvolvimento Eclipse; –O protótipo será desenvolvido utilizando framework Java Media Framework (JMF); –O protótipo executará o vídeo gerado sem atrasos ou falhas de reprodução.

31 Desenvolvimento Casos de uso

32 Desenvolvimento Diagrama de classes

33

34 Desenvolvimento Diagrama de sequencia

35 Desenvolvimento Ferramentas e técnicas Linguagem Java versão 6.0 API Java Media Framework (JMF) IDE Eclipse Helios

36 Desenvolvimento Principais funcionalidades Carregar vídeo

37 Desenvolvimento Principais funcionalidades Vídeo executando reconhecimento de movimentos

38 Desenvolvimento Principais funcionalidades Vídeo executando realce de linhas

39 Roteiro Introdução Objetivos Fundamentação teórica Desenvolvimento Resultados e discussões Conclusão Extensões

40 Resultados e discussões Rastreamento dos jogadores com visualização dinâmica É necessário refinar a solução O rastreamento considerou objetos do fundo da cena (tais como placas de propaganda) Foi feito pré-processamento gráfico para detecção de linhas mais faltou implementação de reconhecimento, classificação e cálculo de homografia

41 Roteiro Introdução Objetivos Fundamentação teórica Desenvolvimento Resultados e discussões Conclusão Extensões

42 Conclusão Não foi possível a atender todos os objetivos propostos por terem se tornado demasiadamente complexos, para o período de desenvolvimento O trabalho implementou tracking para jogos de futebol, mais ainda necessita refinamento Pode ser agregado a trabalhos correlatos para a continuação da linha de pesquisa

43 Roteiro Introdução Objetivos Fundamentação teórica Desenvolvimento Resultados e discussões Conclusão Extensões

44 Melhoria no rastreamento de jogadores Implementação de reconhecimento de linhas e cálculo de homografia (calibração de câmeras) Implementação de inserção da linha de impedimento Um sistema estático utilizando o rastreamento dos jogadores para verificar a distancia percorrida, área que mais atuou entre outros dados

45 Apresentação do protótipo