Carregar apresentação
A apresentação está carregando. Por favor, espere
PublicouEmanuelly Custodio Alterado mais de 10 anos atrás
1
Semana Acadêmica de Ciência da Computação - PUCPR
Bruno C. de Paula Kinect Semana Acadêmica de Ciência da Computação - PUCPR
2
Quem sou eu? Bruno Campagnolo de Paula brunodepaula@gmail.com
3
Por que estou aqui? Centro de Engenharia de Sistemas Inteligentes
25/03/2017 Centro de Engenharia de Sistemas Inteligentes
4
Interesse em aplicações para a GGJ12
Interesse em aplicações para a GGJ12! Global Game Jam 2010 e 2011 (Curitiba) 25/03/2017 Saiba mais em:
5
Resumo Vamos aprender o que é o Kinect; Arquitetura básica;
Falar sobre o princípios de funcionamento; Demonstrar ferramentas de desenvolvimento e o SDK oficial. Comentar sobre aplicações e projetos.
6
Público-alvo da palestra
25/03/2017 Pessoal da computação em geral; Interessados em robótica; Desenvolvedores de jogos; Pesquisadores e desenvolvedores interessados no futuro dos sistemas de informação; Educadores (gesture based learning).
7
$$$ O que é o Kinect? Dispositivo de interação natural; Microsoft;
25/03/2017 25/03/2017 Dispositivo de interação natural; Microsoft; XBOX 360 (jogos); Lançamento: 4/11/2010; 8 milhões vendidos em 60 dias (recorde); 10 milhões até março de 2011; + Dados ( 2,5 milhões em 30 dias; 2/3 dos donos de XBOX americanos compraram um Kinect; Ganhou o MacRober Award. $$$
8
Motivação para criação do Kinect
25/03/2017 Sucesso do Wii;
9
Wii / Kinect não são tão pioneiros! Dispositivos de interface natural
25/03/2017 Trabalhos de Myron Krueger (Video Place), Activator, EyeToy, Track IR, projetos finais; Problemas sempre foram: performance e reconhecimento facial.
10
Kinect não é o único dispositivo moderno de interface natural atual
25/03/2017 Wavi Xtion da Asus
11
Kinect não vai ser o único dispositivo futuro de interface natural
25/03/2017 25/03/2017 Windows 8/9; iOs 6;
12
Projeto Natal - Origem Forte P&D;
25/03/2017 25/03/2017 Forte P&D; Alex Kipmann - Diretor de incubação da Microsoft; PrimeSense; 3DV Systems. "Ao acordar um dia, percebi que não havia qualquer dispositivo eletrônico ao meu redor e gostei daquela sensação. Então, pensei que seria bom jogar games daquela maneira, sem fios ou controles: decidi dar fim aos botões”
13
History is about to be rewritten.
This time human beings will be at the centre -- and the machines will be the ones that adapt. (apresentação do Kinect 2010)
14
Se você sabe mover-se você sabe usar o Kinect
25/03/2017 25/03/2017 Se você sabe mover-se você sabe usar o Kinect
15
25/03/2017 Qualquer tecnologia suficientemente avançada é indistinguível de magia. Arthur C. Clarke
16
Arquitetura do Kinect 25/03/2017
Fonte:
17
Arquitetura do Kinect Projetor de Luz Infravermelha (invisível)
25/03/2017 Projetor de Luz Infravermelha (invisível) Câmera RGB (“comum”) Câmera infravermelha Motor Conjunto de microfones
18
Arquitetura do Kinect 25/03/2017
19
Arquitetura do Kinect Image Stream
25/03/2017 25/03/2017 Cada pixel representa uma cor; 640x480 (30 fps) OU 1280x1024 (máximo 15 fps); Imagem original: -
20
Arquitetura do Kinect Depth Stream
25/03/2017 Cada pixel representa a distância em relação ao objeto; 11 bits de precisão (2048 níveis de sensibilidade); 1.2 a 3.5 metros; 640x480 (30 fps – sem informação do jogador) e 320x240 (30 fps – com informação do jogador);
21
Arquitetura do Kinect Audio Stream
25/03/2017 4 microfones; Anula ruído e eco. Permite gravação de audio; Excelente reconhecimento de fala (em inglês);
22
Arquitetura do Kinect Motor
25/03/2017 27 graus para cima ou para baixo; Não chamar com muita freqüencia; SDK limita em 15 vezes a cada 20 segundos.
23
Sensor de profundidade 3d do Kinect
25/03/2017 25/03/2017 Projetor de Luz Infravermelha Sensor de Profundidade 3D Câmera infravermelha Ilustração do design de referência da PrimeSense, parceira da Microsoft no desenvolvimento do Kinect Retirado de: Fonte da 2ª imagem:
24
Princípio de funcionamento do sensor de profundidade 3D
25/03/2017 25/03/2017 Medição de um “padrão” invisível projetado no corpo; Figura original em: Veja também o video em: Observação: não é uma câmera estereoscópica!
25
Informações de esqueleto dos jogadores
25/03/2017 Detecta até 6 jogadores; Obtém informação de esqueleto de 2 jogadores; Dá para obter a qualidade da captura; Este é o grande destaque do Kinect na área de Machine Learning.
26
O que dá para fazer com tudo isto?
25/03/2017 Vídeo sobre Os 5 primeiros meses do Kinect; Antes do lançamento do SDK Oficial!!
27
Desenvolvendo para o Kinect
25/03/2017 Drivers abertos (Open Kinect): Windows XP, Vista, 7; MacOS X; Linux; Open Source; OpenNI (PrimeSense): Windows, Linux, Mac OS X; Kinect SDK: Oficial da Microsoft; Apenas para Windows 7;
28
Desenvolvendo para o Kinect Drivers abertos
25/03/2017 25/03/2017 Após o lançamento foi “hackeado” em poucos dias; Ele é um dispositivo USB não criptografado! Microsoft já estava prevendo usos fora do XBOX; Open Kinect Contest US$ 3.000,00; Ver mais sobre como hackear um dispositivo USB:
29
Desenvolvendo para o Kinect OpenNI
25/03/2017 Wrappers para linguagens diversas: C, C++, Processing, Java, Scratch; Fácil de integrar com o FAAST; O FAAST permite a criação de programas para o Kinect sem saber programar para o Kinect.
30
Desenvolvendo para o Kinect SDK oficial
25/03/2017 13/junho/2011 Windows 7; 2GB RAM; DirectX 9.0c; Dual Core 2.66 GHz; Versão Beta; Licença não-comercial (cuidado!!);
31
DEMOS do QuickStart do Kinect http://channel9. msdn
25/03/2017 1)Instalação do Sensor / Download do SDK; 2) Configurando o ambiente; 3) Criando um projeto Kinect no Visual Studio; 4) Exibindo a imagem da câmera; 5) Alterando o ângulo de elevação da câmera; 6) Trabalhando com a informação de profundidade; 7) Obtendo informações do esqueleto
32
1)Instalação do Sensor 25/03/2017 O Kinect que vem no Bundle do XBOX não tem o cabo de energia (pode ser comprado a parte); Não coloque 2 Kinects ou 2 câmeras no mesmo hub USB; Verifique a versão do Windows (64 / 32 bits).
33
2) Configurando o ambiente
25/03/2017 Instalar Visual Studio (pode ser o Express); Instalar DirectX SDK – Junho 2010; Instalar Runtime do DirectX; Se quiser usar o reconhecimento de voz: Speech Runtime 10.2; Kinect Speech Platform; Speech SDK;
34
3) Criando um projeto Kinect no Visual Studio
25/03/2017
35
3) Criando um projeto Kinect no Visual Studio
25/03/2017
36
3) Criando um projeto Kinect no Visual Studio
25/03/2017 *
37
4) Exibindo a imagem da câmera
25/03/2017 Ver eventos VideoFrameReady e DepthFrameReady;
39
5) Alterando o ângulo de elevação da câmera
25/03/2017 nui.NuiCamera.ElevationAngle = (int)slider1.Value; Máximo de 15 mudanças em 20 segundos; -27 a +27 graus;
40
6) Trabalhando com informação de profundidade
25/03/2017 Cálculo da distância em milímetros: Depth Image Type; Bitshift o segundo byte por 8; Distância = (int) Bits[0] | Bits[1] << 8; DepthAndPlayerIndex Type: Bitshift do primeiro por 3 e do segundo por 5; Distância = (int) Bits[0] | Bits[1] << 5; O Player Index indica o jogador que está contido naquele ponto; Máximo de 6 jogadores;
41
7) Obtendo informações do esqueleto
25/03/2017 Evento SkeletonFrameReady.
42
7) Obtendo informações do esqueleto
25/03/2017 Cada joint retorna: X – Posição horizontal entre -1 e 1 Y – Posição vertical entre -1 e 1 Z – Distância até o Kinect em metros Cada joint tem um estado associado: Tracked; Not Tracked: raro; Inferred: oclusão, cortado, baixa confiança.
43
Demos diversos Skeletal Viewer; ShapeGame; Kinect Mouse Cursor;
25/03/2017 Skeletal Viewer; ShapeGame; Kinect Mouse Cursor; Kinect NUI; Demos no Processing e do FAAST (se der tempo!);
44
Aplicações e possibilidades do Kinect
25/03/2017 Controle de dispositivos através das mãos (Minority Report);
45
Aplicações e possibilidades do Kinect
25/03/2017 Controle robótico: Kits que eram $ agora são $500; Exemplo com quadricóptero;
46
Aplicações e possibilidades do Kinect
25/03/2017 Mocap baratíssimo!
47
Aplicações e possibilidades do Kinect
25/03/2017 Video conferência 3D;
48
Aplicações e possibilidades do Kinect
25/03/2017 Scanner 3D (melhor ainda se integrado com uma impressora 3D);
49
Aplicações e possibilidades do Kinect
25/03/2017 Kinect + Realidade Aumentada
50
Aplicações e possibilidades do Kinect
25/03/2017 Kinect Shopping
51
Aplicações e possibilidades do Kinect
25/03/2017 Trocar canal da TV; Adaptação de jogos normais para Kinect; Ensino de idiomas; Ensino em geral; Sistema de navegação para carros; Música; Aplicações médicas; Controle de Apresentação (PowerPoint); COLOQUE A SUA IDEIA AQUI!!!! TENHO INTERESSE EM PROJETOS FINAIS / EVENTOS USANDO KINECT.
52
Mas, não precisa usar o Kinect para tudo...
25/03/2017 Cliente Twitter usando o Kinect;
53
Links Recomendados Kinect Hacks: http://kinecthacks.net/
25/03/2017 Kinect Hacks: Portal que centraliza aplicativos e testes com o Kinect. Kinect Education: Usos do Kinect na educação;
54
Links Recomendados Kinect SDK:
25/03/2017 Kinect SDK: Portal oficial da Microsoft sobre desenvolvimento para o Kinect; Coding4Fun Kinect Toolkit: Bibliotecas extras úteis para uso com o SDK.
55
Links Recomendados OpenKinect: http://openkinect.org/wiki/Main_Page
25/03/2017 OpenKinect: Download dos drivers open source - libfreenect; OpenNI: Download dos drivers da PrimeSense.
56
Material Extra e Referências
25/03/2017
57
Obrigado!! brunodepaula@gmail.com http://www.brunocampagnolo.com
Apresentações semelhantes
© 2024 SlidePlayer.com.br Inc.
All rights reserved.