CIn - UFPE 1 Som em Jogos Márcio Dahia Geber Ramalho.

Apresentação em tema: "CIn - UFPE 1 Som em Jogos Márcio Dahia Geber Ramalho."— Transcrição da apresentação:

1

2 CIn - UFPE 1 Som em Jogos Márcio Dahia Geber Ramalho

3 CIn - UFPE 2 Porque usar som em jogos ? nAs músicas/sons proporcionam identidade Alguém lembra dessa música? E essa lembra alguma coisa? nE ajudam a determinar o “clima” da situação Será que os personagens da cena estão alegres? E isso? Causa medo? nSe são tão importantes nos filmes, é natural que o fossem nos jogos... A gente pode não perceber mas sua falta é logo detectada

4 CIn - UFPE 3 Fundamento de Som Digital para Jogos nConceitos básicos de som o som, sua interação com o ambiente e sua percepção nSom digital nSíntese de som e MIDI nSom e música em jogos

5 CIn - UFPE 4 Onda Sonora Nível zero Pico + Pico - (ou vale) nCaracterísticas Amplitude (intensidade) Freqüência e período (agudo/grave): 20 a 20KHz 1 ciclo1 ciclo1ciclo

6 CIn - UFPE 5 nSimples (senoidal): Não existe na natureza! x(t) = A sen (ft +  ) A = amplitude f = freqüência  = fase inicial nComplexa (composta de senoidais): Serie de Fourier f(t) = a k + a 0 senf 0 t 0 + a 1 senf 1 t 1 +... + a n senf n t n f0 é chamada de freqüência fundamental as outras são chamadas de parciais harmônico = parcial múltiplo de f0 Espectro

7 CIn - UFPE 6 Exemplo (fft 3D)

8 CIn - UFPE 7 Ambiência nAmbiência Sensação de interação com a acústica do ambiente Depende das reflexões (tempo de atraso e quantidade)

9 CIn - UFPE 8 Ambiência nEco repetição perceptíveis do som nReverberação reflexões muito densas percebidas como um contínuo decaimento no tempo, prolongando o som direto

10 CIn - UFPE 9 Estereofonia nEstereofonia funciona por diferença de intensidade e de tempo de chegada da onda nos dois ouvidos nLocalização pode ser recriada panorâmico: esquerda ou direita reverberação: longe ou perto reverberação estereofonia

11 CIn - UFPE 10 Som Digital

12 CIn - UFPE 11 Sinais de áudio nExistem várias “representações” para o som fenômeno Onda sonora (mecânica) Onda elétrica analógica Onda elétrica digital

13 CIn - UFPE 12 Caminho do Sinal de Áudio Digital memória Computador ou dispositivo eletrônico Conversão A/D Conversão D/A Pré-amplificador Amplificador

14 CIn - UFPE 13 (1) amostragem Conversão A/D: Amostragem & Codificação PCM-linear sinal analógico amostra período de amostragem (T) (2) Quantificação 001, 010, 0 11, 1 00, 1 00, 1 00, 110,... (3) Codificação

15 CIn - UFPE 14 Processamento nMudança de dinâmica amplificação/atenuação compressão/expansão nMudança de espectro filtragem equalização nAdição mixagem nIntrodução de ambiência e efeitos reverberação chorus, flanging, etc.

16 CIn - UFPE 15 Conversão D/A nConversão A/D: transforma tensões elétricas em cadeias de números D/A: transforma cadeias de números em níveis de tensões elétricas sinal analógico “suavizando a curva” sinal digital (PCM) 001, 010, 011, 100, 100, 100, 011,...

17 CIn - UFPE 16 Erro de quantificação nErro ou ruído de quantificação A quantificação sempre introduz erros pois arredonda (ou trunca) os valores contínuos do sinal analógico a diferença é chamada de erro ou ruído de quantificação

18 CIn - UFPE 17 Erro de quantificação: exemplo

19 CIn - UFPE 18 Resumindo ADC quantificação numeração 001, 001, 010, 010, 011,... Entrada de áudio (E)Entrada de áudio (D) Gerador de Dither Anti-aliasing filter Sample and Hold ADC multiplexador ADC Processador (correção de erro) Modulador de gravação

20 CIn - UFPE 19 TamanhoDescrição 4 bytes“RIFF” 4 bytesTamanho do chunk (32 bits) 4 bytes“WAVE” 4 bytes“fmt “ 4 bytesTamanho da descrição do arquivo 2 bytesFlag para mono (0x01) ou estéreo (0x02) 4 bytesTaxa de amostragem 4 bytesBytes/sample 2 bytesAlinhamento do bloco 2 bytesBits/sample 4 bytes“data” 4 bytesTamanho do segmento de dados (n bytes)Dados Arquivos RIFF (Wave) nRIFF: formato da Microsoft/IBM composto de chunks de 32 bits auto-descritivo Little-Endian Word (Esquerdo (MSB) | Direito (LSB))

21 CIn - UFPE Compressão de dados nProcesso de codificação de mensagens a fim de reduzir o número de “bits” necessários para representá-las n2 tipos de compressão Sem perdas –Não há eliminação de informação na mensagem. –Compressão implica codificação eficiente Com perdas –Informações redundantes, pouco importantes ou irrelevantes sob algum critério são descartadas –Não dispensa a codificação eficiente –Grau de compressão x Distorção na mensagem

22 CIn - UFPE Compressão de áudio *Taxa de Compressão(TC) = 1- (tamanho comprimido/tamanho original )

23 CIn - UFPE Codec (COder–DECoder)‏ Frames – Estrutura de dados correspondente à unidade mínima de tempo em arquivos de áudio – Mp3 => 1152 amostras PCM Bitrate (taxa de bits): Número de bits p/ codificar um frame Medida em kbps – CBR (constant bitrate) - A mesma quantidade de bits para representar qualquer frame (WAV)‏ – ABR (average bitrate) - Frames menos complexos deixam bits para os próximos (MP3)‏ – VBR (variable bitrate) - O número de bits para cada frame deve garantir a qualidade definida no início da codificação (AAC, VORBIS)‏ Conceitos importantes

24 CIn - UFPE 23 Outros Formatos nMPEG Audio Layer-3 (MP3) Codificação ( Huffman) + compressão psicoacústica destrutiva de dados musicais Compressão de até 12 vezes Baseada no conceito de mascaramento Decodificação em tempo real (não a codificação) Inclui meta-dados

25 CIn - UFPE Codificação de Huffman nMensagem: aaaaaabbbcdee 104 bits (ASCII)‏ nMensagem comprimida 00000010101011101111110110 26 bits. TC = 75%

26 CIn - UFPE 25 Síntese Sonora Mais de onde vem o som se não vier dos microfones?

27 CIn - UFPE 26 Síntese Sonora nDefinição Processo de compor ou combinar diversas partes ou elementos em um todo maior Criação de um espectro sônico dinâmico nMétodos mais utilizados Síntese Aditiva –Síntese direta por software Síntese Subtrativa –Sintetizadores (Moog) Síntese FM (Chowning) - a usada nas placas “fuleiras” –Yamaha DX7 Amostragem Digital –Samplers

28 Síntese Aditiva nPrincípio Adição de parciais, com envoltórios e fases iniciais determinadas, a uma dada fundamental Baseada no conceito de osciladores (geradores de ondas senoidais) Sintetizador Síntese de uma onda quadrada

29 CIn - UFPE 28 Síntese FM nprincípio x(t) = A sen (ct + (i sen mt)) onde c freqüência portadora e m a moduladora bastam 2 osciladores para gerar um espectro dinâmico

30 CIn - UFPE 29 Síntese por Amostragem (sampling, wavetable synthesis) nPrincípio Digitalizar de fragmentos sonoros (já complexos) e armazená-los em tabelas Variar duração e afinação com técnicas de varredura da tabela (respectivamente, laço e Munchising/Multi- amostragem) Diversos tabelas (instrumento, intervalo espectral,...)

31 CIn - UFPE 30 MIDI Musical Instrument Digital Interface

32 CIn - UFPE 31 MIDI nO que é? Esquema de interconexão física e método de comunicação lógica para controlar de instrumentos musicais em tempo real nNão transmite som e sim informações de controle! como tocar: tecla, intensidade (velocidade), duração, instrumento, etc. nSepara o controlador do gerador de som Possibilita interoperabilidade... mas a qualidade do som depende do gerador

33 Tipos de Mensagens MIDI Note on Note off Channel Pressure Key Pressure Control Change Program Change Pitch Bend Voz Local Control All Notes Off Omni Off Omni On Mono Poly Modo Canal Tempo RealComunsSys Ex Sistema Mensagens

34 CIn - UFPE 33 Standard MIDI Files (SMF) nExtensão à especificação MIDI Armazenar e trocar dados seqüenciados entre diferentes programas e equipamentos nFormato Os dados são indexados temporalmente e especificados em números binários (de 8 a 32 bits) 2 blocos: –Cabeçalho –Trilhas 2 tipos de arquivos: –tipo 0 (trilha única) –tipo 1 (múltiplas trilhas) nGeneral MIDI Uniformiza timbres

35 CIn - UFPE 34 Possibilidades para MIDI no Computador Amplificador Arquivo midi Conversão D/A Síntese do som (FM ou wavetable) Placa de Som Sintetisador (módulo ou teclado) MIDI Externo

36 CIn - UFPE 35 Som e Música em Jogos

37 CIn - UFPE 36 MIDI x Wave em Jogos nQuantidade de informação: wave maior MIDI: pouca WAVE: enorme Exemplo: ex. 4 semínimas a 60 pulsos por minuto = 4 segundos –Midi (note-on, note-off, keynote, velocity) x 4 notas = ~32 bytes –WAVE: 44100 (Fa) x 2 canais) x 4 seg x 16 bits = 700.000 bytes nQualidade do som WAVE: controle total MIDI: vai depender da placa do usuário (ou da wave table)

38 CIn - UFPE 37 MIDI x Wave em Jogos nManipulação WAVE: muito pouca e cara (volume, envoltória, reverberação) MIDI: Total e barata computacionalmente nLeque de sons WAVE: sem limitação (ex. voz) MIDI: mais limitado (general MIDI)

39 CIn - UFPE 38 MIDI x Wave em Jogos n2 usos básicos de som em jogos Trilhas sonoras (pano de fundo) Efeitos (tiros, explosão, ambientação,...) nTendência há algum tempo MIDI para trilhas e wave para efeitos nAtualmente Uso de MP3 para tudo MIDI para composição dinâmica nOutros Posicionamento do som DLS - downloadable sounds (sound fonts) Trilhas sonoras Interativas

40 CIn - UFPE 39 Posicionamento do som nTécnicas para tentar dar mais realismo a uma execução sonora nObjetivos Melhorar a experiência Provocar imersão do usuário Suprimir deficiências do equipamento utilizado nDiversas técnicas Stereo Expansion Surround Sound Virtual Surround Sound 3D Audio

41 CIn - UFPE 40 Trilhas Sonoras Interativas nUm jogo não é igual a um filme Interatividade Imprevisibilidade das jogadas Fator tempo nTécnicas de composição devem ser modificadas Mais dinâmica Mais ambiência Menos repetitiva Mais relacionamento entre as partes nModa no mercado de games Army men, Serious Sam, WarCraft, Wolfenstein, Medal of Honor, etc.

42 CIn - UFPE 41 Referências Curtis Roads, The Computar Muisic Tutorial, The MIT Press, 1997 Ken C. Pohlman, Principles of Digital Audio, McGraw Hill, 1995, 3rd Edition Formato de arquivos http://home.sprynet.com/~cbagwell/AudioFormats.html MIDI/XMF www.midi.org MP3 http://www.iis.fhg.de/amm/techinf/layer3/index.html Interactive soundtracks http://www.gamasutra.com Audio 3D www.iasig.org