Aquisição de Dados Multimédia Joaquim Macedo Departamento de Informática da Universidade do Minho & Faculdade de Engenharia da Universidade Católica de Angola Nas aulas anteriores foram apresentados os fundamentos do áudio e da imagem. Para análise de dados multimédia, precisamos de armazenar esses dados e processá-los. As fontes áudio (ex. Microfones) ou as fontes de imagens (câmaras) produzem normalmente sinais analógicos contínuos no tempo. Para armazenar essa informação em computador, é necessário amostrar e digitalizar esses dados. Isto vai conveter os dados contínuos em sequências de números. O objectivo desta aula é estudar os aspectos relacionados com a amostragem e quantificação de dados multimédia.

Sumário Amostragem de Sinais Áudio Amostragem de Imagens 2D Filtros Anti-Aliasing Digitalização de Sinais Áudio Conersão D/A Critério de Fidelidade de Áudio MIDI versus Áudio Digital Digitalização de Imagens Medidas de Fidelidade Visual

Forma de onda dum sinal Amplitude versus Tempo Considere o sinal mostrado na figura. O sinal parece mudar rapidamente. Para armazenar o sinal é fisicamente impossível determinar o valor do sinal em cada instante de tempo e armazená-lo. Por este facto precisamos amostrar o sinal em intervalos regulares de tempo. A quantidade de informação perdida devido à amostragem aumenta com o intervalo da amostragem. Uma quesão crítica é saber se é possível amostrar de tal forma que a informação do sinal se mantém intacta ou que pelo menos as perdas são toleráveis.

Espectro do mesmo sinal Amplitude versus frequência A figura mostra o espectro de amplitude do sinal anterior. Pode-se observar que o espectro é insignificante acima dos 14K. Como as componentes em alta frequência são bastante pequenos pode-se dizer que o sinal não está a variar com uma taxa elevada. Neste caso é possível amostrar o sinal e recuperá-lo completamente usando a interpolação se a frequência de amostragem for suficientemente alta. A frequência de amostragem necessária é determinada usando o teorema de Nyquist.

Um sinal áudio e o seu espectro

Amostragem Amostragem é o processo de fazer medidas à amplitude do sinal em intervalos discretos do tempo/espaço t t fs =1 / t

Transformada de Fourier Seja g(t) um sinal áudio arbitrário Define-se G(w) como a transformada de Fourier de g(t) se

Transformada de Fourier

Transformada de Fourier

Transformada de Fourier

Amostragem Discreta no Tempo amplitude tempo

Amostragem uniforme Se o sinal g(t) for amostrado uniformemente a uma taxa de fs amostras por segundo

Sub-amostragem

Sub-amostragem Sinal original Amostragem Sinal reconstruído

Teorema da Amostragem Um sinal contínuo no tempo g(t) pode ser reconstruído de forma exacta das suas amostras gs(t) se se cumprirem 2 condições: g(t) deve ser de banda limitada com uma frequência máxima M A frequência de amostragem s de gs(t) deve ser maior que 2M, i.e. s>2M. A segunda condição é conhecida como Critério de Nyquist s referenciada como Frequência de Nyquist , i.e. a menor frequência de amostragem possível para recuperar o sinal original a partir das suas amostras

Amostragem de banda limitada f -B 0 B |G(f)| g(t) t Original F Filtro Passa Baixo |Gs(f)| Amostrado Gs(f) é a extensão periódica de G(f). Dois períodos consecutivos de Gs não se sobrepõem se fs > 2B. Assim Gs pode ser obtido directamente de Gs por um filtro passa baixo F gs(t) t -2fs -fs 0 fs 2 fs f (-fs-B) -(fs +B) -B B (fs -B) (fs +B)

Amostragem com frequência de Nyquist

Amostragem de um sinal 1-D

Reconstrução Directa Fórmula de Interpolação do domínio do tempo Os valores do sinal para instâncias do sinal não amostradas podem ser calculadas exactamente com um somatório de todos os valores amostrados As abordagens usadas para reconstrução do sinal no domínio da frequência e do tempo são equivalentes A função sinc do lado direito da equação é a resposta de impulso dum filtro passa-baixo ideal

Exemplo 4.1 Considere o seguinte sinal áudio com um tom sinusoidal de 4.5KHz Amostre o sinal a taxa de i) 8000 ii) 10000 amostras/segundo Reconstrua o sinal passando-o através dum filtro passa baixo ideal com frequência de corte igual a metade da frequência de amostragem. Assuma que os ganhos dos filtros são de i)1/8000 e ii)1/10000. Determina o sinal reconstruído nos dois casos. Basta saber que a transformada de Fourier de g(t) é

Caso-1 A frequência de corte do filtro passa baixo é metdade da frequência da amostragem isto é 4000 Hz. Portanto a função de transferência do filtro é

Caso-1 (cont) Quando o sinal amostrado passa através do filtro passa-baixo a transformada de Fourier do sinal de saída vai ser: Portanto o sinal de saída

Caso-2 A frequência de corte do filtro passa baixo é metdade da frequência da amostragem isto é 5000 Hz. Portanto a função de transferência do filtro é

Caso-2 (cont) Quando o sinal amostrado passa através do filtro passa-baixo a transformada de Fourier do sinal de saída vai ser: Portanto o sinal de saída

Sinal original e reconstruído Exemplo 4.1 Observe que o sinal reconstruído não é igual ao sinal original no caso 1 ao contrário do caso 2. No caso 1 os sinais são iguais apenas nos valores amostrados.

Sobreposição do Espectro (Aliasing) Se a condição de Nyquist não for satisfeita, acontece a Sobreposição do Espectro (Aliasing) que impede a perfeita reconstrução do sinal. XC(W) W WN -WN 1 Ws Quando um sinal arbitrário de áudio é amostrada à taxa de fs amostras por segundo, a gama de frequências que pode ser reconstruída exactamente é a que vai de 0 a fs/2. As frequências acima de fs/2 serão sobrepostas e e aparecem como frequências abaixo de fs/2 que é chamada a frequência de foldover (de cobertura)? Se Ws<2WN, ocorre o aliasing. X(w) w 2p -2p Fs wN -wN

Cálculo das frequências de aliasing Frequência original (Hz) |f1-mFs| Frequência do sinal recosntruído Comentário 500 Sem aliasing 2500 2900 3001 |3001-1*6000| Aliasing 3500 |3500-1*6000| 10000 |10000-2*6000| 2000 20000 |20000-3*6000| 1000000 |10000-167*6000| Um tom sinusoidal com frequência f1, com f1> fs/2, vai aparecer com uma frequência mais baixa que pode ser calculada a partir da seguinte relação Fa=f1-mfs onde m é um inteiro tal que fa <=fs/2 Na tabela temos um conjunto de sinais e a respectiva frequência do sinal reconstruído...A frequência de amostragem é 6000 Na prática a frequência de amostragem dum sinal áudio depende da aplicação entre mãos. Uma vez que a largura de banga áudível é 20KHz uma frequência de amostragem à volta de 40KHz é geralmente suficiente. Em aplicações de CD usa-se 44.1 KHz. A amrgem de 4.1KHz torna a concepção de filtros anti-aliasing mais simples. Para sistemas telefónicos usa-se como frequência 8 KHz.

O que é uma imagem? Uma imagem pode ser definida como uma uma função de intensidade de luz i(x,y,t) onde a amplitude da função em qualquer coordenada espacial (x,y) disponibiliza a intensidade (brilho) da imagem num determinado instante t

Amostragem de imagem 2D Uma imagem digital pode ser obtida por amostragem dum imagem contínua. Pode ser usada a seguinte função de amostragem

Amostragem de imagem 2D = frequência de amostragem horizontal (amostras/grau) = frequência de amostragem vertical

Amostragem de imagens 2D A função de amostragem ideal para uma imagem é uma matriz de infinita com funções delta de Dirac situadas numa grelha A amostra da imagem é definida como A Transformada de Fourier da função comb A Transformada de Fourier da amostra da imagem é Na secção anterior considerou-se a amostragem dum sinal áudio. A teoria de amostragem de Nyquist pode ser extendida para discretizar imagens. Neste caso considera-se duas dimensões espaciais e uma transformada de Fourier 2D, com duas frequências espacias expressas em radianos/grau.

Amostragem em 2D Função de amostragem

Amostragem em 2D Amostra da imagem

Resolução espacial da amostragem

Aumento ou Diminuição da Resolução Espacial Imagem original “zoomed down” “zoomed up” para tamanho original A resolução espacial pode ser mudada pela eliminação ou replicação de pixels ou por interpolação As técnicas mais comuns de interpolação incluem a bilinear, bicúbica e do vizinho mais próximo ( nearest neighbor)

Taxa de Nyquist, Aliasing, and Frequências Foldover Taxas e frequências de Nyquist : O efeito de aliasing acontece quando Frequências Foldover : O critério de Nyquist pode ser extendido para as 2 dimensões....

Imagens de banda limitada

Teorema da amostragem Uma imagem de banda limitada amostrada por uma grelha rectangular pode ser recuperada desde que a taxa de amostragem seja superior à taxa de Nyquist rate. A imagem pode ser reconstruída pela fórmula de interpolação:

Exemplo 4.2 Considere a seguinte grelha para imagem com frequência horizontal e vertical de 4 e 6 ciclos/grau respectivamente Amostre a imagem a 10 amostras/grau tanto na horizontal como vertical. Reconstrua a grelha pasando-a por um filtro passa baixo 2D com as seguintes características Determina a grelha reconstruída

Espectro de Fourier da Imagem Contínua

Espectro de Fourier da Imagem Discreta Transformada de Fourier da imagem amostrada

Espectro da Imagem Amostrada Transformada de Fourier do sinal filtrado:

Imagem Aliased Imagem Original Imagem Reconstruída

Taxa de amostragem óptima Resolução da imagem Parâmetro importante para criar imagem digital Expressa em dpi ou dots/cm Frequência de amostragem Critério de Nyquist Limitações do SVH < 20 ciclos/grau, 40 ciclos/grau na amostragem

Exemplo 4.3 Vai-se fazer varrimento duma foto 4”x6”. Determinar a mínima resolução do varrimento. A resolução de varrimento vai depender da distância entre a imagem e os olhos do observador.Vamos assumir que essa distância é 6 vezes a sua largura (6”). A imagem digital vai fazer um ângulo de aproximadamente 2 tang-1((W/2)/6W) ou 9.5º na direcção horizontal e tang-1(((4/6)*W/2)/6W) ou 6.4 na direcção vertical, assumindo uma foto em landscape. Assumindo uma taxa de amostragem de 40 amostras/grau

Resolução de varrimento Ângulo horizontal = = Ângulo vertical = = Assumindo uma taxa de amostragem de 40 amostras/grau A imagem digital deve ter 380 e 256 pixels na direcção hor. and vert. Como o tamanho da imagem é 4”x6”, a resolução mínima é 64 dpi.

Filtro anti-aliasing Filtro PB realizável Filtro PB ideal Na prática um sinal não é verdadeiramente de banda limitada, embora os componentes de alta frequência são muito pequenos. Esses componentes introduzem componentes alias que podem ser considerados distorções no sinal amostrados. Para garantir que um sinal de imagem ou audio é suficientemente de banda limitada é passado através dum filtro antialiasing que é basicamente um filtro passa baixo para reduzir para reduzir significativamente os componentes de alta frequência e garantir que os componentes de alias tenham muito pouca energia.

Filtro Passa Baixo Ideal 1.0 Banda Filtrada Banda Passante Um filtro assim é impossível de concretizar na prática. O ganho na banda passante é proxima de 1 e na banda filtrada é próxima de 0. Para além disso há uma banda de transição em que o ganho varia de 1 a zero. 0.0 fs/2 fs f

Especificação do desenho de filtros Considere um sinal áudio com espectro 0-20 KHz. O sinal vai Ser amostrado a 8 KHZ. Conceba um filtro anti-aliasing adequado A frequência de amostragem é 8 KHz. O filtro ideal para anti-aliasing será um filtro passa baixo com frequência de corte a 4KHz. Contudo é fisicamente impossível desenhar um filtro ideal. Neste exemplo vai-se desenhar um filtro PB com as seguintes características: Banda passante é 0-3200 Hz. Ganho na banda passante, Gp > -2 dB Banda de transição é 3200-4000 Hz Banda de rejeição é is > 4000 Hz.O ganho na banda de rejeição , Gs < -20 dB

Desenho de Filtros com MATLAB Filtros passa-baixo contínuos no tempo típicos são Butterworth, e Chebyshev-1, e Chebyshev-2. Estão disponíveis técnicas normalizadas para concepção desses filtros. %MATLAB code for designing lowpass filter Wp=3200; Ws=4000; Gp=-2; Gs=-20 ; %Ideal Filter mag0 = [ones(1,4001) zeros(1, 4000)] ; %Butterworth Filter [n, Wc] = buttord(Wp,Ws,-Gp,-Gs,’s’) ; [num,den] = butter(n,Wc,’s’) ; Coeficientes do numerador e denominador da função de transferência do filtro

Funções de Transferência Butterworth Chebyshev-1

Características do Filtro

Exemplos Amostragem Imagens Anti-Aliasing Imagem Original Imagem sub-amostrada Filtragem Anti-aliasing

Digitalização do Sinal Áudio Amostragem e Digitalização Áudio Analógico, Contínuo Amplificador Filtro Anti-Aliasing + Amostra e Sustenta Gerador de Ruído Aleatório (Dither) Conversor A/D Áudio Digital, Discreto

Digitalização do Sinal Áudio Gravação e Armazenamento de N canais Áudio Analógico Canal 1 Amostragem e Digitalização ... Compressão e Correcção de Erros Multiplexer Amostragem e Digitalização Áudio Analógico Canal N Meio de Armazenamento

Gravação e armazenamento áudio Funções dos diferentes blocos do sistema Amplificador Amplifica o sinal antes da introdução de qualquer ruído (aleatório ou de quantificação) Gerador de Ruído Adiciona uma pequena quantidade de ruído aleatório, que aumenta a qualidade de percepção Filtro anti-aliasing Um filtro passa baixo para garantir que o sinal é de banda limitada. Elimina o aliasing Amostra e Aguenta Aguenta o valor do sinal áudio e amostra-o em cada instância da amostra Conversor A/D Calcula a representação digital equivalente do sinal analógico Multiplexador Multiplexa a cadeia de bits dos diferentes canais Compressão Reduz a redundância e compacta o tamanho do ficheiro áudio mantendo uma qualidade de áudio aceitável

Conversor Digital-Analógico A entrada do conversor DA é um sinal discreto no tempo cuja amplitude é um número real que pode requerer um número um número infinito de bits/dígitos para uma verdadeira representação Para o processamento digital por computadores, o sinal em cada instante de tempo tem que ser convertido para um número para um número com precisão finita (I.e., 8, 16 or 32 bits). Isto é feito por um quantificador que estabelece uma correspondência entre uma variável contínua e uma variável discreta.

Quantificador de N-níveis A saída do quantificador para uma dada entrada pode ser calculada com o seguinte procedimento. se onde São os níveis de decisão São os níveis de reconstrução Se os nívei de decisão são equidistantes, i.e., se é constante para todo o k, o quantificador é chamado quantificador uniforme; caso contrário é chamado um quantificador não uniforme.

Quantificador uniforme

Quantificador não uniforme

Exemplo 4.5 Considere um sistema de gravação áudio onde o microfone gera uma voltagem contínua no intervalo [-1,1] volts. Calcule os níveis de decisão e reconstrução para um quantificador de 8 níveis.

Exemplo (cont.) Os níveis de decisão e reconstrução podem ser calculados a partir das seguintes equações:

Níveis de decisão e reconstrução Quantificador do exemplo 4.5 K Níveis de Decisão Níveis de Reconstrução -1.0 -0.875 1 -0.75 -0.625 2 -0.50 -0.375 3 -0.25 -0.125 4 0.00 0.125 5 0.25 0.375 6 0.50 0.625 7 0.75 0.875 8 1.0

Sinais originais e quantificados

Erro de quantificação Amplitude Original Amplitude Quantificada O erro de quantificação (também conhecido como ruído de quantificação) é a diferença entre o valor actual do sinal analógico e o seu valor quantificado.. Amplitude Original Amplitude Quantificada

Taxa de bits do sinal áudio Para canal mono Frequência amostragem Para cana stéreo

Representação PCM da saída Como se representam as saídas do quantificador? As saídas quantificadas a N-níveis são representadas com B bits onde Por exemplo, a saída do quantificador de 8 níveis pode ser representado usando 3 bits. Níveis Representação PCM 000 1 001 ……. 6 110 7 111 8 bits  256 Níveis 16 bits  65536 Níveis 32 bits  4.3x109 Níveis

Taxa de bits Vs. Qualidade Máximo erro de quantificação = 0.5*Intervalo_Decisão A qualidade do sinal quantificado será superior se o ruúdo de quantificação for pequeno Intervalo de deecisão é pequeno  N é grande B é grande. Se B é grande  Aumenta a taxa de bits. Portanto, há que estabelecer um comprimisso entre a taxa de bits e a qualidade do sinal áudio digitalizado. Taxa de bits alta  Ruído de quantificação baixo == Melhor qualidade subjectiva

Critérios de Fidelidade Áudio A amostragem e a quantificação Degradam a qualidade do sinal São usadas diversas métricas para avaliar a quaildade do sinal quantificado Medidas de Distorção Relação Sinal-Ruído e Erro Quadrático Médio Crítérios objectivos Audibilidade da distorção do sinal Critérios subjectivos

Critério de Fidelidade Áudio Audibilidade da distorção do sinal Muito incómodo 1 Incómodo 2 Ligeiramente Incómodo 3 Perceptível mas não incómodo 4 Imperceptível 5

Critério de Fidelidade Áudio Os testes de qualidade subjectiva são geralmente superiores Mas são um processo complicado envolvendo uma série de pessoas As medidas são influenciadas pela escolha das pessoas e pelo estabelecimento do cenário experimental Por esse facto, são usadas geralmente medidas objectivas para avaliação

Medidas de Distorção Relação Sinal-Ruído e Erro Quadrático Médio

Relação Sinal-Ruído A relação sinal-ruído (SNR) é a medida de erro mais popular em engenharia electrotécnica. Disponibiliza informação útil na maior parte dos casos e é matematicamente tratável. Por esta razão é também bastante usada na codificação de áudio e imagens. Infelizmente os valores SNR não se correlacionam bem com medidas subjectivas, especialmente com altas taxas de compressão. Foi proposta uma série de novas medidas de distorção para melhor adaptação ao sistema de audição humano.

Medida de qualidade objectiva Pressuposto: Ruído de quantificação com gama de variação dinâmica de 1 istó é O erro e(nT) é suposto ser estatisticamente independente e uniformemente distribuído no intervalo [–Q/2 e Q/2] Erro médio quadrado do erro de quantificação onde

SNR versus Bits/amostra Cada bit adicional/amostra reduz o ruído de aproxiamadamente 6 dB, aumentando assim a SNR da mesma quantidade. Regra 8 bits audio  48 dB SNR 12 bits audio  72 dB SNR 16 bits audio  96 dB SNR CD audio  96 dB. Tipicamente, um sinal de áudio com uma relação sinal-ruído (SNR) de mais de 90 dB SNR é considerado de excelente qualidade.

Exemplo Considere o sinal áudio stéreo “chord” digitalizado com uma frequência de amostragem de 22.050 KHz, com uma precisão de 16 bits/amostra. Chord.wav Duração do sinal = 1.1 sec; # Total de amostras = 24231 Estime a SNRs do sinal de for quantificado com 5-12 bits/amostra.

Erro de quantificação Considere que o sinal original é um sinal áudio de 16-bit, podemos quantificá-lo para b bits usando : Erro de quantificação a 8 bits/amostra pdf do erro de quantificação (8 bits/amostra)

SNR versus Taxa de bits SNR versus bits/amostra

Áudio Digital Várias taxas de amostragem e resoluções Qualidade Taxa de amostragem (em KHz) Bits/ Amostra Mono/ Stereo Taxa de Dados (se não compactado) Banda Frequência (em Hz) Telefone 8 Mono 8 Kb/seg 200-3,4 K Rádio AM 11,025 11Kb/seg Rádio FM 22,050 16 88.2 Kb/seg CD 44.1 16,linear PCM 176.4 Kb/seg 20-20k DAT 48 192.0 Kb/seg 20-20K Áudio DVD 192 24 1152.0 Kb/seg

Digitalização de Imagens Pixels -- picture elements nas imagens digitais Resolução da Imagem – número de pixels numa imagem digital (Uma resolução mais alta conduz a mior qualidade da imagem.) Bit-Map – uma representação para os dados da imagem/gráfico da mesma forma que é armazenada na memória vídeo.

Imagem Monocromática Cada pixel é armazenado como um único bit (0 ou 1) Uma imagem monocromática de 640 x 480 pixels requer 37.5 KB de armazenamento. Dithering é usado muitas vezes para mostrar imagens monocromáticas

Imagens com níveis de cinzento Cada pixel é armazenado normalmente num byte (valor de 0 a 255) Uma imagem com níveis de cinzento com 640 x 480 precisa de mais de 300 KB para armazenamento.

Imagens a cores Cada pixel é representado com 3 bytes (e.g., RGB) Suporta 256 x 256 x 256 cores possíveis (16,777,216) para 24 bit res. Uma imagem a cores 640 x 480 24-bit precisa de 921.6 KB para armazenamento

Tipos de imagens Monocromática Cor 24 bits Níveis de cinzento 1 Bit/pixel 2 (0,1) níveis 640x480 imagem = 307 Kbit 1 Byte/pixel 256 níveis cinzento 640x480 imagem = 307 KB 3 Bytes/pixel 16 Milhões cores 640x480 imagem = 921 KB

Medidas de Distorção da Imagem Relação Sinal-Ruído e Erro Quadrático Médio

Imagens em níveis de cinzento com nº diferentes de bits/amostra 3 bit, 8 níveis 2 bit, 4 níveis 1 bit, 2 níveis 6 bit, 8 níveis 5 bit, 32 níveiss 4 bits, 16 níveis 8 bits, 256 níveis original