Digitalização de Vídeo e Áudio Guido Stolfi Mackenzie 2 / 2007

Sinais Contínuos s(t) existe para todo t dentro de um intervalo s(t) pode assumir qualquer valor entre os extremos de amplitude

Sinais de Tempo Discreto s(t) = s(nT) existe para t = nT , com n pertencendo ao conjunto dos números inteiros

Sinais Quantizados s(t) assume valores pertencentes a um conjunto discreto (v1,v2,v3…vN)

Digitalização Amostragem + Quantização = Sinais de Tempo Discreto Quantizados  Seqüências de Números Inteiros

Critérios para Digitalização Amostragem: Banda passante Rebatimento Espectral (“Aliasing”) Quantização: Resolução de Amplitude Ruído de Quantização

Amostragem

Conceito de Amostragem Amostragem consiste no processo de tomar medidas de um sinal contínuo s(t) em intervalos consecutivos, a cada T unidades. (unidades de tempo, espaço, ângulo, etc…) Resulta em uma seqüência sA(nT) de valores numéricos, denominados Amostras, associados aos instantes n  T T = Período de Amostragem fA = 1 / T = Freqüência (ou Taxa) de Amostragem

Amostragem de um Sinal Contínuo

Reconstrução de um Sinal Amostrado Cada amostra sA (nT) é substituída por um pulso h(t-nT), posicionado em um ponto correspondente ao instante nT, com amplitude proporcional ao valor de sA (nT) Isso corresponde à convolução de sA(nT) e h(t): Os pulsos h(t) podem ou não apresentar superposição

Convolução sA(nT) h(t) sR(t) h(t) sA(nT) =  (t)

Convolução (Tempo Discreto)

Exemplo: h(t) Retangular com Duração T

Exemplo: Outros Pulsos h(t) h(t) triangular com largura 40 h(t) gaussiano

Teorema da Amostragem A reconstrução exata de um sinal amostrado é possível se o sinal for limitado em freqüência, e a taxa de amostragem for maior que o dobro da freqüência máxima do sinal. A função de reconstrução ideal é da forma Teorema de Kotelnikov / Shannon / Nyquist

Amostragem no Domínio do Tempo

Amostragem no Domínio da Freqüência Transformada de Fourier: Convolução:

Espectro de s(t)

Espectro da Função de Amostragem a (t) (ms) A() (Hz)

Espectro do Sinal Amostrado

Requisito para Reconstrução Não pode haver superposição de espectro, após convolução entre S() e A() Equivale a garantir que fA  2 fM Reconstrução exige aplicação de um filtro passa-baixas ideal, no caso limite fA = 2 fM

Filtro de Reconstrução Ideal

Reconstrução com sen(x)/x

Reconstrução com Pulso Retangular

Reconstrução com Pulso Retangular

Rebatimento Espectral: fA >> 2 fM

Rebatimento Espectral: fA >> 2 fM

Rebatimento Espectral: fA >> 2 fM

Rebatimento Espectral: fA < 2 fM (“Aliasing”)

Rebatimento Espectral: fA < 2 fM (“Aliasing”)

Sistema de Amostragem s(t) a(t) sA(t) sR(t) h(t) Filtro “anti-aliasing” Filtro de reconstrução Função de amostragem h(t)

Filtro “Anti - Aliasing” Faixa de Passagem Faixa de Transição Faixa de Rejeição fM fA fA / 2

Critérios para taxa de Amostragem Critério de Nyquist: fA  2fM (filtro de reconstrução ideal) Critério de Kell: fA  3fM (aproximado – filtro não ideal)

Reconstrução com Pulso Retangular (Nyquist) fA = 2,2 fM

Reconstrução com Pulso Retangular (Kell) fA = 3,3 fM

Exemplos de Sistemas Amostrados Audio CD: fM = 20 kHz fA = 44,1 kHz fA / fM = 2,205

Exemplos de Sistemas Amostrados Telefonia: fM = 3,4 kHz fA = 8 kHz fA / fM = 2,35

Exemplos de Sistemas Amostrados Video Digital (NTSC): fM = 4,2 MHz fA = 13,5 MHz fA / fM = 3,21

Exemplos de Sistemas Amostrados Miografia (potencial muscular): fM = 2 kHz fA = 200 Hz fA / fM = 0,1

Exemplos de Sistemas Amostrados

Exemplos de Sistemas Amostrados Amostragem de Sinal de Banda Estreita F.I. TV fM = 44 +/- 3 MHz fA = 25 MHz fA / fM = 0,57 fA / fBW = 4,17

Amostragem de Sinal de Banda Estreita fA 12,5 25 37,5 44 50 fA 6 12,5 19 25 31 37,5 44 50 56 O sinal deve estar contido entre múltiplos consecutivos de fA / 2

Quantização

Quantização na Conversão A/D

Sinal Quantizado (4 bits = 16 níveis)

Erro de Quantização Histograma Espectro

Modelo do Erro de Quantização Ruído Aleatório Aditivo Distribuição uniforme de Amplitude Amplitude pico-a-pico = Q (passo de quantização) Potência média:

Relação Sinal-Ruído Sinal quantizado com n bits: 2n níveis Amplitude de pico do sinal: SP = Q  2n-1 Potência de pico do sinal: PP = Q2  22n-2 Potência do ruído de quantização: PQ = Q2 /12 Relação Sinal / Ruído:

Relação Sinal-Ruído de Quantização Em decibéis: Exemplo: 8 bits => S/R = 52,9 dB (máx.) 16 bits => S/R = 101,1 dB

Exemplos de Sistemas Quantizados Audio CD 16 bits S/R = 101 dB (teórica) ~ 90 dB (prática)

Exemplos de Sistemas Quantizados Gravação Digital de Áudio: 24 bits S/R = 149 dB (teórica) ~ 100 dB (prática)

Relação Sinal - Ruído em Vídeo Adota-se a relação entre a amplitude pico-a-pico do sinal e a amplitude RMS do ruído de quantização:

Considerando a Banda Passante A limitação da resposta em freqüência após a quantização reduz a potência do ruído dentro da banda do sinal: fA/2 f fA fV

Considerando “Headroom” VT VB-VP

Considerando a Resposta em Freqüência da Percepção Visual onde f1= 270kHz, f2 = 1.37MHz e f3 = 390kHz f

Relação S / R de Quantização Total fA VT 8 bits A( f ) 2 fV 100 IRE Exemplo: 8 bits

Amostragem Bidimensional

Amostragem de uma Imagem 2-D s(t)  s(x, y) s(.)  R, G, B ou Y, U, V Filtro “Anti-aliasing”  Abertura Equivalente de Captura “Aliasing”  Figuras de “Moirée” Função de Reconstrução  MTF, “Spot Profile”

Digitalização de Vídeo

Estrutura de Amostragem Espacial Taxas de Amostragem podem ser independentes nos sentidos x e y Amostras podem ou não serem alinhadas nos sentidos x e y Em geral, estrutura é retangular; ocasionalmente, quadrada

Amostragem e Reconstrução Abertura Equivalente de Captura Imagem Função de Reconstrução Pixel Estrutura de Amostragem Espacial

Reprodução de uma Imagem com Função de Reconstrução Quadrada

Reprodução de uma Imagem com Função de Reconstrução Gaussiana

John Lennon

Resolução Espacial

Padrão de Teste de Resolução Espacial

Função de Transferência de Contraste (CTF)

Função de Transferência de Modulação (MTF) Obtida da mesma forma que a CTF, quando o padrão de barras tem variação senoidal de luminância (ao invés de retangular) É a resposta em freqüência espacial do sistema MTF de um sistema linear com elementos em série é o produto das MTF’s dos seus elementos

MTF da Visão Humana

Unidade de Medida: Linhas de TV Quantidade de linhas pretas + brancas contidas em uma distância igual à altura da imagem V V

Amostragem e Reconstrução No domínio Espacial: Convolução da imagem com a abertura equivalente de captura Amostragem Convolução da amostra com a função de Reconstrução No domínio da Freqüência: Filtragem pela MTF do processo de captura Amostragem (translação e replicação espectral) Filtragem pela MTF do processo de reconstrução

Espectro Bi-dimensional fX fY y x Domínio do Espaço Domínio da Freqüência Espacial

Espectro Bi-dimensional fY y fX x Domínio do Espaço Domínio da Freqüência Espacial

Espectro Bi-dimensional fX fY y x Domínio do Espaço Domínio da Freqüência Espacial

Espectro Bi-dimensional fY y fX x Domínio do Espaço Domínio da Freqüência Espacial

“Aliasing” Espacial: Efeito “Moirée” Imagem Original Imagem Amostrada

“Aliasing” Espacial: Efeito “Moirée” Imagem Original Imagem Amostrada e reconstruída

Espectro 2-D da Imagem Amostrada fX fY fAY fAX fX fY

Redução do “Aliasing” Espacial por Filtragem Imagem Filtrada por Imagem Amostrada abertura equivalente e reconstruída

Espectro 2-D da Imagem Filtrada fX fY fX fY fAY fAX Filtragem espacial Amostragem

Visibilidade do Ruído de Quantização

Visibilidade do Ruído de Quantização

Quantização com “Dithering” Quantizador Sinal sA(t) s(t) r(t) * Ruído

Quantização com “Dithering”

Visibilidade de Quantização com “Dithering” Q = 1 / 16 d = 1/16

Critério de Kell x Nyquist

fM / fA = 0,1

fM / fA = 0,2

fM / fA = 0,3

fM / fA = 0,3 fY fX fAY fAX fX fY

fM / fA = 0,35

fM / fA = 0,4

fM / fA = 0,45

fM / fA = 0,5

fM / fA = 0,5 fX fY fAY fAX fX fY

fM / fA = 0,55

fM / fA = 0,8

fM / fA = 0,8 fY fX fAY fAX fX fY

fM / fA = 0,95

fM / fA = 0,2

fM / fA = 0,3

fM / fA = 0,35

fM / fA = 0,4

fM / fA = 0,45

fM / fA = 0,5

fM / fA = 0,95

fM / fA = 0,95 fX fY fAY fAX fX fY

fM / fA = 0,35

fM / fA = 0,4

fM / fA = 0,5

fM / fA = 0,35

fM / fA = 0,4

fM / fA = 0,45

fM / fA = 0,5

Amostragem com Função de Reconstrução Triangular

fM / fA = 0,35

fM / fA = 0,35 fX fY fAY fAX fX fY

fM / fA = 0,3

fM / fA = 0,35

fM / fA = 0,4

fM / fA = 0,45

fM / fA = 0,5

Amostragem 3-D (Espaço – Tempo)

Amostragem de uma Imagem em Movimento (Y,U,V) = s (x, y, t)

Amostragem de uma Imagem em Movimento Amostragem temporal (t): Fotogramas Amostragem Espacial (y): Varredura Amostragem Espacial (x): Digitalização do Sinal de Vídeo

Espectro Tri-dimensional (Espaço - Tempo) ft fy b y c fx a t x Imagem com Movimento Espectro Tri-dimensional

“Aliasing” Temporal: Efeito “Roda de Carroça” Uma Rotação de 85 graus em sentido Horário... ...confunde-se com uma rotação de 5 graus... ...em sentido anti-horário.

Redução do “Aliasing” Temporal pelo Controle do Tempo de Exposição

Estruturas de Varredura (Espaço – Tempo) Varredura Progressiva Varredura Entrelaçada

Espectros das Estruturas de Varredura Varredura Progressiva Varredura Entrelaçada

Critérios de Dimensionamento na Amostragem de Sinais de Vídeo

Critérios de Resolução Temporal Remanência da Visão: 15 a 20 imagens (quadros) por segundo para proporcionar ilusão de movimento Cintilação: 48 ~ 60 imagens por segundo Interferências com a Rede Elétrica: 50 / 60 Hz 60 imagens por segundo (EUA, Japão, Brasil 50 imagens por segundo (Europa, Ásia, etc.)

Critérios de Resolução Espacial Acuidade Visual: ~ 1 minuto de grau Proporção: 4:3 (igual ao cinema de antigamente) 16:9 (compromisso com cinema atual) Tamanho da Imagem: ? Distância de Observação: ?

A Televisão como Entretenimento

Ângulos de Visualização da TV Convencional H / L = ¾ a = 10o b = 7.5o

Dimensionamento de um Sistema de TV: Padrão “M” Acuidade Visual: 1/60 de grau Ângulo de visualização: 10 x 7.5 graus  600 x 450 elementos de imagem (pixels)

Requisitos de Banda Passante 60 quadros por segundo, 600 x 450 pixels 1 pixel = 1 semiciclo da maior freqüência necessária

Agravante: Tempo de Retraço Tempo de Varredura Tempo de Retraço

Requisitos de Banda Passante Tempo de retraço: 20% na varredura horizontal e 9% na vertical

Agravante: Critério de Kell Teorema da Amostragem diz: número de linhas de varredura deve ser maior que o número de linhas (alternadas) a serem exibidas na imagem (fa > 2 x fs) Fator de Kell = 0,7 (experimental) implicaria em 450  0,7 = 643 linhas de varredura na imagem visível.

Requisitos de Banda Passante Considerando tempo de retraço e critério de Kell: Considerando Modulação AM: BCH = 2  BW = 30,28 MHz (!!!)

Atenuante: Acuidade Visual Adotado Limite de Acuidade Visual como 1,33 minutos de grau, considerando nível de luminância Imagem visível passa para 340 x 450 elementos de resolução (480 linhas de amostragem) Adotadas 525 linhas de varredura (incluindo retraço)

Atenuante: Entrelaçamento Freqüência de Cintilação para detalhes pequenos é muito menor Imagem é subdividida em 2 campos (par e ímpar) Banda Passante cai pela metade (4.2 MHz)

Atenuante: Modulação Vestigial (VSB) 4,2 MHz -4,2 MHz Vídeo Composto (Banda Base) +4,2 MHz -0,75 MHz +4,5 MHz fo Modulação AM Modulação VSB + Áudio 6 MHz

MTF da Televisão Convencional

TV de Alta Definição: “Hi-Vision” (~1985)

Dimensionamento do Ângulo de Visualização para a “Hi-Vision”

Ocupação do Campo Visual

Relação de Aspecto da TV de Alta Definição Compatibilidade com formatos de Cinema

Relação de Aspecto da TV de Alta Definição Compatibilidade com imagens 4:3 16 4  3 4  3 (12  9) 4  3 9 4  3

TV de “Mesma Definição” 1080 480 1,33’ 640 1920

No Futuro ?

UHDV – Ultra High Definition Video (2005) 4320 1080 >90O 1920 7680

UHDV – Ultra High Definition Video (NHK-2005)