Wesley Barbosa Thereza Universidade Federal de São Carlos Programa de Pós-Graduação Estruturas de Aplicações Distribuídas e Multimídia Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Wesley Barbosa Thereza

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Princípios da Compressão de Dados Porque dados podem ser comprimidos Como medir a performance da compressão Como as técnicas de compressão são classificadas Técnicas de Compressão de Dados Técnicas de Compressão de Áudio Técnicas de Compressão de Imagem e Vídeo Compressão Multimídia e Padrões de Codificação

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Princípios da Compressão de Dados Porque dados devem ser comprimidos O grande requisito de armazenamento de dados multimídia. A velocidade relativamente lenta dos dispositivos de armazenamento que não podem apresentar dados multimídia (principalmente vídeo) em tempo-real. A largura de banda da rede que não permite a transmissão de vídeo em tempo-real.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Princípios da Compressão de Dados Redundância de Dados Redundância em Áudio Digital (Predictive Coding e Silence Removal) Redundância em Imagens Digitais (Spatial Redundancy) Redundância em Vídeos Digitais (Redundância Temporal) Propriedades da Percepção Humana Seres humanos toleram alguns erros de informação o a perda sem afetar a efetivação da comunicação; Versão comprimida não precisa representar a informação original exatamente.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Princípios da Compressão de Dados Classificação das Técnicas de Compressão Lossless: dado original pode ser reconstruído exatamente; Programas de computador, documentos legais e médicos; Baixa compressão e utiliza redundância de dados. Lossy: contrário do anterior Áudio digital, imagem e vídeo; Alta compressão e utiliza redundância de dados e propriedades da percepção humana. Taxa de Bit Constante X Taxa de Bit Variável

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Princípios da Compressão de Dados Medida da Performance de Compressão Razão de compressão: razão entre o dado original e o tamanho depois da compressão Quanto maior a razão, melhor a técnica de compressão Qualidade de mídia reconstruída: não é bom ter uma alta razão de compressão, mas com uma qualidade de mídia reconstruída baixa Complexidade de implementação Velocidade de compressão: aplicações de tempo real (vídeo conferência) compressão e descompressão (Técnicas de compressão Simétrica e Assimétrica)

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Técnicas de Compressão Lossless Entropy Coding Medida de Informação; Huffman Coding = alocação de prioridade aos símbolos do fluxo de dados; Run-Lenght Coding Run = ocorrência repetida de um mesmo caracter; Lenght = número de repetições; Lempel-Ziv-Welch (LZW) Coding Constrói um dicionário de frases (grupos de um ou mais caracteres)

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Técnicas de Compressão de Áudio Nonlinear Quantization Predictive Coding Masking Property (MPEG) Os sons mascarados não são audíveis, portanto, é possível descartá-los sem afetar a qualidade do áudio. Possui os algoritmos MPEG layer 1, 2 e 3. A complexidade aumenta conforme aumenta a “layer”.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Técnicas de Compressão de Imagem Digital e Vídeo Há dependências temporal e spatial entre os pixels; Esses pixels têm diferentes freqüências de ocorrência; Esses pixels não são muito importantes para a nossa percepção.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Técnicas de Compressão de Imagem Digital e Vídeo Há dependências temporal e spatial entre os pixels; Esses pixels têm diferentes freqüências de ocorrência; Esses pixels não são muito importantes para a nossa percepção. O sistema de visão humano é explorado, já que esse sistema pode tolerar alguns erros e diferentes dados com diferentes importâncias visuais. Ocultamento dos detalhes não visíveis pelo olho humano; Descartamento das cores intermediárias.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Técnicas de Compressão de Imagem Digital e Vídeo Spatial and Temporal Subsampling Coding: simples, mas eficiente No codificador: 1 pixel a cd. Poucos e 1 frame a cd. Poucos; No decodificador: pixels e frames ausentes são interpolados baseado nos pixels e frames recebidos. Predictive Coding: previsão dos pixels adjacentes Correlação: indica que uma previsão de valores de amostra baseados em valores de amostra de elementos vizinhos da picture resulta em erros previstos, que têm uma variância menos do que os valores de amostragem originais.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Técnicas de Compressão de Imagem Digital e Vídeo Conditional Replenishment: localiza diferenças entre os frames Divisão da imagem em partes fixas e móveis O dado é transmitido somente com as partes móveis Motion Estimation and Compensation: é dividido em blocos de tamanho fixo Deslocamento de blocos da imagem O pixel difference block é, geralmente, bem pequeno e é mais eficiente transmitir o motion vector e a diferença do que transmitir a descrição do bloco atual sozinho.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Técnicas de Compressão de Imagem Digital e Vídeo Transform coding Conversão dos elementos independentes da imagem em coeficientes independentes, seguida de transformação linear da imagem para descobrir a freqüência dos blocos. Algoritmos de transform coding: Karhunen-Louve Transform (KLT), Discrete Cosine Transform (DCT), Discrete Fourier Transform (DFT) Hybrid coding Combinação de transform coding com predictive coding Subband coding Divisão da imagem original em sub-imagens. É transmitida uma sub-imagem e uma série de filtros.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Técnicas de Compressão de Imagem Digital e Vídeo Fractal image coding Transformação de imagens em formulas matemáticas. Model- and Knowledge-based coding Construção de uma base de dados Vector quantization Construção dos codebooks com vetores de tamanho fixo

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia Para aplicações de áudio digital e imagem que envolvem armazenamento ou transmissão, se tornarem difundidos no mercado, padrões para métodos de compressão de áudio e imagem são necessários para manter a interoperabilidade dos equipamentos utilizados. Os cinco mais importantes padrões de compressão audiovisual JPEG; ITU-TS H.261; MPEG; ITU-TS H.263; ISO JBIG.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia Compressão de imagens: JPEG, GIF, PNG. Compressão de áudio: MPEG 3, RAM (streaming). Compressão de vídeo: MPEG 1,2,4, H.261, H.263, H.324, DivX, IMA.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia JPEG: 4 modos de operação Lossy sequential DCT-based encoding: cada componente da imagem é codificado em um único left-to-right, top-to-bottom scan (baseline mode); Expanded lossy DCT-based encoding: provê o aumento para o modo de operação baseline; Lossless enconding: a imagem é codificada para garantir a exata reprodução; Hierarchical encoding: a imagem é codificada em múltipla resoluções.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia MPEG: 8 estágios para o desenvolvimento de um padrão Identificar os requerimentos; Produzir uma chamada para propostas; Testar as propostas; Desenvolver um modelo de referência; Otimizar o algoritmo; Escrever o padrão; Verificar o padrão; Produzir teste de conformidade.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia MPEG Audio: descreve a compressão de sinais de áudio usando esquemas de codificação de alta performance Layer 1, 2 e 3; Para cada Layer, o padrão especifica um formato bitstream e o decodificador; Não especifica um codificador, mas exemplifica um para cada Layer; O codificador analisa os componentes do espectro do sinal de áudio, calculando um filterbank ou transformando e aplicando um modelo psychoacoustic para estimar somente o nível de ruído audível. Nos estágios de quantização e codificação, o codificador tenta alocar o número de bits disponível de forma a encontrar o bitrate e o masking requeridos. O decodificador é mais simples. A sua única tarefa é sintetizar um sinal de saída de áudio fora dos componentes do espectro codificados.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia MPEG Audio: Todos os Layers utilizam a mesma informação de cabeçalho nos seus bitstreams, para suportar a estrutura da hierarquia do padrão; Podem usar essas taxas de amostragem: 32, 44.1 ou 48 kHz; Os bitrates de cada Layer: Layer 1: 32 – 448 kbps; Layer 2: 32 – 384 kbps; Layer 3: 32 – 320 kbps; As principais diferenças entre os Layers (do 1 ao 3): A complexidade aumenta, principalmente o codificador; Aumenta o delay dos codecs (filtros); A performance aumenta (qualidade de som por bitrate);

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia MPEG Audio: Principais diferenças entre MPEG 1 e 2: Extensão da taxa de amostragem baixa para endereçar aplicações com bitrate muito baixa e com requisitos de largura de banda limitados; Taxas de amostragem MPEG 2: 16, 22.05 ou 24 kHz; Bitrate do MPEG 2: de 8 kbps para baixo; Extensão multicanal, para endereçar aplicações com som surround com 5 ou mais canais de áudio principais;

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia MPEG Audio: Qual Layer usar? Depende dos requisitos da aplicação; Considere o bitrate disponível para a aplicação; 1:4 com Layer-1 (ou 192 kbps por canal de áudio); 1:6..8 com Layer-2 (ou 128..96 kbps por canal de áudio); 1:10..12 com Layer-3 (ou 64..56 kbps por canal de áudio).

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia MPEG Audio: Codec Delay: Layer-1: 19 ms (<50 ms); Layer-2: 35 ms (100 ms); Layer-3: 59 ms (150 ms).

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia MPEG Video: MPEG-1: codificar para qualidade de VHS 360 x 280 pixels a 30 frames/s; Bitrate de 1.5 Mbps...essa taxa foi escolhida devido ao throughput dos drives de CD-Rom da época; MPEG-2: codificar para qualidade de televisão digital 720 x 480 pixels a 30 frames/s; Bitrate entre 2 e 10 Mbps; MPEG-3: codificar para qualidade de HDTV Bitrate por volta de 40 Mbps...foi abandonado em 92 porque o MPEG-2 cobria as suas especificações;

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia MPEG Video: MPEG-4: bitrate muito baixo

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia MPEG Video: MPEG-1:

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia MPEG Video: MPEG-1:

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia MPEG Video: MPEG-1:

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia MPEG Video: MPEG-2: Segue os mesmos princípios do MPEG-1, com algumas extensões notáveis e melhorias para suportar vídeo de alta qualidade; Suporta tanto vídeo intercalado como não intercalado; Permite figuras de 16.383 x 16.383 pixels; Provê vídeo escalável devido a dois propósitos principais: Dados do vídeo importantes são colocados com alta prioridade para proteger de erro; Permite que o decodificador decodifique seletivamente parte de um vídeo.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia MPEG Video: MPEG-2:

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia MPEG Video: MPEG-2:

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia GIF: Baseado no algoritmo LZW; Tornou-se popular por codificar todos os tipos de imagens, tanto geradas por computador como imagens “naturais”; Não é geralmente o tipo mais eficiente para imagens Lossless de cenários naturais, fotografias, imagens de satélite, etc.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia JPEG: Lossless: Usa técnicas Predictive linear; Possui 8 diferentes esquemas: 3 predictor unidimensional; 4 predictor bidimensional; Diferentes imagens podem ter estruturas diferentes que podem ser exploradas por um dos 8 modos de predição; O modo usado pode se guardado em um cabeçalho de 3 bits junto com o arquivo comprimido.

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia JPEG: Lossy: O JPEG leva em conta o fato do olho ser mais sensitivo para a luminance de uma cor do que para a nuance, porque algumas células tem mais influência do que outras;

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia JPEG:

Princípio, Técnicas e Padrões de Compressão de Áudio, Imagem e Vídeo Digital Padrões de Compressão Multimídia JPEG: JPEG x GIF