INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández

Apresentação em tema: "INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández"— Transcrição da apresentação:

1 INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández - 2010
COMUNICAÇÃO DIGITAL INTRODUÇÃO À TEORIA DE INFORMAÇÃO Evelio M. G. Fernández

2 Introdução à Teoria de Informação
Em 1948, Claude Shannon publicou o trabalho “A Mathematical Theory of Communications”. A partir do conceito de comunicações de Shannon, podem ser identificadas três partes: Codificação de fonte: Shannon mostrou que em princípio sempre é possível transmitir a informação gerada por uma fonte a uma taxa igual à sua entropia.

3 Introdução à Teoria de Informação
Codificação de Canal: Shannon descobriu um parâmetro calculável que chamou de Capacidade de Canal e provou que, para um determinado canal, comunicação livre de erros é possível desde que a taxa de transmissão não seja maior que a capacidade do canal. Teoria da Taxa de Distorção (Rate Distortion Theory): A ser utilizada em compressão com perdas

4

5 Compressão de Dados Arte ou ciência de representar informação de uma forma compacta. Essas representações são criadas identificando e utilizando estruturas que existem nos dados para eliminar redundância. Dados: Caracteres num arquivo de texto Números que representam amostras de sinais de áudio, voz, imagens, etc.

6 Algoritmos de Compressão
MODELAGEM – Extrair informação sobre a redundância da fonte e expressar essa redundância na forma de um modelo. CODIFICAÇÃO – Uma descrição do modelo e uma descrição de como os dados diferem do modelo são codificados possivelmente utilizando símbolos binários. Diferença: dados – modelo = resíduo

7 Exemplo 1

8 Exemplo 2

9 Medidas de Desempenho Taxa de Compressão Fidelidade Ex: 4:1 ou 75 %
Distorção (Rate Distortion Theory)

10 Exemplo Símbolo Prob I II III IV A 1/2 00 B 1/4 01 11 10 C 1/8 110 011
B 1/4 01 11 10 C 1/8 110 011 D 1110 0111

11 Entropia de uma Fonte Binária sem Memória

12 Códigos Prefixos Nenhuma palavra código é prefixo de qualquer outra palavra-código Todo código prefixo é instantâneo (o final das palavras-código é bem definido) Um código prefixo é sempre U.D. (a recíproca não é sempre verdadeira) Existe um código prefixo binário se e somente se Desigualdade de Kraft-McMillan

13 Códigos Prefixos Dado um conjunto de códigos que satisfaz a desigualdade de Kraft-McMillan, SEMPRE será possível encontrar um código prefixo com esses comprimentos para as suas palavras-código. O comprimento médio das palavras do código estará limitado pela entropia da fonte de informação

14 Teorema da Codificação de Fonte
Dada uma fonte discreta sem memória com entropia H(S), o comprimento médio de um código U.D. para a codificação desta fonte é limitado por: com igualdade se e somente se:

15 Códigos de Huffmann Binários
Ordenar em uma coluna os símbolos do mais provável ao menos provável. Associar ‘0’ e ‘1’ aos dois símbolos menos prováveis e combiná-los (soma das probabilidades individuais). Repetir 1 e 2 até a última coluna que terá apenas dois símbolos; associa-se ‘0’ e ‘1’.

16 Códigos Ótimos r-ários
Método de Huffmann: aplica-se o método com o seguinte artifício: Adicionam-se ao alfabeto original símbolos fictícios com probabilidade zero de ocorrência, até o número de símbolos assim gerado ser congruente a 1 mod (r – 1). Aplica-se o método de Huffmann agrupando-se r símbolos de cada vez. O código gerado é um código r-ário ótimo para o alfabeto original.

17 Fonte com Alfabeto Pequeno
bits/símbolo H(A) = 0,335 bits/simbolo Redundância = 0,715 bits/símbolo (213% da entropia) São necessários duas vezes mais bits do que o prometido pela entropia! Símbolo Código a1 a2 11 a3 10

18 Segunda Extensão da Fonte
Símb. Prob. Cod. a1a1 0,9025 a1a2 0,0190 111 a1a3 0,0285 100 a2a1 1101 a2a2 0,0004 110011 a2a3 0,0006 110001 a3a1 0.0285 101 a3a2 110010 a3a3 0,0009 110000 bits/símbolo bits/símbolo (ainda 72% acima da entropia!) extensão de ordem n = 8  fonte com 6561 símbolos! Huffman: precisa criar todas as palavras-código!

19 Codificação Aritmética
É mais eficiente designar uma palavra-código para uma seqüência de tamanho m do que gerar as palavras-código para todas as seqüências de tamanho m. Um único identificador ou tag é gerado para toda a seqüência a ser codificada. Esta tag corresponde a uma fração binária que tornar-se-á num código binário para a seqüência.

20 Codificação Aritmética
Um conjunto possível de tags para representar seqüências de símbolos são os números no intervalo [0, 1). É necessário então uma função que mapeie seqüências neste intervalo unitário. Utiliza-se a função de distribuição acumulativa (cdf) das variáveis aleatórias associadas com a fonte. Esta é a função que será utilizada na codificação aritmética.

21

22 Algoritmo para Decifrar o Identificador
Inicializar l(0) = 0 e u(0) = 1. Para cada valor de k, determinar: t* = (tag – l(k–1))/(u(k–1) – l(k–1)). Determinar o valor de xk para o qual FX(xk – 1) ≤ t* ≤ FX(xk). Atualizar os valores de l(k) e u(k). Continuar até o fim da seqüência.

23 Exemplo: Unicidade e Eficiência do Código Aritmético

24 Códigos Baseados em Dicionários
Seqüências de comprimento variável de símbolos da fonte são codificadas em palavras-código de comprimento fixo, obtidas de um dicionário. Utilizam técnicas adaptativas que permitem uma utilização dinâmica do dicionário. São projetados independentemente da fonte de informação  classe de algoritmos universais de codificação de fonte.

25 Códigos Baseados em Dicionários
repita palavra = leia_palavra (entrada); index = busca (palavra,dicionário); se index = 0 então faça escreva (palavra, saída); inclua (palavra, dicionário); fim senão escreva (index, saída); até fim_da_mensagem

26 Algoritmo de Lempel-Ziv
Seqüência Binária: Frases: 1, 0, 10, 11, 01, 00, 100, 111, 010, 1000, 011, 001, 110, 101, , 1011

27 Algoritmo de Lempel-Ziv

28 Transformada Discreta de Cossenos

29 Transformada Discreta de Cossenos
8x8 Pixels Here is an example of DCT compression. A simple 8x8 pixel area around the “1” on the calendar has been compressed using the DCT. The original and compressed data values in an 8x8 matrix are shown. Notice the 64 original values have been reduced in this particular example to 4 non zero numbers. The numbers in the DCT matrix represent a frequency distribution of the H & V pixel information in the original picture. The quantisation level of the final numbers can also be reduced with typically half of the matrix being zero or very close to zero not requiring transmission. The reverse process produces a pixel block which is a very close approximation to the original, even when some of the elements have been quantised.

30 Primitivas da Transformada Discreta de Cossenos

31 “Zig-Zag Scanning”

32 Exemplo de Codificação por Entropia em MPEG-2
Tamanho do “run” de zeros Valor do coeficiente diferente de zero Palavra-código de comprimento variável 12 6 1 4 3 EOB - 10

33 Codificador MPEG

34 Compensação de Movimento

35 Canal Discreto sem Memória

36 Matriz de Canal ou Transição

37 Canal Binário Simétrico

38 Relações entre Várias Entropias de Canal

39 Capacidade do Canal BSC

40 Capacidade de Canal A capacidade de canal não é somente uma propriedade de um canal físico particular. Um canal não significa apenas o meio físico de propagação das mensagens, mas também: A especificação do tipo de sinais (binário, r-ário, ortogonal, etc) O tipo de receptor usado (determinante da probabilidade de erro do sistema). Todas estas informações estão incluídas na matriz de transição do canal. Esta matriz especifica completamente o canal.

41 Teorema da Codificação de Canal

42 Teorema da Codificação de Canal
Seja uma fonte discreta sem memória com alfabeto S e entropia H(S) que produz símbolos a cada Ts segundos. Seja um canal DMC com capacidade C que é usado uma vez a cada Tc segundos. Então, se existe um esquema de codificação para o qual a saída da fonte pode ser transmitida pelo canal e reconstruída com

43 Teorema da Codificação de Canal
Pelo contrário, se não é possível o anterior. Resultado mais importante da Teoria de Informação

44 Código de Repetição