A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Teoria da Informação - Um Enfoque Para Telecomunicações.

Apresentações semelhantes


Apresentação em tema: "Teoria da Informação - Um Enfoque Para Telecomunicações."— Transcrição da apresentação:

1 Teoria da Informação - Um Enfoque Para Telecomunicações

2 SHANNON : O grande mestre da Teoria da Informação –Claude Elwood Shannon é considerado o pai da Teoria da Informação ou Teoria das Comunicações. Trabalhou na empresa Bell Laboratories (USA) como Matemático e Engenheiro. –Shannon nasceu na cidade de Gaylord, Michigan, USA, aos 30 de Abril de 1916 e morreu em 2001 aos 84 anos. e morreu em 2001 aos 84 anos.

3 S H A N N O N S H A N N O N

4 Tópicos Gerais : n Informação n Quantidade de Informação n Entropia n Banda de Transmissão n Ruído n Capacidade de Canal ( Shannon )

5 Introdução Conceituando o sistema de comunicação: A Fonte A Fonte A Informação A Mensagem

6 Conceitos Importantes n Elementos de um Sistema de Comunicação fonte transmissorCanalreceptor destino sinal de entrada sinal transmitido Ruído, interferência

7 Introdução à Teoria da Informação FONTE É o ente que produz a informação. Dispõe de elementos simples e símbolos. fonte destinatário

8 Introdução à Teoria da Informação Fontes de informação podem ser classificadas em duas categorias: a - fontes de informação analógica: emissão de sinais de amplitude contínua - Ex: microfone captando a voz, câmara TV.. b- fontes de informação discretas: emissão de símbolos discretos. Ex: saída de modem digital, saída de computador, saída de conversor A/D, etc...

9 Introdução à Teoria da Informação A fonte de informação discreta apresenta em sua constituição: O ELEMENTO BÁSICO : O ELEMENTO BÁSICO : n que é o componente mais simples que entra na composição representativa da informação. Por exemplo: 0 e 1

10 Introdução à Teoria da Informação n O SÍMBOLO : que é formado por um conjunto ordenado de elementos. Os símbolos que compõem uma fonte também são fixos e definidos. Ex.: com os elementos 0 e 1 podemos compor os simbolos: 10,

11 Introdução à Teoria da Informação n O alfabeto da fonte pode ser o alfabeto de elementos ou alfabeto de símbolos. n MENSAGEM:consiste de um conjunto ordenado de símbolos que a fonte seleciona de seu alfabeto, Símbolo elemento

12 Introdução à Teoria da Informação A mensagem é uma realização que se caracteriza por apresentar configurações variáveis ao longo do tempo e, também, para um observador externo à fonte, por apresentar símbolos de um modo aleatório.

13 Introdução à Teoria da Informação A cada símbolo corresponde uma certa quantidade de informação, que é função de suas probabilidades de ocorrência. A cada mensagem se associa uma certa quantidade de informação, dada pela soma das quantidades de informação de cada símbolo.

14 Introdução à Teoria da Informação n A produção de uma seqüência de símbolos, que podem ser letras, notas musicais, dados, imagens, etc, operando de acordo com certas probabilidades, é chamado um processo estocástico, aleatório ou randômico. n Um caso especial, quando as probabilidades dependem de eventos antecedentes, é denominado processo Markov ou cadeia de Markov.

15 Introdução à Teoria da Informação O processo de comunicação consiste em estabelecer o fluxo de informações entre fonte e destinatário, o que é feito através da transmissão dos símbolos que compõem a mensagem. FONTE DESTINO MENSAGEM CANAL

16 Só conhecemos realmente um fenômeno quando podemos medí-lo e compará-lo ( Darwin ) Só conhecemos realmente um fenômeno quando podemos medí-lo e compará-lo ( Darwin ) Quantidade de Informação É possível medir??

17 Introdução à Teoria da Informação Do ponto de vista técnico a informação é analisada no que diz respeito às características de diversidade e de aleatoriedade dos símbolos que a fonte seleciona. Do ponto de vista técnico a informação é analisada no que diz respeito às características de diversidade e de aleatoriedade dos símbolos que a fonte seleciona.

18 fonte Introdução à Teoria da Informação Número distinto de símbolos Os símbolos recebidos são imprevisíveis JOGO: Quem adivinhar a carta Recebe US$ 50,00 ?

19 Introdução à Teoria da Informação O nível de incerteza a respeito da ocorrência de um símbolo pode ser expresso pela probabilidade de ocorrência deste símbolo. Esta probabilidade é fundamental para a medida da quantidade de informação que cada símbolo carrega para o destinatário.

20 Introdução à Teoria da Informação A probabilidade de sair a face 5 é de 1 em 6 (total de eventos possíveis). P = 1/6

21 Incerteza do Jogador 0,7 – grau de incerteza antes que o evento ocorra 0,3 grau de certeza (probabilidade que aconteça um evento) antes que o evento ocorra P= 1 => certeza total P = 0 => incerteza total Se a probabilidade é p=0,3, o grau de incerteza é 0,7. Quando o evento ocorre, passa p=0,3 para p=1 Informação é a quantidade de incerteza Sobre a ocorrência de um símbolo, Que é anulada quando este símbolo ocorre.

22 Introdução à Teoria da Informação n Quanto maior o número de símbolos disponíveis na fonte ( isto é, sua variedade), maior será o grau de incerteza sobre qual símbolo será selecionado para envio. destinatário ? P( verde ) = 0,5

23 Introdução à Teoria da Informação n Grau de liberdade: –se todos os símbolos têm igual probabilidade de serem selecionados, a fonte possui o maior grau de liberdade possível na seleção.

24 Introdução à Teoria da Informação n Informação e sua Medida. FONTE COM SÍMBOLOS MENSAGEM: conjunto de símbolos Fonte X, com um conjunto de símbolos ( x 1, x 2..x i )

25 Introdução à Teoria da Informação Variedade de Símbolos: a- alfabeto com n elementos. b - símbolo composto por uma combinação de m elementos dentre os n. Configurações possíveis => N = n m

26 Princípios de telecomunicações n A fonte seleciona os símbolos ao produzir a mensagem. n Para o observador externo, que desconhece a lógica da fonte, a escolha é aleatória. n Pode-se associar a cada símbolo selecionado uma certa probabilidade de ocorrência.

27 Introdução à Teoria da Informação n Quantidade de Informação inerente a um símbolo x i : I(x i ) = f [ P (x i )] P(x i ) = probabilidade de ocorrência.

28 Introdução à Teoria da Informação Esta função deve ter as seguintes propriedades: Esta função deve ter as seguintes propriedades: n 1. Se P(x i ) = 1 ENTÃO I (x I ) = 0 n 2. Se P (x i ) = 0 ENTÃO I ( x i ) = n 2. Se P (x i ) = 0 ENTÃO I ( x i ) = n 3. I (x i ) é monotônica decrescente com P( x i ) A função será: I (x i ) = - log 2 P (x i ) (bits) I (x i ) = - log 2 P (x i ) (bits)

29 Introdução à Teoria da Informação n Dada uma fonte X, sabemos: Símbolo x 1, x 2,.... x n Probabilidade de Ocorrência:..... P (x n ) Informação Própria do Símbolo... I (x n ) A quantidade de informação de um evento (associado a uma mensagem) é definida como o logaritmo do inverso da probabilidade deste evento. I (x i ) = log 2 1 / P (x i )

30 Comunicação e Informação n A informação é recebida pelo destinatário quando este identifica o símbolo recebido com um dos de seu alfabeto. n A informação se transforma em comunicação quando os símbolos identificados pelo destinatário possuem um sentido interpretável por ele.

31 Comunicação e Informação em resumo! A equação de Shannon para relacionar a quantidade de informação (I) n Com a probabilidade (p) é a seguinte: n I = log 2 (1 /p) n I = quantidade de informação de um símbolo n p = probabilidade da mensagem que se transmite n log 2 = logaritmo na base 2

32 Um conceito fundamental : ENTROPIA : é a medida da quantidade de informação presente num experimento (não em um símbolo apenas) randômico ou aleatório. Quanto maior a quantidade de informação de um experimento, maior será sua entropia.

33 Introdução à Teoria da Informação Para telecomunicações o que nos interessa é a quantidade de informação média ao longo do tempo média ao longo do tempo para dimensionar os sistemas de telecomunicações. de telecomunicações.

34 Introdução à Teoria da Informação n Ou seja : Dada uma fonte X atuando... Com M símbolos, com m j ocorrências, cada símbolo ocorrendo x j vezes; teremos assim uma quantidade Q total de informação. Q total de informação. FONTE M=[a,b,c...s] A a a a b b s s s s s s a a a s X

35 Introdução à Teoria da Informação Problema: n Quando a fonte era conhecida ( nosso dado com 6 faces) conhecíamos as probabilidades, como p(2) = 1/6. n Mas numa fonte desconhecida como saber a probabilidade de um evento isolado?

36 Seja a experiência lançamento de um dado 1000 vezes E determinar a freqüência relativa do aparecimento da face 6.faces Resultados favoráveis Freqüência relativa 11660, , , , , ,169 total10001,000 Freqüência relativa do aparecimento de 6. P(6) = 1/6 0,167 Número total de ocorrência da face 6 = 169

37 Lei de Bernouilli lei fraca dos grandes números. lei fraca dos grandes números. O valor mais provável da freqüência relativa a ser encontrado, quando a experiência é realizada um grande número de vezes, é numericamente igual a probabilidade do evento isolado

38 QUANTIDADE de Informação gerada Q = m i I ( x i ) = i =1 n Q = quantidade de informação m i = número total de ocorrências de cada símbolo x i n = todos os diferentes símbolos da fonte.

39 Introdução à Teoria da Informação Q = m i I ( x i ) i =1 n Então vamos dividir a expressão por M Lembrando a lei fraca dos grandes números, se M for suficientemente grande podemos tomar m i / M por P (x i ) M = número total de símbolos utilizados

40 Introdução à Teoria da Informação Q M = P (x i ) I ( x i ) = HX) I = 1 n H (X) Entropia Lembrando que: I(x i ) = - Log 2 P ( x i ) Conteúdo total de informação Número total de símbolos

41 ENTROPIA = -P (x i ) log 2 P ( x i ) I = 1 H(x) =P (x i ) I ( x i ) I = 1 H(x) OU MELHOR: n n

42 ATENÇÃO n Não confudir o parâmetro I com o parâmetro H parâmetro H

43 Introdução à Teoria da Informação Um exemplo prático: a, b, c, d, e, f, g, h, i, j, l, m, n, o, p, q, r, s, t, u, v, x, z Observação: Você deve estar se perguntando pelas letras W, Y e K.Elas não pertencem mais ao nosso alfabeto.São usadas apenas em casos especiais

44 Introdução à Teoria da Informação n As mensagens a serem transmitidas são compostas pelas 23 letras do alfabeto, (N =23) formando combinações aleatórias. n Como as mensagens têm a mesma probabilidade, a ENTROPIA do sistema será: n H = log 2 N ou n H = log 2 23 n H = 5 significa que necessitamos de 5 bits para codificar cada uma das letras do alfabeto.

45 Introdução à Teoria da Informação B E L O Ex.: alfabeto com elementos com elementos 0 e 1 e m = 5 0 e 1 e m = = = 32 - Código telegráfico - : Baudot

46 Introdução à Teoria da Informação n A informação média ou entropia em uma fonte com m símbolos x i é máxima quando as probabilidades de seus símbolos forem equiprováveis.

47 Introdução à Teoria da Informação Em telecomunicações encontramos fontes que emitem símbolos binários ou bits. n Cada bit assume dois estados: 0 ou 1 n Logo temos P(0) e P(1) H(X) = -[P(1) log 2 P(1) + P(0) log 2 P(0)] shanonn/símbolo

48 Introdução à Teoria da Informação Se as ocorrências de (0) e (1) forem equiprováveis temos P(1) = P(0) =1/2 H(X) = 1 shannon/símbolo Ou 1 bit / símbolo

49 Introdução à Teoria da Informação n Quanto todos os símbolos são equiprováveis a quantidade de informação média por símbolo é numericamente igual à quantidade de informação própria de cada símbolo e igual a variedade. H(X) = I(x i ) = v

50 Entropia n Tendo calculado a Entropia de uma fonte e obtido: H(X) = 0,8 n Isto significará que esta fonte em sua escolha de símbolos, com a finalidade de formar uma mensagem, estará com aproximadamente 80% de grau de liberdade.

51 Aplicação n Dada uma fonte e calculamos sua entropia: n H(X) = 7 sh / símbolo n Isto nos indica que, em média, seus símbolos podem ser representados por 7 bits. fonte Símbolos

52 Princípios de telecomunicações O canal

53 Comunicação da fonte ao destino. Transdutor de Entrada Sistema de Comunicação Transdutor De Saída Fonte de Informação: Cena / imagem mensagem Mensagem recebida Mensagem: caracterização física da informação Sinal de vídeo

54 Sistema de Comunicação digital simplificado Fonte Trans- missor Canal de comunicação Receptor Destino Sistema De Comunicação Transdutor entrada Transdutor saída Sinal de entrada - mensagem Sinal a transmitir Sinal recebido Sinal de saída destinatário Codifi cador Decodi ficador Sinal Codificação. binária

55 O canal Sempre que gerarmos informação pela seleção feita no alfabeto de uma fonte (codificador que alimenta o canal em certa velocidade), isto corresponderá a uma liberação de certa quantidade de bits/s lançados no canal (meio físico) pelo transmissor. transmissorreceptor canal

56 O canal canal Y = ( y j ) X=(x i ) fonte destino entrada saída P ( y j / x i ) ou P (x i / y j ) ( P (y j,x i ) significa a probabilidade de se obter um y j na saída sendo enviado um x i )

57 O canal fonte canal fonte destino H(X) H(Y) X 2 =0 p q Y 1 =1 Y 2 = 0 q p X 1 =1 destino p = 1 - q Entropia no destino

58 O canal É preciso fazer o dimensionamento da Capacidade do Canal de forma a suportar o fluxo de informação que lhe é oferecido. Sem ruído não há distorção, o que entra no canal será entregue por ele! Com ruído, o 1 pode ser recebido como 0

59 O canal As entropias presentes serão: n H(X) entropia na fonte, ou entrada do canal. n H(Y) entropia no destino ou saída do canal n H(X/Y) ou H(Y/X) dispersão provocadas por ruídos e distorções do canal, que acarretam erros nos símbolos e perda da informação. n H(X;Y) entropia mútua entre entrada e saída (transinformação), que é a informação passada da fonte para o destino. H(X,Y) é a entropia conjunta, criada pelos símbolos da fonte e do destinatário tomados em conjunto. H(X,Y) é a entropia conjunta, criada pelos símbolos da fonte e do destinatário tomados em conjunto.

60 O canal De fato desejamos a transinformação e queremos que ela seja máxima: n H(X ; Y) = H(X) - H ( X / Y) sh/símb n Canal sem ruído = H( X /Y ) = 0 Define-se: Capacidade máxima do canal C = H max (X;Y ) sh/símb C = H max (X;Y ) sh/símb

61 O canal Um canal sem ruído, não tem erro de símbolo transmitido, logo está sem perda: n Neste caso especial: H(X /Y) = H (Y/X) = 0 n H(X;Y) = H(X) = H(Y) = H(X,Y) sh/símb n Sem ruído: H(X) = H(Y) = H(X;Y) - toda a informação na entrada do canal chega ao destinatário. n Neste caso H max (X;Y) = H max (X) n Então a Capacidade do canal será dada por: C = log 2 N sh/símb

62 O Canal Capacidade de transmissão do canal n 1. A fonte nos dá uma variedade de símbolo: n V = log 2 N ou ainda, v = m log 2 n ( bit) No caso de uma fonte binária. Equiprovável, com elementos 0 e 1. V = 1 log 2 2 = 1 bit Fonte + codif. Transmissor: 10 volts = bit 1 0 volts = bit 0 Canal: (Par de fios) H(X) = - [P(1) log 2 P(1) + P(0) log 2 P(0) ] = 1 shanon/símbolo Cada símbolo será representado por unidades binárias ( bits), numericamente igual a entropia!

63 Capacidade de Transmissão do Canal V t 1 t 2 tempo Canal = Linha física: pares de fios. t1t1 t 1 + t 1 TX RX V tempo t2t2 t 2 + t 2 Tempo da transição de um estado para outro TRANSMISSOR SINALIZA A LINHA COM DIFERENTES TENSÕES

64 O canal n Variação dos Símbolos por unidade de tempo n (velocidade de sinalização) entregue ao canal será a variabilidade Vs = v / (bit/s) ( relação entre a variedade V dos símbolos produzidos pela fonte e o intervalo de tempo em que são produzidos) Fonte binária

65 +i -i t t I TRANSMISSÃO TELEGRÁFICA LINHA = canal Teleimpressor: terminal bateria 1 0 a Variação de corrente ideal real a = 01011

66 Princípios de telecomunicações Capacidade de Transmissão do Canal

67 Capacidade de Transmissão do Canal Capacidade de transmissão do canal n Além da análise estática shannon/ símbolo é preciso analisar dinamicamente a Vs = v / n Além da análise estática shannon/ símbolo é preciso analisar dinamicamente a Vs = v / n Suponhamos uma fonte que produz M símbolos ao longo do tempo T e a cada símbolo corresponde o intervalo de tempo, teremos uma taxa de envio destes símbolos: = T então Vs = M v bit/s = T então Vs = M v bit/s M T M T

68 Capacidade de Transmissão do Canal Na prática o canal não consegue responder além de uma certa velocidade de transição do sinal. n Existe um tempo mínimo [ mín ] para que o sistema responda a uma transição do sinal. t v v t

69 Capacidade de Transmissão do Canal n No início das técnicas de transmissão de sinais elétricos ( transmissões telegráficas) observou-se que os sinais eram transmitidos, enviados pelo canal, mas chegavam distorcidos. n Essa distorção se devia a esta duração mínima necessária, que levou a definição da faixa de passagem oferecida pelo meio.

70 Capacidade de Transmissão do Canal n A pior condição do sinal entrante é a de que em cada intervalo mín ocorra uma transição. n Para que o canal possa distinguir isto constatou-se que precisava ter um período de duração T mínimo, dado por: T = 2 mín n Assim se definiu uma largura de faixa mínima, em Hertz, dada por: B = 1 2 mín 2 mín

71 Capacidade de Transmissão do Canal O sinal telegráfico de um terminal teleimpressor se compõe de 1 pulso de partida com a duração e 20 ms; 5 pulsos binários portadores de Informação com a duração de 20 ms cada e 1 pulso de parada com a duração de 30 ms. mín Nesta condições toma-se para mín o menor valor, de 20 ms. Logo mín = 1 / 2x20 x10 -3 B = 1 / 2 mín = 1 / 2x20 x10 -3 B = 25 Hz part par

72 Capacidade de Transmissão do Canal n Visto que o símbolo possui a variedade dada por: v = log 2 n max bits n A velocidade máxima de transmissão do sinal será igual à máxima velocidade de sinalização que o canal aceita, ou seja: V s = V = 1 log 2 n max bit/s. T mín T mín

73 Capacidade de Transmissão do Canal Como este é o sinal mais crítico que se pode transmitir, esta grandeza vai medir a capacidade C t de transmissão de sinal C t = 1 log 2 n max bit/s mín Telegrafia = Capacidade = 50 bps 50 = log / mín Logo o mín = 1/50 = 0.02 s ou 20 ms B = 1/ 2 mín B = 25 Hz

74 Princípios de Telecomunicações A presença do Ruído limitando a capacidade do Canal

75 Capacidade do Canal com Ruído Ruído n É um sinal aleatório ao qual não se tem controle sobre sua forma. n No processo de transmissão do sinal pelo canal observa-se sinais espúrios, aleatórios, que se somam ao sinal desejado.

76 Capacidade do Canal com Ruído n Ruído branco: ocorre devido à agitação térmica onde elétrons livres apresentam um movimento aleatório e produzem uma corrente elétrica, quando se é observado em intervalos de tempo infinitamente pequenos. t I(t)

77 Capacidade do Canal com Ruído n Agora se considerarmos um sinal elétrico sendo transmitido no canal; n As variações no sinal podem ser analisadas como alterações em sua amplitude, percebidas entre dois instantes diferentes.

78 Capacidade do Canal com Ruído n Mas a velocidade de transição do sinal encontra uma limitação prática, n Em termos físicos existem elementos armazenadores de energia no canal que impedem cargas e descargas instantâneas. n Estes componentes impõe um tempo mínimo para resposta física

79 Capacidade do Canal – limitações físicas n A pior condição para o sinal entrante é aquela em que a cada intervalo mínimo ocorra uma transição, t v t t t t Figura 1 Figura 2 Figura 3 Figura 4

80 Capacidade do Canal com Ruído n Contudo, os ruídos inerentes ao processo de transmissão impedem que se reconheça amplitudes a partir de um determinado valor. t t t v Sinal + ruído ruído sinal

81 Capacidade do Canal com Ruído s+r s r n max = s+r mín Os níveis distinguíveis podem ser apresentados em função da relação sinal / ruído. Ruídos impedem reconhecer subdivisões de amplitude do sinal recebido r = 1 + s r Níveis de amplitude tempo

82 Capacidade do Canal com Ruído n Consideremos ainda que mín se relaciona com a largura de faixa do sistema( B = 1/2 min ) temos: C t = 2 B log 2 ( 1 + s / r) bit/s Ruído é um sinal complexo de natureza aleatória. Sistemas de Telecomunicações trabalham com sinais complexos Sinais complexos se somam em potência.

83 Capacidade do Canal com Ruído Se trabalharmos com a potência do sinal (S), a potência do ruído (R) e S = s i 2 R = r i 2 n max 2 = S + R = 1 + S = 1 + s i 2 r i 2 R R n max = ( 1 + S ) 1/2 R s i componentes individuais do sinal ( valor eficaz) Ri componentes individuais do ruído ( valor eficaz)

84 Capacidade do Canal com Ruído n Substituindo este novo resultado e a banda B de passagem chegamos a C = B log 2 ( 1 + S ) bit/s C = B log 2 ( 1 + S ) bit/s n Conhecida como a Lei de Shannon-Hartley e vai nos traduzir a velocidade de transmissão de informação ou capacidade de informação que o canal permite. R

85 Capacidade do Canal com Ruído Lei de Shannon-Hartley C = B log 2 ( 1 + S/R ) bit/s C = B log 2 ( 1 + S/R ) bit/s C = capacidade do canal - medida em bits por segundo B = banda do canal- medida em Hertz S/R = relação sinal ruído - geralmente dada em dB, decibéis relação logarítmica de potências, por exemplo: Sinal de voz S/N 30 dB = 1000 vezes

86 BIBLIOGRAFIA MELO, Jair Candido. Introdução à Teoria da Informação. MacGraw-Hill. Brasil CARSON. A Bruce. Communication Systems. McGraw- Hill. Singapore BARRADAS. Ovídio. Sistemas Analógicos-Digitais. Livros Técnicos e Científicos. Rio de Janeiro.1980 EPSTEIN Isaac. Teoria da Informação. Ática.S.Paulo EDWARDS Elwyn. Introdução à Teoria da Informação. Cultirx. S. Paulo.1971


Carregar ppt "Teoria da Informação - Um Enfoque Para Telecomunicações."

Apresentações semelhantes


Anúncios Google