Sincronização Lip Sync Sincronização cursor-voz Entre outras mídias.

Apresentação em tema: "Sincronização Lip Sync Sincronização cursor-voz Entre outras mídias."— Transcrição da apresentação:

1 Sincronização Lip Sync Sincronização cursor-voz Entre outras mídias

2 Lip Sync A diferença de tempo entre LDUs de vídeo e áudio relacionados é chamada de skew Sincronização perfeita: skew = 0 (ms) “Analógico/real”: no dia a dia percebemos o movimento dos lábios antes do áudio, porque a velocidade da luz é maior do a do som

3 Lip Sync (cont.) Experiências –erros são mais facilmente notados no começo e fim de pausas, e quando há mudança de tom (ênfase) –“in sync”: -80ms (áudio depois do vídeo) < skew < +80ms (áudio antes do vídeo) –“out of sync”: skew +160ms o efeito de “out of sync” é tão forte que é mais percebido do que o próprio conteúdo –quanto maior a resolução, maior a percepção de erros de sincronização

4 Quanto menor a explicação, mais crucial (necessária) a sincronização Lip sync: skew discutido entre 40ms e 160ms Cursor-áudio: 250ms e 1500ms “in sync”: –áudio à frente do cursor: 750ms –cursor à frente do áudio: 500ms “out of sync”: skew 1250ms apontar para uma posição enquanto se discute outra dificulta a compreensão Sincronização Cursor-Áudio

5 Sincronização entre outras mídias Áudio-animação: não tão estrita quanto lip sync –No entanto.... tão forte quanto (80ms) na correlação entre um evento barulhento e sua representação visual - ex.: batida de carros Áudio-áudio –fortemente acoplados –fracamente acoplados

6 Outras mídias (cont.) Estéreo –fortemente acoplado –atraso em um canal causa percepção de mudança da localização da fonte do som –“in sync”: -11ms < skew < +11ms Voz-música de fundo –fracamente acoplado –skew de 500ms

7 Modelo de Referência Sincronização multimídia Necessário para –entender requisitos de sincronização multimídia –identificar e estruturar mecanismos de suporte a execução da sincronização –identificar interfaces entre mecanismos de execução –comparar soluções

8 Modelo de Referência (cont.) Alguns esquemas de classificação: –sinc. intrastream (granularidade fina) e sinc. interstream –sinc. ao vivo e sinc. sintética –controle de sincronização distribuído –baseado em protocolos –baseado em servidores –baseado em nós sem estrutura de servidores local –controle em várias camadas –servidores locais

9 Modelo (cont.) Mídia: sinc. intrastream Stream: sinc. interstream Objeto: apresentação (incl. mídias independentes de tempo) Especificação:autoria de aplicações multistream Aplicação multimídia Interfaces

10 Modelo (cont.) Camada de mídia –sincronização intrastream através do uso de mecanismos de controle de fluxo entre os dispositivos produtor e consumidor –feixes múltiplos: compartilhamento afeta os requisitos de tempo real garantias através de reserva de recursos e esquema de gerenciamento

11 Modelo (cont.) Camada de Streams –uma aplicação usando esta camada é responsável por iniciar, parar e agrupar feixes e –pela definição de QoS em termos de parâmetros de tempo –também responsável pela sincronização com mídias independentes de tempo

12 Modelo (cont.) Camada de objetos –opera em todos os tipos de mídia e –esconde as diferenças entre mídias discretas e mídias contínuas –abstração: apresentação completa e sincronizada –recebe uma especificação (ex.: MHEG) de sincronização como entrada e é responsável pelo escalonamento correto da apresentação –não executa a sincronização intrastream ou interstream - usa os serviços da camada de streams –exemplo de uma implementação da camada de objetos: MHEG engine

13 Modelo (cont.) Camada de especificação –contém ferramentas para a criação de especificações de sincronização: editores de sincronização editores de documentos multimídia sistemas de autoria

14 Camada de especificação (cont.) Métodos de especificação - categorias: –baseados em intervalos: especificação de relações temporais entre os intervalos de tempo das apresentações de objetos de mídia –baseados em eixos: relaciona eventos a eixos compartilhados pelos objetos da apresentação –baseados em fluxo de controle: em pontos de sincronização identificados, o fluxo da apresentação é sincronizado –baseados em eventos: eventos disparam ações de apresentação

15 Sincronização em um Ambiente Distribuído Maior complexidade devido a –armazenamento distribuído de informações de sincronização –localização diferente dos objetos envolvidos na apresentação –comunicação entre os sites de armazenamento e apresentação introduz atrasos adicionais e jitter

16 Sincronização distribuída (cont.) Transporte da especificação de sincronização –entrega completa antes do início da apresentação mais usado em sincronização sintética desvantagem: atraso –uso de um canal de sincronização adicional preferível no caso de sincronização ao vivo não causa atrasos adicionais nas mídias envolvidas difícil de gerenciar no caso de múltiplas fontes FonteDestino sincronização vídeo áudio

17 Sincronização distribuída (cont.) Transporte da especificação de sincronização –feixes de dados multiplexados único canal de comunicação dificuldade: seleção de QoS apropriados aos requisitos das mídias envolvidas difícil de gerenciar no caso de múltiplas fontes FonteDestino vídeo áudio sincronização

18 Sincronização distribuída (cont.) Localização de operações de sincronização –no destino –na fonte

19 Sincronização distribuída (cont.) Sincronização multi-passos –sincronização durante a captura (ex.: digitalização de quadros de vídeo) –sincronização da recuperação (ex.: acesso sincronizado a quadros de um vídeo armazenado) –sincronização durante a entrega de LDUs à rede –sincronização durante o transporte (ex.: por protocolos isócronos) –sincronização no destino (entrega sincronizada aos dispositivos de saída) –sincronização no dispositivo de saída

20 Sincronização distribuída (cont.) Decisões em um ambiente distribuído –seleção do tipo de transporte para a especificação da sincronização –localização das operações de sincronização –sincronização de relógios –planejamento dos passos no processo de sincronização –operações nos objetos (ex.: descompressão)

21 Modelo: Resumo

22

23