Sincronização Em multimídia: relações temporais entre objetos de mídias Objetos dependentes de tempo: –apresentados como um feixe de mídia –relações temporais entre as unidades consecutivas do feixe –se as durações de todas as unidades são iguais = objeto de mídia contínua

Introdução (cont.) Objetos independentes de tempo: –a semântica do conteúdo não depende de apresentação em função do tempo Em um sistema multimídia, a sincronização pode compreender relações entre objetos dependentes e objetos independentes de tempo –Exemplo: aula - sincronização das transparências com os comentários (voz)

Introdução (cont.) Sincronização se dá em várias camadas de um sistema multimídia No sistema operacional e no nível de comunicação o objetivo é evitar o jitter –problema: interrupção ou gaps em um feixe de áudio No suporte a execução o objetivo é manter as relações temporais entre os vários feixes –problema: falta de sincronia entre lábios e voz

O próximo nível cuida da sincronização entre mídias dependentes de tempo e independentes de tempo, com interação do usuário –problema: falar sobre uma transparência que não está sendo mostrada Introdução (cont.)

A relação temporal (sincronização) entre objetos de mídias pode ser especificada implícita ou explicitamente Implicitamente: quando durante a captura, o objetivo da apresentação é mostrar as mídias com a mesma sincronização –Ex: gravação e apresentação de áudio-vídeo

Introdução (cont.) Especificação explícita: no caso de apresentações compostas de objetos de mídias capturados independentemente

Relações entre Mídias Além das relações temporais: derivadas da integração de objetos dependentes de tempo, as múltiplas mídias também possuem relações de conteúdo e relações espaciais

Relações de Conteúdo Dependência de dados Diferentes visões dos mesmos dados Exemplo: 2 gráficos baseados nos mesmos dados, mas mostram interpretações diferentes dos dados Estruturas de dados ou interfaces de objetos comuns podem ser usados para apresentar objetos de mídias diferentes

Relações Espaciais Definições de espaços usados para a apresentação de objetos em um certo ponto no tempo Exemplo: relação entre “a” e B B a B a Quando obj. “a” entrar na região B, destaque a região em amarelo

Relações Temporais Dependências temporais entre objetos de mídias Particularmente interessantes quando objetos dependentes de tempo estão presentes Alguns consideram sincronização como uma combinação de relações de conteúdo, espaciais e temporais –Ex: quando objeto “a” tiver valor = 20 e entrar na região B, aumente a velocidade de seu movimento sincronizado com a música M

Sincronização Intra-objeto t 40ms 25 frames/s

Sincronização Inter-objeto Vídeo Áudio-1 I1I2I3 Animação Áudio-2 t

Sincronização ao Vivo e Sintética Ao vivo: o objetivo é reproduzir em uma apresentação as relações temporais como no processo de captura Sintética: as relações temporais são especificadas artificialmente –objetos criados independentemente uns dos outros –sincronização sintética é bastante usada com objetos armazenados, arranjados para se combinarem em novos objetos multimídia

Sincronização Sintética (cont.) A ênfase é dar suporte à flexibilização de relações de sincronização entre mídias Duas fases se distinguem: –especificação: onde as relações temporais são definidas (usando, por ex., um editor de sincronização) –apresentação: um sistema de execução apresenta os dados em modo sincronizado

Sincronização Sintética (cont.) Objetos armazenados em um cenário de sincronização ao vivo também podem ser incluídos em uma apresentação de sincronização sintética Outra variação é a especificação de sincronização em tempo de execução

Sincronização ao Vivo e Sintética (cont.) Ao vivo: a sincronização é definida implicitamente durante a captura Sintética: explicitamente Adaptar a qualidade da apresentação a demandas do usuário ou à capacidade dos recursos do sistema é possível em ambos os casos

Requisitos de Apresentação Para mostrar corretamente dados multimídia na interface do usuário, sincronização é essencial Não é possível fazer medições objetivas de sincronização do ponto de vista da percepção humana, que é subjetiva - varia de pessoa para pessoa

Requisitos de Apresentação (cont.) Para sincronização intra-objeto: requer precisão com relação a atrasos na apresentação das unidades lógicas de dados (LDUs) Para sincronização inter-objeto: precisão na apresentação paralela de objetos de mídias

O problema do gap O que fazer quando uma apresentação estiver bloqueada(parada)? –Vídeo: mostrar a última imagem? –Áudio: última parte deve ficar sendo repetida? A duração do gap é significante para a decisão (alguns mili-segundos, alguns segundos, alguns minutos...) –apenas a aplicação (e não o sistema) pode selecionar a melhor solução

O problema do gap (cont.) O conceito de apresentações alternativas: Ex.: –caso um gap entre um vídeo atrasado e um áudio exceda um limite pré-definido, a apresentação do áudio é mudada para uma apresentação alternativa –caso o gap seja pequeno, a apresentação do áudio pode ser parada até que o gap seja “fechado”

Re-amostragem Idéia básica: aumentar ou baixar a velocidade de feixes com o intuito de sincronização Pode-se realizar re-amostragem de sequências de vídeo adicionando-se ou deletando-se imagens de um feixe (ex.: conversão NTSC/PAL) Em feixes de áudio é pouco (ou in)tolerável a duplicação ou deleção de blocos