Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo Márcio Gonçalves METI Orientador: Prof. Tomás Brandão, ISCTE-IUL Co-Orientadora: Prof.ª Maria Paula Queluz, IST Apresentação da Dissertação de Mestrado

Outline Motivação e Objetivos Implementação da Ferramenta Demonstração Tecnologia Interface gráfica Características Contribuições adicionais Demonstração Testes de Avaliação Subjetiva Síntese e Trabalho Futuro Estes são os topicos da apresentaçao.. Como o trabalho consiste na elaboraçao de uma ferramenta de sw, no meio da apresentaçao vai haver uma pequena demonstraçao para observarmos algumas das principais funcionalidades da ferramenta Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo

1. Motivação e Objetivos

Qualidade de vídeo Definida como uma medida da degradação visual, percepcionada pelos utilizadores, depois do vídeo ser sujeito a perdas devido a codificação e/ou transmissão Perdas de transmissão Efeito de bloco A qualidade de video é um dos principais aspetos a ter em consideraçao na avaliaçao da qualidade de experiencia dos consumidores. Esta qualidade de video pode-se degradar ao passar por sistemas de codificaçao e/ou transmissao devido a perdas introduzidas por estes sistemas. A essas perdas da-se o nome de artefactos. Como por exemplo nestas 2 imagens… Se aplicarmos uma taxa de codificaçao muito forte, mesmo com um codec muito bom pode ser perceptivel alguns artefactos Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 4

Avaliação da qualidade de vídeo Avaliação Subjetiva Realização de testes em que os observadores humanos avaliam por si a qualidade de sequências de vídeo Avaliação Objetiva Avaliação automática de uma sequência de vídeo sem a intervenção direta de humanos (através de algoritmos) A avaliaçao da qualidade de video pode ser feita de 2 maneiras: avaliaçao subjetiva e avaliaçao objetiva A avaliaçao subjetiva requer um nº significativo de pessoas, normalmente não especialistas em video, e muito cuidado na sua preparação. Este tipo de avaliaçoes normalmente não são feitas em tempo real e consomem muito tempo. Por isso as operadores de tv preferem fazer avaliaçoes objetivas que podem ser feitas em tempo real, assim como a obtençao de medidas de qualidade No entanto estes algoritmos so são viaveis depois de confrontar os resultados destes com dados provenientes das avaliaçoes subjetivas, por isso as tecnicas de metricas objetivas precisam das avaliaçoes subjectivas Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 5

Testes de avaliação subjetiva Software Configuração de testes subjetivos Efetuar testes de avaliação subjetiva Tratamento de resultados Bases de Dados Armazenamento de sequências de vídeo Disponibilização dos resultados (MOS, DMOS) Para efetuar testes da avaliaçao subjetiva da qualidade de video é necessario, para alem das pessoas que vao avaliar a qualidade do video, sao necessarias ferramentas para configuraçao e elaboraçao dos teste, assim como calculo dos resultados Os resultados provenientes dos testes subjetivos devem ser guardados em BD, para depois comparar os valores com os resultados provenientes das avaliaçoes objetivas e validar o sw Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 6

Limitações de ferramentas existentes Variedade de métodos normalizados para avaliação subjetiva de vídeo Falta de suporte para auxílio à preparação dos testes processamento estatístico dos resultados Infelizmente não existe um grande nº de bases de dados com avaliaçoes subjetivas e existe um nº ainda mais reduzido de ferramentas com suporte à realiazaçao deste tipo de avaliaçoes. E as que existem têm algumas limitaçoes como por exemplo Falta de alguns métodos normalizados para avaliação subjectiva de vídeo Falta de suporte para auxílio à preparação dos testes Falta de suporte para processamento estatístico dos resultados Primeiro existem poucas ferramentas, Não existe uma ferramenta que implemente SS e DS. Exemplo de uma BD com resultados de avaliaçoes subjetivas Na pratica Não existe um largo numero de ferramentas de suporte à realização de testes subjetivos, porque a maior parte das ferramentas são desenvolvidas pelas proprias instituiçoes que elaboram os testes Existe um número reduzido de ferramentas disponíveis para realização de testes de avaliação subjetiva Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 7

Objetivos Construção de uma ferramenta capaz de efetuar avaliações subjetivas da qualidade de vídeo Visualização de vídeos com resoluções HD (1920x1080) Tratamento estatístico de dados e extração de valores de MOS (Mean Opinion Scores) Inclua novas metodologias, não normalizadas, de avaliação subjetiva e deteção de outliers Realização de testes de avaliação subjectiva usando a ferramenta desenvolvida Disponibilização dos resultados obtidos à comunidade científica Por tanto o principal objetivo passou por desenvolver uma ferramenta capaz de realizar avaliaçoes subjetivas da qualidade de video tentando ultrapassar as limitações apresentadas anteriormente das ferramentas existentes. E elaborar novas metodologias de avaliaçao subjetiva e detecçao de outliers ainda não normalizadas. Depois de efetuados todos os testes de avaliaçao subjetiva, os resultados provenientes destes assim como as sequencias de video utilizadas serao disponibilizadas pela comunidade cientifica. Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 8

2. Implementação da Ferramenta

Tecnologia de implementação Desenvolvidos 3 protótipos C++ OpenCV – Open Source Computer Vision Java JMF – Java Media Framework VLCJ – VideoLan Client Java Razões para a escolha: Java – o facto de ser portável JMF – a biblioteca VLCJ não permitia a implementação de algumas funcionalidades necessárias JAVA com JMF Antes de começar a desenvolver a ferramenta propriamente dita foi feito um estudo para decidir qual a tecnologia de implementaçao. foram implementadas três mini-demos em dois tipos de tecnologia diferentes (Java, C++). Nestas foram experimentadas três bibliotecas para trabalhar com vídeo. Em C++ utilizou-se a biblioteca OpenCV é uma biblioteca mais completa no que diz respeito ao processamento de imagem Estas mini-demos foram construídas com uma interface gráfica bastante simples, apenas com um botão para iniciar o vídeo e um painel para visualizar o vídeo (Figura 12 e 13). Para testar a viabilidade da elaboração da ferramenta e escolha mais adequada da tecnologia e biblioteca. Há partida a biblioteca VLCJ seria a candidata mais forte, por ser mais recente e por e por suportar uma maior variedade de formatos de video. Mas na pratica a biblioteca VLCJ apresentou algumas limitaçoes, como por exemplo: Impossibilidade de se obterem as dimensões do vídeo e sua correta duração antes do vídeo ser visualizado; Dificuldade em capturar eventos ao ser utilizado o rato; Impossibilidade de se adicionarem sentinelas aos eventos do vídeo (por exemplo quando o vídeo termina); Flash a negro ao ser iniciado o vídeo. VLCJ The vlcj project provides Java bindings to allow an instance of a native vlc media player to be embedded in a Java AWT Window or Swing JFrame. You get more than just simple bindings, you also get a higher level API that hides a lot of the complexities of working with libvlc JMF The Java Media Framework API (JMF) enables audio, video and other time-based media to be added to applications and applets built on Java technology. Conclusão: Este trabalho poderia ser efectuado em diversas tecnologias. Tendo em conta os requisitos principais para implementação desta ferramenta, foi escolhida a tecnologia que (1) cumpria todos os requisitos, (2) mais simples de operar/adequada para a elaboração da ferramenta, (3) o mestrando está mais familiarizado e obteve mais contacto durante todo o seu processo de aprendizagem, (4) com a tecnologia mais portável. Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 10

Interface gráfica JAVA com JMF Ficheiros de texto Sequências de Vídeo GUI JAVA com JMF Existem 3 componentes fundamentais que permitem o correto funcionamento da ferramenta. Na GUI onde são configurados os testes e visualizados as sequencias de video. E os ficheiros de texto armazenam informaçao relativa à configuraçao dos testes e resultados provenientes das avaliaçoes subjetivas A GUI tem 3 menus… Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 11

Ligeiramente Incómodo Características (1) 5 Excelente 4 Boa 3 Razoável 2 Pobre 1 Má Métodos Single Stimulus (SS) Absolute Category Rating with Hidden Reference (ACR-HR) Artifact Visibility Continuous Assessment (AVCA) Métodos Double Stimulus (DS) Double Stimulus Impairment Scale (DSIS) Stimulus Comparison Adjectival Categorical Judgement (SCACJ) -3 Muito Pior -2 Pior -1 Ligeiramente Pior Igual 1 Ligeiramente Melhor 2 Melhor 3 Muito Melhor Os métodos para avaliação subjectiva da qualidade de vídeo podem ser divididos em dois tipos de métodos: Single Stimulus (SS) e Double Stimulus (DS). Nos métodos SS uma única imagem, ou sequência de imagens, é apresentada ao avaliador. Enquanto que nos métodos DS são apresentadas duas imagens, ou sequências de imagens, onde avaliador fornece o índice de relação entre as duas apresentações. Existem ainda métodos de comparação, onde são efectuadas comparações relativas de qualidade entre pares de sequências. Nesta ferramenta foram implementados 4 metodos de avaliaçao subjetiva, 2 SS e 2 DS. E respetivas escalas de avaliaçao Para o metodo ACR-HR para alem dos valores de MOS são apresentados tambem os valores de DMOS = MOS ref – MOS teste Métodos Single Stimulus (SS) Absolute Category Rating (ACR) Absolute Category Rating with Hidden Reference (ACR-HR) Single Stimulus Continuous Quality Evaluation (SSCQE) Métodos Double Stimulus (DS) Degradation Category Rating (DCR) ou Double Stimulus Impairment Scale (DSIS) Double Stimulus Continuous Quality Scale (DSCQS) Simultaneous Double Stimulus for Continuous Evaluation (SDSCE) Subjective Assessment Methodology for Video Quality Evaluation (SAMVIQ) Métodos de Comparação Pair Comparison (PC) Stimulus Comparison Adjectival Categorical Judgement (SCACJ) 5 Imperceptível 4 Perceptível 3 Ligeiramente Incómodo 2 Incómodo 1 Muito Incómodo Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 12

Pontuação atribuída pelo participante j à condição de teste i Características (2) Configuração de testes subjetivos Famílias de vídeos Ordem de visualização pseudo-aleatória Drag and drop Métodos de deteção de outliers ITU Method Correlation Analysis Apresentação de resultados Tabelas, gráficos, ficheiros CSV Pontuação atribuída pelo participante j à condição de teste i µ 𝑖 = 1 𝑁 𝑗=1 𝑁 𝜑 𝑖,𝑗 Umas das grandes vantagens desta ferramenta é o modo como sao configurados os testes de avaliaçao subjetiva… As sequencias são divididas em grupos, onde cada grupo tem, ou não depende do tipo de metodo, um video de refencia. 1º escolhemos um grupo videos selecionamos o video de refencia, depois adicionamos esse grupo a uma lista onde vai ser gerada a ordem de visualizaçao dos videos durante o teste. Esta ordem pode ser alterada atraves de um processo Random, explicar o Random, falar do Seed id. Foram implementados 2 metodos de detecao e rejeiçao de outliers. ITU Method: É feita a media das pontuaçoes dos participantes , depois mede-se o nº de vezes que o participantes votou abaixo e acima do intervalo de guarda Problemas: participantes com pontuaçoes incoerentes entram para a media, se o participante atribuir sempre a mesma pontuaçao aos video não é rejeitados, se o participante atribuir sempre pontuaçoes acima ou sempre abaixo da media não é rejeitado. Correlation Analysis: É calculada a media das pontuaçoes dos participantes, depois é feita uma comparaçao entre os coeficientes da correlaçao entre cada participante e a media das pontuaçoes Formula: onde U(i) representa a media das pontuaçoes dos N participantes para uma determinada condiçao de teste i. Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 13

Contribuições adicionais (1) Artifact Visibility Continuous Assessment (AVCA) Sequência de vídeo longa, contendo artefactos isolados introduzidos artificialmente Pretende-se avaliar a perceção (ou não) desses artefactos por parte de um observador O observador assinala os instantes em que perceciona um artefacto Inexistência de escalas de avaliação O método que foi desenvolvido designou-se por Artifact Visibility Continuous Assessment (AVCA) e pretende avaliar o impacto causado por um determinado artefacto introduzido no vídeo. Consiste em apresentar ao observador uma sequência de vídeo mais longa, que poderá ser uma composição de sequências de vídeo, de forma a diversificar o conteúdo (cenas) que é exibido. Sempre que o observador se aperceba de um artefacto durante a apresentação da sequência de vídeo, deverá assinalá-lo (usando o rato). É possível que nem todas as perdas introduzidas no vídeo, por processos de codificação ou transmissão, seja percetíveis. Como exemplos de situações que podem levar a que um observador não se aperceba de um artefacto tem-se: perdas isoladas de pacotes que ocorrem em zonas estáticas do vídeo, perdas que ocorrem fora da região de interesse do vídeo e efeitos de mascaramento provocados pelo próprio conteúdo do vídeo. Devido à natureza deste teste, não existe uma escala de avaliação de qualidade. Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 14

Contribuições adicionais (1) Artifact Visibility Continuous Assessment (AVCA) Cálculo de percentagens: Verdadeiros positivos Falsos positivos Falsos negativos Tempo de resposta do utilizador (1,5 seg) Explicar a configuraçao do teste. Explicar a avaliaçao do teste. Foi calculado o tempo de resposta médio, assim como seu desvio padrão. A margem foi definida somando a média ao dobro do desvio padrão, tendo-se obtido um valor próximo de 1.5 segundos. Esta margem contempla hesitações e falta de experiência em testes de visualização de artefactos por parte do participante. Um verdadeiro positivo (TP) ocorre quando um participante assinala um artefacto e de facto esse artefacto está presente num instante de tempo próximo do assinalado. Por outro lado, quando um participante não assinala um artefacto existente na sequência vídeo, está-se em presença de um falso negativo (FN). Existe também a possibilidade do participante assinalar um artefacto quando de facto não existe nenhum artefacto introduzido próximo desse instante de tempo – esse caso será um falso positivo (FP). Durante a visualização do vídeo, é importante que não existam atrasos devido a falta de capacidade de processamento do computador. Se a visualização do vídeo não decorrer de uma forma natural e fluida, o participante pode assinalar erradamente artefactos de visualização e não artefactos introduzidos para efeitos de teste. Numa situação deste género será de esperar um aumento da taxa de falsos positivos. Ts- tempo em que o artefacto é assinalado Ta- tempo em que surge o artefacto Ar- tempo de resposta Ns- nº de clicks do participante Na- nº total de artefactos Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 15

Contribuições adicionais (2) Correlation Analysis Video Sequence v01 v02 v03 v04 v05 (…) RawMOS MOS Video Ref DMOS big_ships_480p30_2mbs 1 2   1.47 1.46 NO 3.23 old_town_480p25_2mbs 1.67 1.62 3.3 soccer_480p30_3mbs 1.4 1.38 3.16 station_480p25_2mbs 3 3.07 park_joy_480p25_5mbs 2.4 2.31 2.61 snow_mnt_480p30_3mbs 4 2.6 2.46 2.08 sunflower_480p25_1mbs 5 4.93 4.92 YES 0.0 raven_480p30_2mbs 4.67 4.62 0.15 3.8 3.77 1.15 1.87 1.69 3.0 1.77 2.77 2.27 2.23 3.54 2.2 2.15 1.27 1.23 3.31 3.73 3.69 1.08 2.47 2.38 Correlation coefficient: 0.93 0.89 0.95 0.96 0.92 𝜌 𝑗 = 𝑖=1 𝑁 𝑥 𝑖,𝑗 − 𝜇 𝑥 (𝑗) × 𝑦 𝑖 − 𝜇 𝑦 𝑖=1 𝑁 𝑥 𝑖,𝑗 − 𝜇 𝑥 (𝑗) 2 × 𝑖=1 𝑁 𝑦 𝑖 − 𝜇 𝑦 2 Problemas do ITU Method: participantes com pontuaçoes incoerentes entram para a media, se o participante atribuir sempre a mesma pontuaçao aos video não é rejeitados, se o participante atribuir sempre pontuaçoes acima ou sempre abaixo da media não é rejeitado. Explicar a formula da correlaçao de Pearson (Este coeficiente é definido, em geral, para duas variáveis e mede o grau de associação linear entre elas.) onde N é o número de sequências de vídeo utilizadas durante os testes subjetivos, x(i,j) é a pontuação dada pelo participante j à sequência de vídeo i e Ux(j) representa a média das pontuações do participante j. O valor médio das pontuações dos restantes participantes para cada sequência de vídeo é representado por y(i), e finalmente Uy representa a média das pontuações dadas pelos restantes observadores a todas as sequencias de vídeo. Correlation Analysis: É calculada a media das pontuaçoes dos participantes, depois é feita uma comparaçao entre os coeficientes da correlaçao entre cada participante e a media das pontuaçoes varias vezes ate que esta media não tenha pontuaçoes de participantes invalidos (), É pedido ao utilizador para inserir um valor de threshold, apartir do qual os resultados dos participantes são rejeitados. Tabela: explicar a tabela, coeficiente de correlaçao. como este teste foi efetuado com o metodo ACR-HR para alem dos valores de RawMOS e MOS aparecem tambem os valores de DMOS e Video Ref Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 16

3. Demonstração

4. Testes de Avaliação Subjetiva

Condições dos testes Metodologia ACR-HR 15 observadores Testes de acuidade visual e despiste de daltonismo Procedimento de calibração dos observadores Sessão de 15min Sequências de vídeo: Resolução SDTV (720x480) 10 segundos de duração Codificadas em H.264 PLR entre 0.1% e 8% -> 56 vídeos Raw (YUV) / AVI. A ferramenta foi utilizada em cenário de produção durante a realização de testes subjetivos no IT-IUL. Nestes testes participaram 15 observadores de ambos os géneros. A metodologia aplicada durante os testes foi o ACR-HR, porque: num cenario IPTV o utilizador não tem acesso à referencia, e tem uma melhor relaçao entre o numero de videos avaliados e a duraçao do teste. As sequencias de video foram escolhidas com base nos seus valores de actividade temporal e espacial atraves de um algoritmo de clustering (gerou 8 grupos), depois escolheu-se uma sequencia de video de cada grupo com base no conteudo semantico do video. Foram codificados em H264 com diferentes debitos (1 a 5Mbps), depois introduzidas perdas de pacotes nessas sequencias devido a erros de transmissao. E assim geradas as 56 sequencias de video utilizadas nos testes posteriormente descodificadas em formato RAW encapsulados em ficheiros AVI . Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 19

Resultados Método de avaliação subjetiva ACR-HR, com deteção de outliers utilizando ITU Method No eixo horizontal esta representado o numero total das sequencias e não a ordem com que as sequencias foram visualizadas, porque este grafico está ordenado pelos valores de MOS A realização dos testes permite extrair os valores de MOS que são utilizados no desenvolvimento e análise de desempenho de algoritmos de avaliação objetiva da qualidade de vídeo. Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 20

5. Síntese e Trabalho Futuro

Síntese Desenvolvida uma ferramenta para realizar avaliação subjetiva da qualidade de vídeo GUI intuitiva e fácil de utilizar 4 métodos de avaliação subjetiva ACR-HR; DSIS; SCACJ; AVCA; 2 métodos de deteção automática de outliers Método ITU; Método da correlação 3 modos de apresentação de resultados Tabelas; Gráficos; Ficheiros CSV Utilização experimental da ferramenta Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 22

Trabalho futuro Disponibilizar os resultados obtidos à comunidade científica Implementação de métodos para avaliação subjetiva de imagens fixas Implementação de mais métodos de avaliação subjetiva de vídeo Fazer os testes de acuidade visual e despiste de daltonismo a partir da própria ferramenta Implementação de métodos para avaliação subjetiva de imagens fixas – facilmente se poderia implementar, visto que a preparação e configuração dos testes seria muito semelhante. Implementação de novos métodos de avaliação subjetiva de vídeo – para a ferramenta ficar mais completa e abrangente, por exemplo novos métodos de avaliação continua. Integração com um codificador de sequências de vídeo – visto ser necessário um programa que codifique as sequências, tendo como base uma sequência original (referencia), para que seja possível fazer as avaliações subjetivas da qualidade de vídeo. Ao ser implementado nesta ferramenta não era necessário recorrer a um programa externo para gerar sequências codificadas. Utilizava-se a mesma ferramenta para efetuar todas estas operações. Utilizar uma outra biblioteca para implementar os procedimentos envolvidos na visualização de vídeo, que seja mais atual do que a biblioteca JMF. Esta deverá permitir ler formatos de vídeo mais recentes e ter suporte para máquinas com sistema operativo de 64bits. Fazer os testes de acuidade visual e despiste de daltonismo a partir da própria ferramenta. Disponibilizar os resultados obtidos à comunidade científica Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 23

Ferramenta para Avaliação Subjectiva da Qualidade de Vídeo Orientador: Prof. Tomás Brandão, ISCTE-IUL Co-Orientadora: Prof.ª Maria Paula Queluz, IST   Mestrado em Engenharia de Telecomunicações e Informática Obrigado!

Anexos Falar dos participantes onde fi(i,j) é o valor dado pelo participante para a condição teste . Sendo MOS(i) o valor atribuído pelos observadores a uma condição de teste. Falar do intervalo de guarda Falar de rejeição de resultados DMOS - onde é o valor de MOSref resultante para a sequencia de referência correspondente à condição de teste , e é o valor de MOSteste relativo à condição de teste . Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 25

Testes de avaliação subjetiva Exemplo da estrutura de uma sessão de teste Colocar uma imagem degradada do lado direito Falar da preparação dos testes subjetivos Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 26