Síntese de Imagens Fisicamente Correctas: Aplicações e Desafios Luís Paulo Peixoto dos Santos Abril, 2005

Síntese de Imagens por Computador Objectivo A partir de uma descrição geométrica de um mundo pretende-se sintetizar uma imagem correspondente a esse mundo observado a partir de determinado ponto. Departamento de Informática Universidade do Minho

Síntese de Imagens: O modelo de iluminação O modelo de iluminação utilizado influencia a qualidade da imagem final: este determina quais os fenómenos relacionados com o transporte da luz que são incluídos no processo de síntese. Os modelos de iluminação mais simples incluem pouquíssimos efeitos relacionados com a luz: Iluminação local: apenas a interacção de cada objecto com as fontes de luz é considerada (luz directa) Iluminação global: o efeito da luz reflectida por outros objectos (que não as fontes de luz) também é considerado para calcular a iluminação de cada ponto. Departamento de Informática Universidade do Minho

Síntese de Imagens: Iluminação local Os modelos de iluminação local consideram apenas a iluminação directa: Interacção entre cada objecto e as fontes de luz Fenómenos resultantes da interacção entre objectos são ignorados: Sombras Reflexão especular (ex.: espelhos) Transmissão especular (ex.: vidros) Departamento de Informática Universidade do Minho

Síntese de Imagens: Iluminação local [Foley90] Departamento de Informática Universidade do Minho

Síntese de Imagens: Iluminação Global Na iluminação de cada ponto é incluída, além da componente directa, a luz reflectida ou transmitida por outros objectos que não as fontes de luz. Observador Directa Indirecta Departamento de Informática Universidade do Minho

Síntese de Imagens: Iluminação Global – Sombras [Peter Milner, AccuRender3] Departamento de Informática Universidade do Minho

Síntese de Imagens: Iluminação Global – Reflexão Especular [Greg Ward, Radiance] Departamento de Informática Universidade do Minho

Síntese de Imagens: Iluminação Global – Transmissão Especular [Graeme Watt, Radiance] Departamento de Informática Universidade do Minho

Síntese de Imagens: Iluminação Global – Transmissão Especular e Refracção [Radiance] Departamento de Informática Universidade do Minho

Síntese de Imagens: correcção física vs. fotorealismo No processo de síntese de imagens são muitas vezes usados modelos de iluminação empíricos que produzem imagens foto-realistas, mas que não correspondem ao que seria realmente visto se aquele mundo existisse! [Gilles Tran, POVRay] Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas Objectivo “… desenvolver modelos de iluminação baseados na física e processos de visualização perceptuais que produzam imagens sintéticas visual e/ou mensuravelmente indistinguíveis e imagens do mundo real…”. [Greenberg, 1997] Estas imagens podem ser usadas de forma preditiva, em oposição a imagens que apenas têm um grande impacto visual. Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas Os modelos de iluminação e os mecanismos de transporte de luz utilizados para sintetizar estas imagens devem ser fisicamente correctos, não podendo utilizar aproximações empíricas. Todas as grandezas utilizadas na modelação do mundo virtual, devem ser grandezas físicas. A síntese de imagens fisicamente correctas é, portanto, uma simulação de um processo físico. Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: Aplicações Arqueologia Arquitectura Engenharia da Iluminação Publicidade e Marketing Simuladores Cinema Jogos para Computador Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: Aplicações - Arqueologia [Temple of Kalabsha, V. Sundstedt, P. Ledda, A. Chalmers, Univ. of Bristol] Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: Aplicações - Arquitectura [London Underground Control Centre, A. Sedgwick, S. Walker, O. Arup, Radiance] Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: Aplicações – Engenharia da Iluminação Linhas de iso-luminância Imagem original [Greg Ward, Radiance] Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Ray tracing Turner Whitted, Agosto 1979 Baseado em métodos já usados na Física Óptica, este algoritmo engloba de uma forma elegante sombras, reflexões e transmissões especulares. Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Radiosidade Goral, Torrance and Greenberg, 1984 Simula as interreflexões difusas, assumindo que todos os materiais são reflectores difusos perfeitos. Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica A radiosidade simula o “color bleeding” Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Ray Tracing Distribuído Cook, Porter and Torrance, 1984 Suaviza os resultados do ray tracing, permitindo simular reflexões glossy, sombras suaves, translucência, motion blur e profundidade de campo. Ray tracing clássico Reflexões glossy Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Ray Tracing Distribuído Cook, Porter and Torrance, 1984 Ray tracing clássico Sombras suaves Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Ray Tracing Distribuído Cook, Porter and Torrance, 1984 Ray tracing clássico Translucência Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Ray Tracing Distribuído Cook, Porter and Torrance, 1984 Motion blur Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Ray Tracing Distribuído Cook, Porter and Torrance, 1984 Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Equação de rendering e path tracing Kajiya, 1986 A equação de rendering descreve matematicamente o transporte da luz, permitindo o aparecimento de novos algoritmos que tentam obter uma solução aproximada para o integral. Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Path tracing Kajiya, 1986 Aproximação estocástica à solução da equação de rendering, que é capaz de seguir todos os caminhos da luz: fenómenos especulares, difusos e cáusticas. Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Photon Mapping Henrik Wann Jensen, 1996 Aproximação estocástica à solução da equação de rendering, que permite calcular cáusticas, interreflexões difusas, meios participativos (ex.: fumo, nevoeiro), etc., de uma forma muito mais rápida do que o path tracing. Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Photon Mapping – Iluminação Global Henrik Wann Jensen, 1996 Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Photon Mapping – Cáusticas Henrik Wann Jensen, 1996 Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Photon Mapping – Cáusticas e Meios Participativos Henrik Wann Jensen, 1996 Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Photon Mapping – Meios Participativos Henrik Wann Jensen, 1996 Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Dispersão da Luz Henrik Wann Jensen, 2001 Departamento de Informática Universidade do Minho

Iluminação Global: Evolução Histórica Dispersão da Luz Henrik Wann Jensen, 2001 Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: Desafios Este é um processo computacionalmente muito exigente; A síntese de cada imagem requer um elevado tempo de computação O tempo de rendering inviabiliza a utilização em contextos interactivos, onde se exigem de 10 a 30 imagens por segundo (100 a 33 ms por imagem) Exemplo: o filme SHREK exigiu 10 milhões de horas de rendering Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: Optimizações As abordagens à resolução deste problema têm passado por: Algoritmos mais eficientes Computação Paralela Coprocessadores gráficos Rendering progressivo Rendering selectivo Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: Computação Paralela O processo de síntese é distribuído por várias máquinas Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: Computação Paralela Limitações nas acelerações devido a custos de: Comunicações e sincronização Repetição de trabalho Gestão do paralelismo Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: CoProcessadores Gráficos As placas gráficas são coprocessadores gráficos que podem ser usados para acelerar partes do processo de síntese Modelo de computação diferente do associado aos CPUs Grande evolução nos últimos anos, tanto ao nível do desempenho, como funcionalmente Existem ray tracers, com modelos de iluminação simplificados a correr na placa gráfica http://www.gpgpu.org Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: Rendering progressivo Síntese de imagens progressivamente com maior qualidade: os resultados iniciais, mais grosseiros, podem ser imediatamente apresentados ao utilizador Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: Rendering selectivo As regiões da imagem mais relevantes para o observador são sintetizadas com maior qualidade A restante imagem pode ser sintetizada com parâmetros de qualidade inferior, requerendo menor tempo de execução Esta abordagem apoia-se em limitações do Sistema Visual Humano, que tem tendência para se concentrar apenas em alguns aspectos das imagens que lhe são apresentadas Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: Rendering selectivo Saliency maps Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: Rendering selectivo Task Maps Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: Rendering selectivo Alan Chalmers, Universidade de Bristol Departamento de Informática Universidade do Minho

Síntese de Imagens Fisicamente Correctas: Rendering selectivo Alan Chalmers, Universidade de Bristol Departamento de Informática Universidade do Minho