Visualização Volumétrica Prova Didática www.lsi.usp.br/~mkzuffo/psi5676 Exame de Livre Docência Especialidade: Meios Eletrônicos Interativos Candidato: Prof. Dr. Marcelo Knörich Zuffo

Defesa de Tese de Livre Docência Local: Sala B2-08 Horario: 9:00 Data: 05/12/2001  Título: A Convergência da Realidade Virtual e da Internet Avançada em Novos Paradigmas de TV Digital  Candidato: Prof. Dr. Marcelo Knörich Zuffo Especialidade: Meios Eletronicos Interativos. 

Sumário Introdução (10 minutos) Representação de Dados (5 minutos) Operadores (15 Minutos) Algoritmos de Lapidação (15 Minutos) Exercício (5 minutos) Bibliografia Recomendada

Introdução Apresentação Definições Escopo Terminologia Básica Histórico Aplicações Softwares Disponíveis

Apresentação Aula do Curso de PSI-5676 Visualização Científica Objetivo da Aula: Introduzir conceitos de Visualização Volumétrica Descrever Estruturas de Dados, Operadores e Principais Algoritmos

Livros Recomendados Lichtenbelt, B. & Crane, R. & Naqvi, S. “Introduction to Volume Rendering”, Hewlett-Packard Professional Books, Prentice Hall, 1998. W. Schroeder, K. Martin and B. Lorensen, “The Visualization Toolkit – And Object Oriented Approach to 3D Graphics”, Prentice Hall, 1996. Kaufman, A.E., Introduction to Volume Visualization, A.E. Kaufman (Ed.), IEEE Computer Society Press, 1991. M. Chen, A. K. Kaufman and Roni Yagel, “Volume Graphics”, Springer Verlag, 2000.

Definição “A Visualização Volumétrica é um conjunto métodos para extração de informações a partir de dados volumétricos, através do uso de computação gráfica interativa e imageamento, e está relacionada com a representação, manipulação e lapidação destes dados” . Arie Kaufmann Conjunto fundamental de técnicas para a visualização científica

? Escopo Lapidação Rendering Imagem 2D Volume de Dados > 3D (x, y, z, t)

Escopo Zuffo el al 1997

Terminologia Básica Vóxel, Volume, Célula Vóxel Célula Vóxel Vóxel

Terminologia Básica Vóxel, (Elemento de Volume), amostra de uma posição no espaço; Escalar, vetorial, tupla, matriz, tensor Célula vóxel: conjunto de vóxels organizados em uma célula espacial; Volume: Conjunto de voxels;

Fontes de Dados Volumétricos Tomografia Computadorizada CAT (Computerized Axial Tomography) PET, SPECT, MRI, fMRI) Ultrasom Microscopia Co-focal Baseada em Laser Fluidodinâmica Computacional FEM (Finite Element Analysis) Análise Não Destrutiva Análise Destrutiva Visible Human (2000x2048x1500) Balões

Histórico 1972 Tomografia Computadorizada Hounsfield 1977 Contour Tracking [Fuchs et al.] 1978 Apresentação de superfícies 3d [Sunguroff & Greenberg] 1979 Cuberille [Herman & Liu] 1981 Dephth only shading [Herman & Udupa] 1982 Octree machine [Meagher] Voxel Processor [Goldwasser & Reynolds] 1984 Marching Rays [Tuy & Tuy] 1985 Cube Archicteture [Kaufman & Bakalash] Bach To Front & Front to Back Depht gradient Shading [Gordon et Al.] Contextual shading [Chen et al] 1986 3D Scan convertion [Kaufman & Shimony] Grey-Level Shading [Hoehne & Berstein] 1987 Marching cubes [Lorensen & Cline] 1988 Volume Rendering [Debrin et al., Upson & Keller, Sabella] Ray-casting [Levoy] 1989 Splatting [Westover] 1993 Fourier Rendering [Levoy, Malzsender] 1994 Shear Warp [Levoy]

Aplicações Engenharia Mecânica Medicina Previsão numérica de tempo Geofísica Extração de Petróleo

Análise não Destrutiva

Planejamento Cirúrgico Lapidação Direta Lapidação Indireta

Anatomia

Análise Destrutiva O Homem Visível Zuffo et al. 1999

Aeronáutica Fluidodinâmica Computacional

Softwares Disponíveis OpenGl Volumizer www.sgi.com/volumizer OpenGL www.opengl.org Visualization Tookit www.kitware.com Volume Pro www.rtviz.com Advanced Visualization System www.avs.com

A Biblioteca PVV Parallel Volume Rendering Ambiente de programação voltado para a visualização volumétrica Implementa os principais operadores volumétricos e estruturas de dados Disponível em: www.lsi.usp.br/~pvv Zuffo et al 1996

Conectividade Espacial Taxonomia de Representação Volumétrica Estrutura de Dados Conectividade Espacial Taxonomia de Representação Volumétrica

Conectividade Espacial Superfície 18 conectada

Taxonomia de Representação Volumétrica Volumes Não-conexos Conexos Irregulares Regulares Amorfo Lineares Curvolineares Rectilineares Anisotrópico Isotrópico

Operadores Gradiente Classificadores de Cor e Opacidade Reamostragem Iluminação Volumétrica A Equação de Visualização Volumétrica Composição Volumétrica

Operador Gradiente r j k i

Operador Gradiente Estimadores do gradiente: Roberts Diferenças centrais Diferenças parciais Sobel Interpolação O gradiente aproxima a normal à isosuperfície passando pelo ponto considerado. O módulo de gradiente identifica a existência de uma superfície baseada na variação em torno da superfície

Operador Gradiente Ex. Diferenças centrais f(x,y,z+1) f(x,y-1,z)

Operador Gradiente Ex. Diferenças centrais df(x,y,z)  Df(x,y,z)=f(x+1, y, z)-f(x-1, y, z) dx Dx 2 df(x,y,z)  Df(x,y,z)=f(x, y+1, z)-f(x, y-1, z) dy Dy 2 df(x,y,z)  Df(x,y,z)=f(x, y, z+1)-f(x, y, z-1) dz Dz 2

Operador Gradiente Analiticamente a partir da função de interpolação Para uma célula voxel cúbica de dimensões unitárias F(x,y,z) = Ax + By + Cz + Dxy + Exz + Fyz + Gxyz + H dF(x,y,z) = A + Dy + Ez + Gyz dx dF(x,y,z) = B + Dx + Fz + Gxz dy dF(x,y,z) = C + Ex + Fy + Gxy dz

Reamostragem Interpolação Trilinear f(x,y,z) = A.x + B.y + C.z + D.x.y + E.x.z + F.y.z + H.x.y.z + G

Classificação Atribuição das Propriedades Ópticas ao Vóxels Cor e Opacidade Histograma Original Distribuição dos Tecidos Atribuição dos Materiais

Classificação Função de transferência entre volume de Classificação de cor Função de transferência entre volume de dados originais e volume de cores (pseudocolorização) Ar Gordura Músculo Osso Branco Vermelho Amarelo C(i,j,k) = C(f(i,j,k))

Classificação da Opacidade alpha = | | * O(F(x,y,z)) F(x,y,z) Opacidade (alpha) Magnitude do gradiente função de transferência de opacidade O(F(x,y,z))

Classificação da Opacidade ( ) a x r f i v = - Ñ æ è ç ö ø ÷ ì í ï î 1 se £ + caso contrário Opacidade Magnitude do gradiente 24 limiar da isosuperfície

Iluminação Volumétrica baseada no campo escalar e campo gradiente etapa computacionalmente custosa (operações vetoriais) fundamental para a obtenção de imagens de alta qualidade aplicação da equação de Phong aplicação de modelos de iluminação aos objetos no interior do volume modelo de espalhamento simples (não considerar os efeitos entre vóxeis)

Iluminação Volumétrica ( ) z y x f , c Ka(f(x,y,z)) Coef. de Reflexão Ambiente Kd(f(x,y,z)) Coef. De Reflexão Difusa Ks(f(x,y,z)) Coef. De Reflexão Especular n(f(x,y,z)) Índice de Especularidade N Vetor normal (gradiente) L Vetor Iluminação V Vetor Observação R Vetor Reflexão (L) f(x,y,z) Voxel I Intensidade Luminosa Para R, G e B aplicar a equação abaixo j número de fontes de luz Luz Ambiente Luz Difusa Luz Especular

Um Algoritmo Rápido para a Iluminação Volumétrica z L N r N Representação em coordenadas esféricas N y x L Zuffo 1996 Normalização do volume (adequação da resolução do gradiente) Índice Mód. do Grad. Grad. j Grad. q (8 bits) (8 bits) (8 bits) (8 bits)

Um Algoritmo Rápido para a Iluminação Volumétrica j Q j q q Tabelas de iluminação

Um Algoritmo Rápido para a Iluminação Volumétrica VOLUME T (s) T (s) T /T novo trad trad novo Esfera 2,75 16,40 5,96 Crânio 8,39 57,62 6,86

A Equação de Visualização Volumétrica x   ( t ) dt b  a ( x )  e B dx I  a Chandrasekhar 1949 P. Sabella 1988 Onde: I(x.y) = Intensidade de luz no ponto x,y do plano de projecão; B(x) = Intensidade de luz (refletida emitida) parametrizada sobre o raio de luz; p(t) = opacidade parametrizada sobre o raio; [a,b] = intervalo onde o raio intercepta o volume;

Composição Volumétrica Operador Composição (Porter&Duff 1984) Composição de filmes digitais Versão Discreta da Equação da Visualização Volumétrica ( ) V i v over + = - × 1 a

Algoritmos de Lapidação Algoritmos Básicos Lapidação Indireta de Volume Lapidação Direta de Volumes

Algoritmos de Lapidação (rendering) Algoritmos Básicos Métodos de Lapidação Indiretos Cubos Marchantes Métodos de Lapidação Diretos Traçado de Raios Shear Warp

Algoritmo Básico: Fatiamento

Lapidação Indireta de Volumes Técnicas Indiretas => Estruturas Intermediárias Técnicas por ajuste de superfícies Rastreamento de Contornos Cubos Marchantes Dividing cubes

Rastreamento de Contornos

Cubos Marchantes (“Marching Cubes”) Lorensen & Cline 1987 Algoritmo gerador de superfícies gera uma lista de triângulos utiliza tabela para a criação dos triângulos resultado pode ser visualizado em aceleradores gráficos comerciais resultado pode ser manipulado por pacotes de modelagem

Cubos Marchantes f(x,y,z) = c Superfície Limiar (isosuperfície) Classifique cada vértice f(x,y,z) = c Superfície Limiar (isosuperfície) Célula Voxel Fora da Superfície (vértice >= limiar) Dentro da Superfície (vértice < limiar)

Cubos Marchantes Célula Voxel Classifique cada vértice Construa um índice Endereçe tabela de bordas Interpole vértices dos triângulos Calcule e interpole normais Triângulos e normais

Cubos Marchantes Construa um índice entre 0 e 255 a partir na classificação binária de cada vértice v 1 v 7 v 8 v 3 v 4 v 6 v 5 v 2 v 1 v 2 v 3 v 4 v 5 v 6 v 7 v 8 Índice

Cubos Marchantes 256 combinações se reduzem a 15 Caso 0 Caso 5 Caso 6

Lapidação Direta de Volumes Algoritmo de Traçado de Raios Imagem-Objeto Levoy 1988 Píxel acumulado Plano de Imagem Volume Raio Vóxeis reamostrados

Lapidação Direta de Volumes Algoritmo de Traçado de Raios Raio j k i Vóxel original Vóxel interpolado

Traçado de raios Volume de Entrada voxel Funções classificação de opacidade classificação de cor Imagem Final cor Funções de Cálculo da tonalização Composição RGBO Reamostragem parâmetros observador Volume RGBO Etapa de Processamento Estrutura de dados Legenda

Lapidação Direta de Volumes Algoritmo de Shear Warp Objeto-Imagem Lacroute 1993 Fatias do Volume Plano de imagem Raios de Projeção “Shear” Composição “ Warp ”

Shear-warp Volume de Entrada voxel Funções classificação de opacidade classificação de cor cor Funções de Cálculo da tonalização Imagem Final “Warp” “Shear” RGBO Parâmetros de observador Volume RGBO Composição Imagem Distorcida Etapa de processamento Estrutura de dados Legenda

Exercício para próxima aula Considerando uma célula vóxel cúbica unitária, provar que df(x,y,z) = f(1, y, z)-f(0, y, z) dx df(x,y,z) = f(x, 1, z)-f(x, 0, z) dy df(x,y,z) = f(x, y, 1)-f(x, y, 0) dz

Sumário Introdução Aplicações Organização Espacial Operadores Algoritmos de Lapidação

Bibliografia Recomendada L. Westover, “Footprint Evaluation for Volume Rendering”, ACM Computer Graphics, V. 24, N. 4, Aug 1990, P. 144-153. M.K. Zuffo, A.J. Grant, R.D. Lopes, E.T. Santos and J.A. Zuffo, “A Programming Environment for High-Performance Volume Visualization Applications”, Computer & Graphics, Oxford, V. 20, N. 3, Mai 1996, P. 385-394. Y. Trousset and F. Schmitt, “Active-Ray Tracing for 3D Medical Imaging”, Proceedings of the Eurographics’87, Elsevier Science Publishers, 1887, P. 139-150. Leitão, R B V; Fagundes, R P; Ayres, F J; Santos, E T; Zuffo, M K. “Algoritmo rápido para iluminação volumétrica”. In: SIBGRAPI 9, Caxambu: SBC/UFMG, 1996.Caxambu: p.9-14. P. Sabella, “A Rendering Algorithm for Visualizing 3D Scalar Fields”, ACM Computer Graphics, V. 22, N. 4, Aug 1988, P. 160-167. S. Parker, M. Parker, Y. Livnat, P-P. Sloan and C. Hansen, “Interactive Ray Tracing for Volume Visualization”, IEEE Trans. on Visualization and Computer Graphics, Jul-Set 1999, V. 5, N. 3, P. 238-250. M. Levoy, “Display of Surfaces from Volume Data”, IEEE Computer Graphics and Applications, 1988, V. 8, N. 5, P. 29-37. W. Lorensen, H. Cline, “Marching Cubes: A high Resolution 3D Reconstruction Algorithm”, ACM Computer Graphics, 21(4), p. 163-170, 1987 P. Lacroute and M. Levoy, Fast Volume Rendering Using a Shear-Warp Factorization of the Viewing Transformation, Proc. SIGGRAPH '94, Orlando, Florida, July, 1994, P. 451-458.