Processamento de Imagens IMPA – Instituto de Matemática Pura e Aplicada IMCA – Instituto de Matemática y Ciencias Afines Processamento de Imagens Marcelo Bernardes Vieira http://www.impa.br/~mbvieira/IMCA

Referências gerais Computação Gráfica: Imagem Digital Image Processing Jonas Gomes e Luiz Velho 2a edição – IMPA Digital Image Processing Rafael C. Gonzalez e Richard E. Woods Cursos Fourier transform to Wavelets (Siggraph)

Calendário 29/11: definição 30/11: representação Fundamentos de cor Sistemas de cor Imagem digital 30/11: representação Representação de sinais Teoria da amostragem

Calendário 1/12: filtragem 2/12: análise Introdução aos filtros digitais Filtragem de imagens 2/12: análise Análise tempo-frequência Transformada de wavelets

Calendário 3/12: teoria da informação 6/12: compressão Introdução à compressão de imagens Elementos de teoria da informação 6/12: compressão Compressão livre de erro Compressão JPEG, JPEG2000

Calendário 7/12: quantização 8/12: dithering Prof. Luiz Velho 7/12: quantização 8/12: dithering 9/12: composição de imagens 10/12: avaliação

Marcelo Bernardes Vieira IMPA – Instituto de Matemática Pura e Aplicada IMCA – Instituto de Matemática y Ciencias Afines Fundamentos de cor Marcelo Bernardes Vieira

Estudo da cor Cor é uma manifestação perceptual da luz Estudo da cor Processo psicofísico: sensoriamento de sinais eletromagnéticos intermediado pelo sofisticado sistema visual humano. Estudo da cor Física da cor Modelos matemáticos da cor Representação da cor Codificação da cor

Física da cor Fótons se deslocam a uma velocidade constante c e a onda associada tem uma freqüência f. Freqüência e velocidade definem o comprimento de onda: f = c Quando os fótons encontram a retina, impulsos elétricos são gerados que, durante seu caminho até o cérebro, são traduzidos em percepção de cor.

Física da cor Do ponto de vista perceptual, os diferentes comprimentos de onda estão associados a diferentes cores. Espectro visível: 380 a 780 nm (10e-9m) Violeta: 380 – 440 nm Azul: 440 – 490 nm Verde: 490 – 565 nm Amarelo: 565 -590 nm Laranja: 590 – 630 nm Vermelho: 630 – 780 nm

Formação da cor Percepção de processos químicos e físicos diversos. Os processos mais importantes são aditivo, subtrativo e de pigmentação. Processo aditivo:

Formação da cor Processo subtrativo: a luz que recebemos é processada por um filtro, material sólido transparente, ou através de um corante, que absorve determinados comprimentos de onda e transmite outros.

Formação da cor Formação por pigmentação: quando um raio luminoso atinge partículas chamadas pigmentos, há um efeito de espalhamento com fenômenos sucessivos e simultâneos de reflexão, transmissão e absorção entre os diversos pigmentos.

Modelo de representação da cor O modelo espacial do sinal de cor associa cada comprimento de onda a uma medida de energia radiante: distribuição espectral.

Fontes de luz Luz branca Luz colorida E l (mm) E l (mm) 100 400 500 600 700 50 l (mm) E Luz branca Luz colorida 400 500 600 700 50 100 l (mm) E comprimento de onda dominante define a matiz (hue)

Fontes de luz E E l l (mm) (mm) matiz (hue) brilho (brightness) E l 400 500 600 700 l (mm) E matiz (hue) comprimento de onda dominante define a 400 500 600 700 l (mm) E brilho (brightness) intensidade define o brilho (brightness) 400 500 600 700 l (mm) E saturação a concentração no comprimento de onda dominante define a saturação ou pureza

Objetivo Definir matematicamente um sistema de amostragem e reconstrução de cor.

Sistema físico de amostragem de cor Consiste de um número finito de sensores s1, s2, ..., sn = filtros do sinal luminoso. Cada sensor possui uma resposta espectral si() Cor resultante: Ci= ∫ C() Si() d Ideal: Ci= ∫ C() δ( - i) d Define uma transf. linear: R: є → Rn Metamerismo: R(C1) = R(C2)

Sistema de reconstrução de cor Consiste de um número finito de emissores e1, e2, ..., en. Cada sensor gera uma cor com distribuição espectral Pi() (primária) forma uma base de um espaço de cor. Processo aditivo: Cr() = Σ Ck Pk() Define uma transf. linear: R: є → Rn Metamerismo: R(C1) = R(C2)

O olho humano

Função de reconstrução de cor As curvas de resposta espectral de um sistema físico de amostragem são difíceis de se calcular. Função de reconstrução de cor: Tk(C) = ∫ C() Ck() d = componente da cor associada à primária Pk()

Representação CIE-RGB Luz branca: Luz de teste: Anteparos 1=436nm 2=546nm 3=700nm Luzes primárias:

Representação CIE-RGB - 0.2 0.2 0.4 400 500 600 700 438 nm 546 nm l (mm) Valores dos tri-esimulos r(l ) g(l ) b(l ) C(l ) = r(l) R + g(l) G + b(l) B

Diagrama de cor CIE-RGB

Curva de resposta espectral média Dado um sistema físico de amostragem de cor com sensores s1, s2, ..., sn essa curva é: V() = Σ si Si() , si são constantes. Para o olho humano essa curva é chamada de função de eficiência luminosa relativa

Luminância É a grandeza colorimétrica que corresponde aos termos perceptuais de brilho (emissores) ou luminosidade (refletores) L() = k ∫ C() V() d , k é constante A percepção de cor pelo olho humano é dividida na fase de captação e combinação. São combinados na forma L-M, H – (L+M), L+M. O canal B para luminância é desprezível=> Y = R+G Os outros termos (crominância) são (R-G) e (B-Y)

Marcelo Bernardes Vieira IMPA – Instituto de Matemática Pura e Aplicada IMCA – Instituto de Matemática y Ciencias Afines Sistemas de cor Marcelo Bernardes Vieira

Triângulo de Maxwell Chamamos de plano de crominância ou plano de Maxwell o plano x+y+z =1. (x,y,z) são os componentes de cor de um sistema com três primárias L(s) = s L()

Sólido de cor O conjunto de todas as cores possíveis formam um cone convexo = sólido de cor Combinação convexa de duas distribuições espectrais é uma distribuição espectral Cada distribuição corresponde a um único ponto no espaço de cor O espaço de cor é o conjunto de retas que passam pela origem

Padrão CIE-RGB L(C) = 0,176R + 0.81G + 0.011B L(C()) = Σ ai L(P())

Padrão CIE-XYZ Funções de reconstrução XYZ As componentes devem ser positivas Deve-se obter o maior numero possível de cores com coord. nulas Duas primárias devem ter luminância nula

Diagrama de cor CIE-XYZ

Diagrama de cor CIE-XYZ

Cor complementar

Mudança entre sistemas CIE-RGB e CIE-XYZ

Sistemas uniformes Não uniformidade Sistema de cor Lab L = Iluminação a = Conteúdo Vermelho/Verde b = Conteúdo Amarelo/Azul Distâncias euclidianas são úteis!

Dispositivos: Sistema de cor do monitor

Sistema de cor mRGB

Sistema de cor CMY/CMYK

Sistemas de vídeo componente O olho tem menor sensibilidade para detectar cores do que variações de intensidade Utiliza-se uma banda maior para a luminância: Y = 0,299R + 0,587G + 0,116B Os componentes de crominância são representados como: R-Y e B-Y Sistemas baseados em Y, R-Y, B-Y são chamados de vídeo componente.

Sistemas de vídeo digital O padrão internacional para vídeo digital Y, Cr, Cb é dado pela seguinte transformação de Y, R-Y, B-Y: Y = 16 + 234Y Cr = 128 + 112 (0,5/(1-0,114) * (B-Y)) Cb = 128 + 112 (0,5/(1-0,299) * (R-Y)) Usado nos padrões JPEG e MPEG.

Sistemas de vídeo composto São sistemas de cor para transmissão de vídeo (NTSC, PAL, etc.). Os componentes são combinados em um único sinal: O sinal de luminância pode ser utilizado em aparelhos preto e branco As crominâncias podem ser codificada em apenas 5% da banda de passagem sem degradar o sinal de luminância. Sistema YUV U = 0,493 (B-Y) V = 0,877 (R-Y)

Sistemas de vídeo composto Sistema YIQ: IQ é obtido a partir de uma rotação das coordenadas UV I ocupa uma banda menor

Componentes de uma cor Modelo HSI

Modelo HSI

Sistemas computacionais Exemplo: codificação YUV YUV 4:4:4 => 8 bits para cada elemento YUV 4:2:2 => Y1 U1 Y2 V2 Y3 U3 Y4 V4 Reconstrução da sequência: Y1 U1 V1 Y2 U1 V2 ...

Marcelo Bernardes Vieira IMPA – Instituto de Matemática Pura e Aplicada IMCA – Instituto de Matemática y Ciencias Afines Imagem digital Marcelo Bernardes Vieira

Níveis de abstração na representação de uma imagem

Definições Discretização x reconstrução Codificação x decodificação Discretização é o processo de conversão de um sinal contínuo em uma representação discreta Reconstrução consiste em se obter o sinal contínuo a partir de sua representação Codificação x decodificação Codificação consiste em se obter uma sequência finita de símbolos Decodificação permite obter a representação a partir da sequência de símbolos

Modelos matemáticos de sinais Um sinal se manifesta pela variação de alguma grandeza física Pode ser em função do tempo (som) ou do espaço (imagem). Ou dos dois (vídeo) Estamos interessados em um modelo funcional no qual um sinal é representado por uma função f: U С Rm → Rn Espaço de sinais: {f: U С Rm → Rnbb}

Modelos funcionais O sinal f: U С Rm → Rn é chamado contínuo. Isso significa somente que o domínio e o contra-domínio são um continuum de números. Mas não que f seja contínua topologicamente. Representação: discretização do domínio ou contra-domínio de f

Modelos funcionais Sinal contínuo-contínuo Sinal contínuo-discreto: contra-domínio discretizado (quantização) Sinal discreto-contínuo: domínio discretizado (amostragem) Sinal discreto-discreto: amostrado e quantizado = IMAGEM DIGITAL

Modelos funcionais Discretização para amostragem consiste em calcular f em um conjunto finito de pontos p1, p2, ...,pK do conjunto U. Reconstrução consiste em interpolar os valores f(p1), f(p2), ..., f(pK) de modo a obter uma aproximação f’ de f Vamos utilizar dois modelos funcionais: Modelo espacial Modelo espectral

Modelo espacial de sinais O subconjunto U representa a região no espaço na qual varia a grandeza física (Domínio do espaço ou tempo). Som estéreo: f: U С R → R2 (unidimensional) U = tempo Imagem: f: U С R2 → Rn U = espaço Rn é um espaço de cor (n=1 => monocromática) Vídeo: f: U С R x R2 → Rn (inclui tempo)

Imagem em escala de cinza

Modelo espectral de sinais O sinal periódico f(t) = a cos(2πω0t + φ) no domínio do espaço pode ser representado por F(ω) = { a se ω = ω0; 0 senão Qualquer sinal periódico pode ser definido pelo modelo funcional acima utilizando a série de Fourier: f(t) = ∑ ck ei 2π k ω t onde ω é a frequência fundamental do sinal. Domínio da frequência: transformada de Fourier

Representação matricial para imagem Geralmente, o suporte de uma imagem é uma região retangular U = [a,b] x [c,d] = {(x,y) Є R2; a ≤ x ≤ b; c ≤ y ≤ d} Representação matricial consiste em discretizar esse retângulo com um reticulado Δ = (Δx, Δy) Є R2 Δ={(xj,yk) Є U; xj= j Δx, yk= Δy, j,k Є Z}

Reticulado: representação matricial

Resolução espacial

Imagem digital É um sinal amostrado e quantizado: Coordenadas de pixels Resolução Informação de cor de cada pixel Gamute é o conjunto de todas a cores de uma imagem Monocromática com 2 cores = imagem binária Monocromática com n cores = tons de cinza Se o espaço de cor tem dimensão k, podemos considerar cada componente de cor em separado.

Topologia de uma imagem Norma: 4-conexa: |x| + |y| 8-conexa: Max |x|, |y|

Geometria do pixel