Processamento de Imagens Visão Computacional Compressão

Apresentação em tema: "Processamento de Imagens Visão Computacional Compressão"— Transcrição da apresentação:

1 Processamento de Imagens Visão Computacional Compressão
Imagens Digitais Processamento de Imagens Visão Computacional Compressão

2 Modelos de uma Imagem Digital
Físico Matemático Computacional

3 Matematicamente imagem é uma função
Imagem em tons de cinza 0% 20% 40% 60% 80% 100% Níveis de cinza Posição ao longo da linha x u v L L(u,v) Função

4 Imagem colorida como uma função do R2 R3
v G R B

5 Imagem coloridas como 3 “canais” de cor
B B(u,v) R(u,v) G(u,v) v v v u u u = + +

6 Processos que ocorrem na captura de uma imagem
Amostragem, quantização e codificação

7 Câmera obscura e Câmera “pin-hole”
Plymouth, UK O fato dos quadros renascentistas terem elemenots da geoemetria projetiva não quer dizer que eles conheciam técnicas precisas de desenho geométrico. Muitos trabalhos foram feitos por mera intuição ou com auxilio de câmeras escuras onde o pintor via sobre o canvas uma imagem da cena que ele desejava pintar como ilustra a figura. Podemos encontrar referências a câmeras escuras nos trabalhos de Leonardo da Vinci de A câmera fotográfica, como conhecemos hoje, foi inventada pelo Mandé Daguerre ( ) e seus principios podem ser ilustrados com artefatos bem simples como a câmera tipo “pinhole”.

8 Aquisição de imagem numa camera fotográfica
No plano de imagem a câmera tem um banco de sensores. Filtros controlam a cor que cada sensor amostra. Um padrão comum é o de Bayer, que privilegia o verde. Aquisição de imagem numa camera fotográfica A imagem comprimida e armazenada num formato mais eficiente (jpg ou png). Os mapas incompletos são reconstituídos e reamostrados (formato RAW). A imagem mixta é decomposta em tres canais incompletos.

9 Digitalização de Imagens
Discretização espacial (amostragem)

10 quantizada e codificada
Processos básicos 64x54 - floats Imagem amostrada amostragem Imagem de tons contínuos 64x tons Imagem amostrada e quantizada quantização 55 20 22 23 45 10 09 11 43 42 70 28 76 codificação 8*55, 1*20, 1*22, 1*23, …. Imagem amostrada, quantizada e codificada

11 Quantização Exposição (quantidade de luz) Níveis

12 Seis fotos da mesma cena com variação do tempo de abertura da câmera

13 Razões de lados e resolução típicas
16: ×1200 ou 1280×800 16: ×1080 (HDTV) ou 1600×900 ou 4: ×768 ou 800×600 ou 640×480

14 Amostragem e reconstrução
1D

15

16 Amostragem 𝑓(𝑥) 𝑥 𝑓(𝑥) 𝑥

17 𝑓(𝑥) 𝑥 𝑓 𝑥 = 𝑖 𝑓 𝑖 ℎ 𝑖 (𝑥) ℎ(𝑥) ℎ 𝑖 (𝑥) 𝑥 i-2 i-1 i i+1 i+2

18 ℎ 𝑘 (𝑥)𝑓 𝑥 𝑑𝑥= ℎ 𝑘 (𝑥) 𝑖 𝑓 𝑖 ℎ 𝑖 (𝑥) 𝑑𝑥= 𝑖 𝑓 𝑖 ℎ 𝑘 (𝑥) ℎ 𝑖 (𝑥)𝑑𝑥
𝑓 𝑥 = 𝑖 𝑓 𝑖 ℎ 𝑖 (𝑥) ℎ 𝑘 (𝑥)𝑓 𝑥 𝑑𝑥= ℎ 𝑘 (𝑥) 𝑖 𝑓 𝑖 ℎ 𝑖 (𝑥) 𝑑𝑥= 𝑖 𝑓 𝑖 ℎ 𝑘 (𝑥) ℎ 𝑖 (𝑥)𝑑𝑥 i-2 i-1 i i+1 i+2 ℎ(𝑥) 𝑥 ℎ 𝑖 (𝑥) ℎ 𝑘 𝑥 ℎ 𝑖 𝑥 𝑑𝑥= &0, 𝑠𝑒 𝑖≠𝑗 &𝑖, 𝑠𝑒 𝑖=𝑗 𝑓 𝑘 = 𝑓 𝑥 ℎ 𝑘 (𝑥) 𝑑𝑥 = 𝑘 𝑘+1 𝑓 𝑥 𝑑𝑥

19 ℎ(𝑥) 𝑥 ℎ(𝑥) 𝑥 ℎ(𝑥) 𝑥 i-2 i-1 i i+1 i+2 i-3 i-2 i-1 i i+1 i+2 i+3 i-4

20 Amostragem, quantização e codificação de f(x)

21 Amostragem, quantização e codificação de f(x)
partição do eixo x

22 Amostragem, quantização e codificação de f(x)
1 2 3 4 5 6 x f(x) amostra quantizada  partição do eixo y 𝑓 𝑖 =(3,4,5,5,4,2,2,3,5,5,4,2)

23 Amostragem, quantização e codificação de f(x)
1 2 3 4 5 6 x f(x) função reconstruída  𝑓 (𝑥)

24 Amostragem mínima f(x)

25 Fourier 𝑓 𝑥 = 𝑎 0 + 𝑘=1 ∞ ( 𝑎 𝑘 cos 2𝜋𝑘𝑥 𝑛 + 𝑏 𝑘 sin 2𝜋𝑘𝑥 𝑛 ) onde:
Jean Baptiste Joseph Fourier ( ) Paper de 1807 para o Institut de France 𝑓 𝑥 = 𝑎 0 + 𝑘=1 ∞ ( 𝑎 𝑘 cos 2𝜋𝑘𝑥 𝑛 + 𝑏 𝑘 sin 2𝜋𝑘𝑥 𝑛 ) onde: 𝑎 0 = 1 𝑛 𝑓(𝑥)𝑑𝑥 𝑎 𝑘 = 1 𝑛 𝑓(𝑥)𝑐𝑜𝑠 2𝜋𝑘𝑥 𝑛 𝑑𝑥 𝑏 𝑘 = 1 𝑛 𝑓(𝑥)𝑠𝑖𝑛 2𝜋𝑘𝑥 𝑛 𝑑𝑥

26 Funções seno e cosseno

27 Domínios de amostragem de um sinal
f(x) tempo ou espaço x n ak ∆𝜔= 2𝜋 𝑛 w bk freqüencia w

28 Transformada de Fourier
1 2 3 4 5 6 N-1

29 onde: onde:

30 Base de Haar ℎ 0 (𝑥) +1 𝑥 ℎ 1 (𝑥) +1 𝑥 −1

31 ℎ 2 (𝑥) + 2 𝑥 − 2 ℎ 3 (𝑥) + 2 𝑥 − 2

32 ℎ 4 (𝑥) +2 𝑥 −2 ℎ 5 (𝑥) +2 𝑥 −2

33 ℎ 6 (𝑥) +2 𝑥 −2 ℎ 7 (𝑥) +2 𝑥 −2

34 Transformada Haar 𝑓 1 𝑓 2 𝑓 3 𝑓 4 ……………………….. 𝑓 2 𝑛 −1 𝑓 2 𝑛 ……. …….
𝑓 2 𝑛 −1 𝑓 2 𝑛 ……. ……. 𝑓 1 + 𝑓 2 2 𝑓 3 + 𝑓 4 2 𝑓 2 𝑛 −1 + 𝑓 2 𝑛 2 𝑓 1 − 𝑓 2 2 𝑓 3 − 𝑓 4 2 𝑓 2 𝑛 −1 − 𝑓 2 𝑛 2 Coeficientes de aproximação Coeficientes de detalhes

35 Exemplo de transformada Haar
10 4 6 12 8 4 2 6 7 9 6 4 3 -3 2 -2 8 5 -1 1 3 -3 2 -2 6,5 1,5 -1 1 3 -3 2 -2 três iterações de Haar sobre um vetor

36 Inversa Transformada de Haar
Coeficientes de aproximação Coeficientes de detalhes 𝐴 1 𝐴 2 𝐴 2 𝑛 −1 𝐷 1 𝐷 2 𝐷 2 𝑛 −1 ……. ……. … 𝐴 1 + 𝐷 1 𝐴 1 − 𝐷 1 𝐴 2 + 𝐷 2 𝐴 2 − 𝐷 2 𝐴 2 𝑛 −1 + 𝐷 2 𝑛 −1 𝐴 2 𝑛 −1 − 𝐷 2 𝑛 −1

37 Uma iteração da transformada de Haar sobre uma matriz
Transformada Haar Aplicando a transformada de Haar na horizontal Aplicando a transformada de Haar na vertical Matriz resultante Uma iteração da transformada de Haar sobre uma matriz

38 Duas iterações da Transformada de Haar

39 Ruídos gaussianos e impulsivo (sal e pimenta)
redução de ruídos

40 O problema 20 dB significam
Imagem Digital 29/09/2017 O problema Dada uma imagem 𝐼 𝑥,𝑦 com um ruído 𝑁(𝑥,𝑦), reduza 𝑁(𝑥,𝑦) o máximo que puder sem alterar significativamente 𝐼 𝑥,𝑦 . Modelo aditivo de ruído: 𝐼 𝑥,𝑦 =𝐼 𝑥,𝑦 +𝑛(𝑥,𝑦) 20 dB significam Marcelo Gattass

41 Dois tipos básicos de ruídos
Imagem Digital 29/09/2017 Dois tipos básicos de ruídos Ruído impulsivo: causado por erro de transmissão, CCDs defeituosos, etc... Também chamado de pico e de sal e pimenta. são v.a. uniformemente distribuídas imin, imax, e l são parâmetos de controle da quantidade de ruídos. Marcelo Gattass

42 Dois tipos básicos de ruídos
Imagem Digital 29/09/2017 Dois tipos básicos de ruídos Ruído Gaussiano branco : processo estocástico de média zero, independente do tempo e do espaço. é o mesmo processo estocástico que não varia no tempo. é uma variável aleatória com a distribuição: Marcelo Gattass

43 Exemplo de ruído Gaussiano (=5) e Impulsivo ( =0.99)
Imagem Digital 29/09/2017 Exemplo de ruído Gaussiano (=5) e Impulsivo ( =0.99) Marcelo Gattass

44 Imagem Digital 29/09/2017 Marcelo Gattass

45 Imagem com ruído impulsivo
Imagem Digital 29/09/2017 Imagem com ruído impulsivo Uso da mediana para reduzir o ruído 223 204 171 120 18 50 116 138 97 187 242 172 179 167 235 76 175 123 214 114 143 232 198 203 205 Ωij Iij = mediana Ωij = 120 Marcelo Gattass

46 Sinal com ruído gaussiano
Imagem Digital 29/09/2017 Sinal com ruído gaussiano Marcelo Gattass

47 Imagem Digital 29/09/2017 Suavização f h Marcelo Gattass

48 Imagem Digital Filtragem Gaussiana 29/09/2017 Marcelo Gattass

49 Imagem Digital 29/09/2017 Mascara ou Filtro ou: Marcelo Gattass

50 Imagem Digital 29/09/2017 Convolução Marcelo Gattass

51 Ilustação da convolução
Imagem Digital 29/09/2017 Ilustação da convolução Marcelo Gattass

52 Ilustração da convolução
Imagem Digital 29/09/2017 Ilustração da convolução Marcelo Gattass

53 Discretização da Gaussiana 1D
Imagem Digital 29/09/2017 Discretização da Gaussiana 1D 0.3 0.2 0.1 -4 -3 -2 -1 1 2 3 4 Marcelo Gattass

54 Discretização da Gaussiana 2D
Imagem Digital 29/09/2017 Discretização da Gaussiana 2D Marcelo Gattass

55 Convolução com máscara

56 Separabilidade do filtro gaussiano
Imagem Digital 29/09/2017 Separabilidade do filtro gaussiano 207 247 38 131 62 90 129 234 231 211 175 44 1 26 236 58 75 128 112 210 141 125 168 130 117 129 125 90 88 93 92 185 113 84 93 145 207 151 66 18 107 111 154 140 130 130 117 129 125 90 88 93 92 Marcelo Gattass

57 Imagem filtrada com um filtro passa baixa
Imagem Digital 29/09/2017 Imagem filtrada com um filtro passa baixa Marcelo Gattass

58 Imagem Digital 29/09/2017 Arestas e cantos Locais de mudanças significativas na intensidade da imagem Marcelo Gattass

59 Edgedels = edge elements
Imagem Digital 29/09/2017 Edgedels = edge elements Marcelo Gattass

60 Tipos de arestas degrau (step) rampa (ramp) cume (roof)
Imagem Digital 29/09/2017 Tipos de arestas degrau (step) rampa (ramp) cume (roof) impulso (spike) Marcelo Gattass

61 Imagem Digital 29/09/2017 Gráfico sem e com ruído Marcelo Gattass

62 Derivadas e arestas f(x) f(x)+n(x) | f'(x)+n'(x) | f"(x)+n"(x)
Imagem Digital 29/09/2017 Derivadas e arestas f(x) f(x)+n(x) | f'(x)+n'(x) | f"(x)+n"(x) Marcelo Gattass

63 Série de Taylor Com x=1, f(x)=fi e f(x+x)=fi+1
Imagem Digital 29/09/2017 Série de Taylor Com x=1, f(x)=fi e f(x+x)=fi+1 (a) Com x=-1, f(x)=fi e f(x+x)=fi-1 (b) Marcelo Gattass

64 Aproximações para derivadas
Imagem Digital 29/09/2017 Aproximações para derivadas f(x) x fi-1 fi fi+1 i+1 i i-1 (a-b)  (a+b)  Marcelo Gattass

65 Em 2D Gradiente Laplaciano Núcleos de convolução Imagem Digital
29/09/2017 Em 2D Gradiente Laplaciano Núcleos de convolução Marcelo Gattass

66 Derivação após suavização
Sobel: −1 0 1 −2 0 2 −1 0 1 −1 0 1 −2 0 2 −1 0 1 Laplaciano:

67 Imagem filtrada com um filtro passa alta
Imagem Digital 29/09/2017 Imagem filtrada com um filtro passa alta Marcelo Gattass

68 Trabalho 1: 28/3 - SLICO Implemente o algoritmo de superpixel SLICO descrito em: Seguindo as adaptações indicadas nos próximos slides.

69 Superpixels

70 O algoritmo SLIC (Simple Linear Iterative Clustering)
Entrada: ns (número aprox. de superpixels) e, opcionalmente, m (compacidade) Calcule as coordenadas CIE Lab de todos os pixels da imagem; Calcule o tamanho, s, da cédula quadrada Initialize os representantes das cédulas ci = [li; ai; bi; xi; yi]T amostrando em uma grade de tamanho s, i=0,…,(ns-1) evite as bordas e pontos ruidosos: escolha na vizinhança 3x3 do centro da célula o pixel que tenha o menor gradiente para ci 𝑠= 𝑤∗ℎ 𝑛𝑠

71 O algoritmo SLIC (cont.)
Para cada superpixel ck crie uma janela de tamanho 2s centrada em (xk , yk) Para cada pixel neste janela que estiver atribuído a outro superpixel cj, verifique se a distância dele ao ck é menor e, se for, atribua este pixel ao ck . Quando todos os superpixels tiverem sido visitados, recalcule o sua cor e centro através da média de seus pixels. Calcule também o deslocamento de seu centro e acumule numa medida de erro E. Se o erro acumulado (de todos os superpixels) for pequeno ou se o número de iterações for excessivo, maior que 10, por exemplo, pare. Caso contrário volte para o passo 4.

72 Cálculo de distância ci = [li; ai; bi; xi; yi]T
Distância entre o pixel pj = [lj; aj; bj; xj; yj]T e o superpixel ci = [li; ai; bi; xi; yi]T 𝑑 𝑐 = ( 𝑙 𝑖 − 𝑙 𝑗 ) 2 + ( 𝑎 𝑖 − 𝑎 𝑗 ) 2 + ( 𝑏 𝑖 − 𝑏 𝑗 ) 2 𝑑 𝑠 = ( 𝑥 𝑖 − 𝑥 𝑗 ) 2 + ( 𝑦 𝑖 − 𝑦 𝑗 ) 2 𝑑 𝑡 = 𝑑 𝑐 𝑚 𝑐 𝑑 𝑠 𝑚 𝑠 2 onde mc e ms são as máximas distâncias esparadas no superpixel. Opções: constantes: ms=s e mc é parâmetro de entrada. adaptativos: ms e mc são calculados a partir da última iteração.