Processamento de Imagens Médicas Prof. Dr. Paulo Mazzoncini de Azevedo Marques (pmarques@fmrp.usp.br) Centro de Ciências das Imagens e Física Médica – CCIFM Faculdade de Medicina de Ribeirão Preto – FMRP/USP

Imagem Médica

??IMAGEM ??

Primeiras Imagens Clínicas Digitais CAT Scan 1974

Imagens Digitais Atuais

Aquisição de Imagens Digitais Constituída de 3 elementos básicos: Detetor Detecta a variação de uma propriedade física. Transdutor Converte a variação de uma propriedade física em um sinal elétrico. Digitalizador Converte um sinal elétrico em um sinal digital

BASES DA IMAGEM DIGITAL

BASES DA IMAGEM DIGITAL

RESOLUÇÃO ESPACIAL

QUANTIZAÇÃO

RESOLUÇÃO DE QUANTIZAÇÃO (CONTRASTE)

Modelo para Imagens Digitais Imagem = f(x,y) f(x,y) = (0,1) (0,2) (0,3) (1,1) (1,2) (1,3) (2,1) (2,2) (2,3) = 121 133 57 45 212 134 0 86 214 Para cada elemento (x,y) na imagem(pixel) temos um valor f(x,y) correspondente à intensidade luminosa naquele ponto.

PROCESSAMENTO DE IMAGENS

PRÉ-PROCESSAMENTO (realce da imagem) Métodos no domínio espacial (manipulação dos píxels da imagem) transformações de intensidade processamento do histograma subtração e média de imagens. filtragens espaciais de fundo (background) de suavização de realce Métodos no domínio da freqüência (modificação da Transformada de Fourier da imagem) filtragem passa-baixa filtragem passa-alta filtragem passa-banda Métodos no domínio espaço-freqüência (modificação da Transformada "Wavelet" da imagem)

PRÉ-PROCESSAMENTO (realce da imagem) Métodos no domínio espacial (manipulação dos píxels da imagem) transformações de intensidade processamento do histograma subtração e média de imagens. filtragens espaciais de fundo (background) de suavização de realce

(Equalização de Histograma) PRÉ-PROCESSAMENTO (Equalização de Histograma)

(realce da componente horizontal) PRÉ-PROCESSAMENTO (realce da componente horizontal)  Filtro de Prewitt - horizontal

(realce da componente vertical) PRÉ-PROCESSAMENTO (realce da componente vertical)  Filtro de Prewitt - vertical

(soma das componentes) PRÉ-PROCESSAMENTO (soma das componentes) 

PRÉ-PROCESSAMENTO (realce da imagem) Métodos no domínio da frequência Transformada de Fourier Filtro passa baixa Filtro passa alta Filtro passa banda Transformada Wavelet

Transformadas Transformações matemáticas são operações que são aplicadas em sinais (imagens) de forma a se obter informações que não são “legíveis” no sinal original. Existe um grande número de Transformações que podem ser aplicadas e a Transformada de Fourier é provavelmente a mais conhecida.

TRANSFORMADA DE FOURIER Reversível Não possui informação de tempo A T.F. nos diz a quantidade de uma certa freqüência que existe no sinal mas não quando ela ocorre no tempo. Sinais Estacionários Sinais Não Estacionários

SÉRIE DE FOURIER

Sinais Estacionários x(t)=cos(2*pi*10*t)+cos(2*pi*25*t)+cos(2*pi*50*t)+cos(2*pi*100*t)

Sinais Não Estacionários

Sinais Não Estacionários

Sinais Não Estacionários

Sinais Não Estacionários

A Transformada de Fourier nos dá a informação de freqüência mas não nos diz quando (no tempo) esta informação aparece. Quando a Transformada de Fourier é útil? Quando desejarmos obter as componentes de freqüência de um sinal sem a necessidade de saber quando elas aparecem.

Análise Multiresolução Possibilita analisar o sinal em diferentes freqüências com diferentes resoluções Desenvolvida para fornecer: Uma boa resolução no tempo e uma pobre resolução frequencial em altas freqüências. Uma boa resolução frequencial e pobre resolução no tempo em baixas freqüências.

Transformada Wavelet A transformada wavelet é definida como: é uma função de 2 variáveis: tau (translação) e s(escala) psi(t) é a função de transformação e é chamada wavelet mãe e tem esse nome devido a duas propriedades importantes da análise de wavelets: O termo wavelet significa pequena onda O termo pequeno refere-se a esta função (janela) por ela possuir comprimento finito (suporte compacto)

Transformada Wavelet O termo onda é por ela ser oscilatória O termo mãe implica que diferentes funções com diferentes regiões de suporte (comprimento) que são utilizadas no processo de transformação são derivadas de uma função principal chamada wavelet mãe. Em outras palavras a wavelet mãe é utilizada para gerar outras funções “janela”. O termo translação é usado para indicar o deslocamento da janela ao longo do sinal. A frequência é definida pela escala.(1/frequência).

ESCALA O parâmetro de escala na análise wavelet é similar à escala usada em mapas. Altas escalas correspondem a uma visão global e baixas escalas correspondem a uma visão detalhada. Em termos de frequência, baixas frequências (altas escalas) correspondem a uma visão global enquanto altas frequências (baixas escalas) correspondem a uma visão detalhada do sinal.

Realce de Imagens ... Original Realçada Aplicação da T.W. Nível 1 2 Original Aplicação da T.W. ... Coeficientes wavelet Aplicação da Inversa da T.W. Realçada

Realce de Imagens Nível 2 Nível 3 Imagem Original Reconstruída Componentes de Baixa Frequência Imagem Original Reconstruída Alta Frequência Horizontal Vertical Diagonal Realce de Imagens

PRÉ-PROCESSAMENTO (realce da imagem) Realce de microcalcificações através da aplicação de Transformada Wavelet

PROCESSAMENTO DE IMAGENS

Segmentação de imagens Processo para detectar e delimitar o objeto de interesse em uma imagem e/ou subdividir uma imagem em suas regiões constituintes.

Exemplos de aplicação Detecção de órgãos: Coração; Pulmões MR e CT; Calculo do volume: Massa branca e cinzenta; Medidas quantitativas: Ultra-som; Determinação de forma: Mamografia; Reconstrução 3D;

Exemplos de aplicação Detecção de órgãos: Coração; Pulmões MR e CT; Calculo do volume: Massa branca e cinzenta; Medidas quantitativas: Ultra-som; Determinação de forma: Mamografia; Reconstrução 3D;

Interativa ou semi-automática; Baseada em modelo; Automática; SEGMENTAÇÃO Manual; Interativa ou semi-automática; Baseada em modelo; Automática;

Segmentação Manual Delimitação manual das regiões de interesse; Indicado para pequenos experimentos ou um número limitado de casos; Problemas: Tempo (3D); Variação intra e inter usuários; Resolução do monitor;

Segmentação Manual Software BrainSight

SEGMENTAÇÃO MANUAL Malha 2D

SEGMENTAÇÃO INTERATIVA A segmentação é acompanhada por um especialista o qual pode interagir com o sistema; Imagem é subdividida em regiões homogêneas que são unidas automaticamente seguindo o critério de homogeneidade estabelecido pelo usuário.

SEGMENTAÇÃO BASEADA EM MODELOS Imagens para gerar os modelos (Point Distribution Model); 3 características das imagens: níveis de cinza; borda; posição; Ajustes dos pontos;

Segmentação Automática O processo automatizado de segmentação é considerado um dos processos mais difíceis em processamento de imagens digitais; A escolha de uma técnica de segmentação em relação à outra é ditada principalmente pelas características peculiares do problema; Melhora do desempenho: Controle sobre o ambiente; Tipos de sensores que tendam a realçar os objetos de interesse; Pré-processamento;

Segmentação Automática Utiliza operadores automáticos que examinam a imagem em busca de características que determinem e delimitem regiões de interesse; Exemplo de características: Borda Regiões

Thresholding (Limiarização) Uma das mais importantes abordagens para a segmentação de imagens; Utiliza análise do histograma da imagem para segmentar a imagem; A iluminação deve ser uniforme; A imagem deve apresentar um alto contraste; Dificuldade: determinar o limiar (T);

Limiarização global simples

Detecção de descontinuidade Varredura da imagem por uma máscara; Envolve o cálculo da soma dos produtos dos coeficientes pelos níveis de cinza contidos na região englobada pela mascara; onde: zi - nível de cinza da imagem; wi - valor da mascara;

Detecção de pontos sendo T limiar; Basicamente, o que essa formulação faz é medir as diferenças ponderadas entre o ponto central e seus vizinhos; A idéia é que o nível de cinza de um ponto central será completamente diferente do nível de cinza de seus vizinhos; sendo T limiar;

Detecção de linhas Basicamente, o que essa formulação faz é medir as diferenças ponderadas entre a orientação desejada e seus vizinhos;

Detecção de bordas Abordagem mais comum para a detecção de descontinuidades significantes na imagem; Uma borda é o limite entre duas regiões com propriedades relativamente distintas de nível de cinza; Assume-se que as regiões em questão são suficientemente homogêneas, de maneira que a transição entre duas regiões possa ser determinada com base apenas na descontinuidade dos níveis de cinza; Um modelo mais custoso computacionalmente, mas simula o comportamento do olho humano e é muito mais flexível e genérico; As principais limitações são ruídos e o fato que as bordas podem não ser fechadas;

Detecção de bordas Operadores de gradiente Exemplo Sobel;

SEGMENTAÇÃO AUTOMÁTICA (a) mamograma original; (b)Limiarização pelo método de Ridler & Calvard; (c) Remoção de espúrios; (d) Remoção do fundo da imagem; (e) Borda da mama gerada por morfologia matemática; (f) Contorno da mama, com detecção do músculo peitoral através de congruência de fase.

SEGMENTAÇÃO AUTOMÁTICA

SEGMENTAÇÃO Exemplo de Segmentação de Imagem ROI original com cluster (b) imagem após realce (c) imagem diferença (d) imagem segmentada (após aplicação de threshold adaptativo) Ferrari RJ et al. Characterization of breast cancer using statistical approaches. In: Doi K, MacMahon H, Giger ML and Hoffmann KR, eds. Computer-Aided Diagnosis in Medical Imaging. Amsterdan: Elsevier Science, 1999:281-6 Exemplo de Segmentação de Imagem ROI original com nódulo (b) imagem segmentada após aplicação de threshold adaptativo e morfologia matemática Kinoshita SK et al. Characterization of breast masses using texture and shape features. In: Doi K, MacMahon H, Giger ML and Hoffmann KR, eds. Computer-Aided Diagnosis in Medical Imaging. Amsterdan: Elsevier Science, 1999:265-70.

PROCESSAMENTO DE IMAGENS

Descrição ou Extração de Atributos Esse processo procura extrair atributos que resultem em alguma informação quantitativa de interesse ou que sejam básicas para discriminação entre classes de objetos;

Descrição ou Extração de Atributos Fronteira ou características externas: utilizado quando o interesse se concentra na caracterização de formas; Características internas: utilizado para representação de brilho e textura, por exemplo; Geralmente se utiliza as duas formas concomitantemente;

Descritores de Fronteiras Comprimento; Um dos descritores mais simples - uma simples contagem dos pixels ao longo do contorno fornece uma aproximação do comprimento; Diâmetro; é o maior eixo da fronteira; Curvatura; é a taxa de mudança de inclinação; pode determinar se um segmento do objeto é côncavo ou convexo;

Descritores de Fronteiras Assinaturas

Assinaturas Giger ML, MacMahon H. Radiologic Clinics Of North America, V.34, No 3, p.565-96, 1996.

Descritores de Fronteiras Descritores de Fourier Exemplo de filtragem no contorno (numero máximo de descritores de Fourier 556)

Descritores Regionais Descritores Simples Área Perímetro Compacidade (perímetro2/área)

Descritores Regionais Descritores Topológicos São insensíveis à deformações Número de buracos (H) Número de componentes conexos (C) Número de Euler (E): E = C - H

Descritores Regionais Textura Medidas de propriedades como suavidade, rugosidade e regularidade Abordagem Estatística Histograma de primeira ordem – momentos

Descritores Regionais Textura Abordagem Estatística Histograma de segunda ordem (Matriz de co-ocorrência de níveis de cinza) – entropia, uniformidade, contraste, etc... Dividindo-se cada elemento de A pelo número total de ocorrências da matriz (no caso 16) obtém-se a Matriz de co-ocorrência de níveis de cinza, da qual podem ser extraídos alguns descritores de textura.

Extração dos atributos de Textura Matriz de co-ocorrência do níveis de cinza Relações espaciais entre os níveis de cinza da imagem na direção de 00. 0 1 2 3 1 2 3 1 3 2

0˚ * 45˚ 90 ˚ 135˚ Matriz de co-ocorrência do níveis de cinza  São extraídas 4 matrizes de co-ocorrência 0˚ * 45˚ 90 ˚ 135˚

Energia  Um indicador de uniformidade ou suavidade da imagem. - Texturas homogêneas terão um valor mais alto que uma não homogênea. * 0.71 0.95 0.97 1.00

Contraste  Quantidade de variação local de níveis de cinza de uma imagem. -Imagens de baixo contraste Os níveis de cinza estão próximos da média. * 0,00 0,04 0,30 0,33 1,00 onde k =| i - j |.

PROCESSAMENTO DE IMAGENS

CLASSIFICAÇÃO DE PADRÕES Padrão é uma descrição quantitativa ou estrutural de um objeto ou alguma outra entidade de interesse em uma imagem. Geralmente, o padrão é formado por um ou mais descritores. O nome características (ou atributos) é frequentemente adotado para denotar os descritores. Um objeto pode ser descrito por um vetor de características (ou atributos). Uma classe de padrões é uma família de padrões que compartilham algumas propriedades. Reconhecimento de padrões por máquina envolve técnicas para a atribuição dos padrões a suas respectivas classes automaticamente, com a mínima intervenção humana possível.

CLASSIFICAÇÃO DE PADRÕES Métodos de Decisão Teórica Classificador de Distância Mínima Calcula distância entre vetores de atributos médios (protótipos) O padrão desconhecido é atribuído à classe de protótipo mais próximo Para uma distribuição Gaussiana assume um MAX = (2)1/2

CLASSIFICAÇÃO DE PADRÕES Métodos de Decisão Teórica Classificador Estatístico Paramétrico (Bayesiano) Considera distribuições de funções densidade de probabilidade gaussianas. Procura minimizar as perdas da classificação errada através da associação de custos. O padrão desconhecido é atribuído à classe que permitir a minimização da perda média por classificação errada.

CLASSIFICAÇÃO DE PADRÕES Métodos de Decisão Teórica Classificador Estatístico não Paramétrico (KNN) Neste classificador um padrão desconhecido é classificado na mesma classe a que pertence a maioria dos exemplos mais próximos. Por “mais próximos” entende-se geralmente a distância euclidiana, apesar de se poder usar outra métrica. OBSERVE QUE: Elemento X  B Elemento Y  A k = 7

CLASSIFICAÇÃO DE PADRÕES Métodos de Decisão Teórica Representação de um neurônio de McCulloch e Pitts. Esquema de uma rede neural artificial multi-camadas do tipo “feedforward”

Processamento de Imagens Médicas INSPEÇÃO VISUAL AUXÍLIO COMPUTADORIZADO Diagnóstico Auxiliado por Computador (CAD – Computer-aided diagnosis) Cirurgia Auxiliada Por Computador (CAS – Computer-assisted Surgery) RECUPERAÇÃO DE IMAGEM POR CONTEÚDO (CBIR – Content-based image retrieval)

co-registro e fusão de imagens, INSPEÇÃO VISUAL Visão Computacional e Visualização Científica co-registro e fusão de imagens, realce, segmentação, quantificação visualização 3D de estruturas - Exemplo: Neurologia

INSPEÇÃO VISUAL Exemplos de Visualização 3D de Imagens

DIAGNÓSTICO AUXILIADO POR COMPUTADOR (CAD) Diagnóstico feito por especialista que utiliza a saída de uma análise computadorizada de imagens como “segunda opinião” no processo de detecção de lesões e tomadas de decisões diagnósticas. Doi K. Computer-aided diagnosis and its potential impact on diagnostic radiology. In: Doi k, MacMahon H, Giger ML, Hoffmann KR, eds. Computer-aided diagnosis in medical imaging. Amsterdam: Elsevier Science, 1999:11-20.

Auxílio ao Diagnóstico CAD TIPOS DE AUXÍLIO Auxílio à Detecção Localização de regiões suspeitas CAD – Computer Assisted Detection aprovado pela FDA-USA Auxílio ao Diagnóstico Classificação dos achados extração de informações pelo computador extração de informações pelo especialista

CIRURGIA AUXILIADA POR COMPUTADOR (CAS) 3D CT Hemangioma

CIRURGIA AUXILIADA POR COMPUTADOR (CAS) Procedimentos Intervencionistas Planejamento e Tratamento Radioterápico (dose máxima no alvo e dose mínima no tecido circundante) Avaliações Ortopédicas

RECUPERAÇÃO DE IMAGEM POR CONTEÚDO (CBIR) Rosa NA, Traina AJM. Uma abordagem prática e eficiente de consultas por similaridade para suporte ao diagnóstico por imagem. Dissertação de mestrado, ICMC/USP, 2002. BD ORACLE CT Imagens DICOM MÉDICO ? O Sistema SRIS-HC