Universidade de São Paulo Escola de Engenharia de São Carlos Departamento de Engenharia Elétrica @LADIM – SEL - EESC - USP CHOPI – CCIFM - HCFMRP - USP Recuperação Baseada em Conteúdo de Imagens Mamográficas: Atributos Visuais de Forma, Espectrais no domínio de Radon e Granulometria Autores: Sérgio K. Kinoshita, R. R. Pereira Júnior, M.O. Honda, J.A.H. Rodrigues e Paulo M. de Azevedo Marques.

Introdução Câncer de mama é a principal causa de mortalidade na população feminina de acordo com ACS1 e o INC/MS2; Mamografia é considerada a forma mais eficaz para a detecção precoce de câncer de mama, permitindo a identificação da lesão quando ainda não é palpável. Associação da densidade mamária com o risco de desenvolvimento de câncer da mama (Wolfe, 1976). Vários trabalhos, até hoje, utilizam a medida de densidade como fator de risco de câncer de mama de acordo com o padrão de Wolfe. Existe controvérsia na adoção desse padrão, mas há a unanimidade de que a densidade mamária é um fator importante na avaliação da mamografia. Surgimento de padrões com o objetivo da caracterização da densidade mamária Padrão BI-RADS 1American Cancer Society, Cancer Facts and Figures, NY, 2004. 2 Instituto Nacional de Cancer – Ministério da Saúde, 2003. Wolfe, JN (1976), “Risk for breast cancer development determined by mammographic parenchymal pattern”, Cancer, V.37, p.2486-92.

Introdução Padrão BI-RADS( descrição, enquadramento da mama e recomendações de conduta e conclusões) Composição: é importante para especificar o grau de sensibilidade que se espera no diagnóstico. Composição 1, 2, 3 e 4. Categoria: é utilizado para classificar a mama de acordo com os achados radiológicos. Categoria 0, 1, 2, 3, 4A, 4B, 4C e 5. 1American College of Radiology – Breast Imaging Reporting and Data System, 4th edition, 2003.

Introdução 5. Análise da mamografia pelo radiologista Todo o processo é feito de forma visual e envolve alto grau de subjetividade. 6. Sistema Computadorizado de Auxílio ao Diagnóstico (CAD) Representa a maioria dos trabalhos em análise de densidade em mamografia e tem objetivos bem definidos quanto ao resultado esperado (classificação no padrão Wolfe e BI-RADS). 7. Sistema de Recuperação de Imagens Baseado em Conteúdo (CBIR) Não existe trabalho de análise de densidade em CBIR. A busca de imagens é feita através de atributos visuais de similaridade. Padrão BI-RADS( descrição e enquadramento, conclusão e conduta) Composição: é importante para especificar o grau de sensibilidade que se espera no diagnóstico. Composição 1, 2, 3 e 4. Categoria: é utilizado para classificar a mama de acordo com os achados mamográficos. Categoria 0, 1, 2, 3, 4A, 4B, 4C e 5. Vários trabalhos realizam a caracterização de acordo com esse padrão.

Objetivo Investigar atributos visuais para a recuperação de imagens mamográficas baseado em conteúdo (CBIR) que levem em consideração a densidade de tecidos mamários, quanto à sua distribuição e intensidade.

Classificação e Comparação Preparação e Processamento Metodologia Esquema Geral Teste (consulta) Treinamento Classificação e Comparação por Similaridade Extração e Seleção de Atributos Atributos Visuais Imagem Recuperada Imagem Digitalizada Preparação e Processamento da Imagem Banco de Imagem

Metodologia Imagem Digitalizada Imagens selecionadas pertencem ao projeto de Banco de Imagens do HCFMRP-USP, módulo Mamografia, processo HCRP número 10093/2003. Foram selecionados 270 casos, correspondendo à 1080 imagens  270 CC direita, 270 CC esquerda, 270 MLO direita e 270 MLO esquerda. As imagens foram acompanhadas de respectivo laudo médico. A descrição dos laudos acompanha o padrão BI-RADS e contém descrições de características de simetria, classificação volumétrica, distribuição e forma da densidade mamária, classificação da composição da mama (1,2,3 ou 4), classificação da categoria (0,1,2,3,4A,4B,4C ou 5), etc. As imagens foram digitalizadas com resolução espacial de 300 dpi (84,67 m) e 12 bits de quantização (4096 níveis de cinza). Foram digitalizados 148 filmes mamográficos com dimensão de 240x300 mm e 932 filmes com dimensão de 180 x 240 mm. Após realizados recortes na imagem para eliminação da identificação da paciente, redimensionamento da imagem para 1024x1024, o tamanho dos pixels passaram a ter os tamanhos de 223,50 m e 279,40 m, de acordo com a dimensão do filme.

Extração e Seleção de Atributos Extração de Atributos de Forma Metodologia Extração e Seleção de Atributos Extração de Atributos de Forma Os atributos utilizados pertencem aos grupos de textura e forma. Atributos de forma de área, solidez e razão de diâmetro. Atributos de Medida de Granulometria. Atributos Espectrais no Domínio de Radon

Extração e Seleção de Atributos Extração de Atributos de Forma Metodologia Extração e Seleção de Atributos Extração de Atributos de Forma Área da Região da Mama A mais simples maneira de calcular a área de um objeto em uma imagem, é contar o número de pixels do objeto. O valor da área foi normalizado e transformado em milimetro. N: número de pixels do objeto. L: número de níveis de cinza do objeto. h(g): a freqüência de nível de cinza g que pertence ao objeto. A: área em milimetross tp: o tamanho do pixel (0,2235mm ou 0,2794mm) n2: o número total de pixels na imagem

Metodologia Extração e Seleção de Atributos Extração de Atributos de Forma Solidez, Compacidade ou Compactação Determina a razão do perímetro (P) e a área do objeto (A). A equação foi alterada de tal forma que para objetos semicirculares o valor aproxima de zero e aumenta de acordo com a complexidade ou rugosidade da forma.

Metodologia Extração e Seleção de Atributos Extração de Atributos de Forma Medida de Razão de Diâmetro Este atributo fornece o grau de elongação da forma da mama. Quanto maior o valor do atributo, mais elongado será a sua forma; caso contrário, a mama terá a forma achatada. CC MLO Dx Dy Dy Dx

Extração e Seleção de Atributos Extração de Atributos de Forma Metodologia Extração e Seleção de Atributos Extração de Atributos de Forma a Imagem Área (A) Solidez (S) Razão de Diâmetro (RD) Imagem (a) 0,0998 0,7958 1,5916 Imagem (b) 0,0211 0,8087 0,7904 b Medidas de atributos de forma extraídos das imagens (área, solidez e razão de diâmetro).

Extração e Seleção de Atributos Medida de Granulometria Metodologia Extração e Seleção de Atributos Medida de Granulometria Fornece a distribuição dos tamanhos dos objetos presentes em uma amostra. São aplicados filtros morfológicos de abertura com elemento estruturante de tamanho crescente na imagem original. A diferença entre a imagem original e a imagem filtrada é computada a cada passagem crescente do elemento estruturante no filtro morfológico. No final do processo, essas diferenças são normalizadas e usadas na construção de um histograma de distribuição dos tamanhos dos objetos presentes na imagem. Na mamografia, a densidade comumente aparece com aspecto granular que pode interferir na exatidão da caracterização de achados na região da mama. Extraímos a distribuição da imagem da região fibro-glandular segmentada e aplicamos o filtro morfológico com elemento estruturante com formato circular e raio variando entre 5 e 60 pixels. Utilizamos o histograma de distribuição como atributo de medida de granulometria.

Extração e Seleção de Atributos Medida de Granulometria Metodologia Extração e Seleção de Atributos Medida de Granulometria Processo de extração de atributo de medida de Granulometria. (a) imagem original; (b) imagem com a região de tecido fibro-glandular segmentada; (c) imagem numa etapa de filtragem de abertura morfológica; (d) o histograma da quantidade de pixels em função do raio de abertura do elemento estruturante.

Extração e Seleção de Atributos Metodologia Extração e Seleção de Atributos Domínio de Radon Ilustração de uma imagem em nível de cinza e o domínio de Radon aplicada a transformada de Radon.

Extração e Seleção de Atributos Metodologia Extração e Seleção de Atributos Domínio de Radon No domínio de Radon, valores de picos representam altas intensidades numa determinada direção da imagem. A posição e direção destes picos são facilmente identificadas na imagem. Separamos o domínio de Radon R(t,) em duas funções unidimensionais da intensidade em função da posição R(t) e direção R(). Para analisar o comportamento das funções, extraímos os valores de Média, Momentos centrado na média (Desvio-padrão, Skewness e Kurtosis) e Entropia.

Extração e Seleção de Atributos Metodologia Extração e Seleção de Atributos Domínio de Radon Gráfico das funções de decomposição do domínio de Radon. (a) imagem com a região fibro-glandular segmentada; (b) Domínio de Radon R(t,); (c-d) as funções decompostas Rt() e R(t).

Extração e Seleção de Atributos Exemplo do Domínio de Radon Metodologia Extração e Seleção de Atributos Exemplo do Domínio de Radon Função Média Desvio- padrão Skewness Kurtosis Entropia Rt() 85,9352 53,2773 0,1314 1,7293 0,0082 R(t) 17,3467 218,5510 -0,0306 2,6100 0,0018 Medidas de momentos estatísticos extraídos dos gráficos Rt( e R(t) .

Extração e Seleção de Atributos Metodologia Extração e Seleção de Atributos Seleção de Atributos Este processo definiu a combinação de atributos que irão compor o conjunto de vetores de entrada para o treinamento e teste da rede SOM de Kohonen. Foram realizadas combinações de atributos que variaram entre 10 e 33, foi utilizado o método de Análise de Componentes Principais (PCA) para redução da dimensionalidade. Os conjuntos de atributos foram normalizados para o intervalo [-1,1] antes da redução da dimensionalidade, utilizando a equação (1). Após a redução da dimensionalidade, os valores foram normalizados para o intervalo [0,1] para a entrada da rede SOM, utilizando a equação (2). (1) (2)

Metodologia Sistema CBIR com Rede SOM Definição dos Grupos de Amostras de Treinamento e Teste A amostra de atributos extraídas das imagens foi dividida em treinamento e teste, utilizando o método “leaving-one-out”. As imagens foram agrupadas em amostras de 270 imagens, sendo 269 imagens para treinamento e 1 imagem para teste, até completar o conjunto da amostra. Com isso, a avaliação do grau de generalização do classificador ficou, desta forma, garantida.

Metodologia Sistema CBIR com Rede SOM A Rede de Mapa Auto-Organizável de Kohonen (SOM) Adotamos a topologia de grade de 16x16 neurônios, totalizando 256 neurônios na camada de saída. Para o treinamento, adotamos o valor máximo de 8.000 epochs e a taxa de aprendizagem não fixada.

Metodologia Sistema CBIR com Rede SOM A Rede de Mapa Auto-Organizável de Kohonen (SOM)

Metodologia Avaliação do Sistema CBIR Avaliação do desempenho do sistema de recuperação Na saida da rede SOM, cada imagem teste foi classificada dentro de um grupo de imagens de acordo com a similaridade dos atributos utilizados. Para avaliar o desempenho do sistema de recuperação, utilizou-se a taxa de precisão pela classificação da composição dos tecidos pelo critério BI-RADS registrada no laudo médico da paciente. A classificação levou em consideração a variabilidade existente entre os observadores na descrição da composição dos tecidos no laudo médico. Foram calculadas as taxas médias de precisão entre a imagem de consulta e as imagens recuperadas. O coeficiente de correlação médio e o desvio-padrão foram calculados com o objetivo de demonstrar a correlação entre as imagens recuperadas e as imagens de consulta.

Avaliação do Sistema CBIR Metodologia Avaliação do Sistema CBIR Avaliação pela taxa de precisão da classificação da composição dos tecidos Para o cálculo da correlação, utilizamos um sistema de alinhamento entre as imagens (consulta e recuperadas).

Avaliação do Sistema CBIR Metodologia Avaliação do Sistema CBIR Avaliação pela taxa de precisão da classificação da composição dos tecidos Imagens recuperadas com o atributo no domínio de Radon. Em (a) a imagem teste com composição 4, classificadas no padrão BI-RADS; em (b-d) imagem recuperada com composições diferentes.

Avaliação do Sistema CBIR Metodologia Avaliação do Sistema CBIR Avaliação pela taxa de precisão da classificação da composição dos tecidos Composição da imagem teste Faixa de classes consideradas pela composição de tecidos na classificação 1 1 e 2 2 1, 2 e 3 3 2, 3 e 4 4 3 e 4 Tabela do critério usado na classificação das imagens recuperadas considerando a variabilidade ocorrida durante a avaliação da imagem de acordo com a composição no padrão BI-RADS.

Metodologia Avaliação do Sistema CBIR Resultados da avaliação pela taxa de precisão da classificação da composição dos tecidos Taxa de Precisão Grupo de Atributos Coeficiente de Correlação (  ) 82,86% Domínio de Radon 0,8378  0,1014 81,81% Medida de Granulometria 0,8383  0,0925 84,74% Forma e Domínio de Radon 0,8478  0,0902 82,02% Forma e Medida de Granulometria 0,8381  0,0947 84,50% Forma, Domínio de Radon e Medida de Granulometria 0,8472  0,0949 Os melhores resultados obtidos pela classificação da composição dos tecidos, de acordo com o padrão BI-RADS, para cada combinação de atributos.

Avaliação do Sistema CBIR Metodologia Avaliação do Sistema CBIR Resultados da avaliação pela taxa de precisão da classificação da composição dos tecidos Os resultados indicam a relevância dos atributos investigados para a recuperação baseada em conteúdo de imagens mamográfricas.

Universidade de São Paulo Escola de Engenharia de São Carlos Departamento de Engenharia Elétrica @LADIM – SEL - EESC - USP CHOPI – CCIFM - HCFMRP - USP Recuperação Baseada em Conteúdo de Imagens Mamográficas: Atributos Visuais de Forma, Espectrais no domínio de Radon e Granulometria Fim da Apresentação Autores: Sérgio K. Kinoshita, R. R. Pereira Júnior, M.O. Honda, J.A.H. Rodrigues e Paulo M. de Azevedo Marques.