Análise de Componentes Principais Tópicos Avançados em Processamento de Imagens e Prof. Dr. Kamel Bensebaa Aula 3 Análise de Componentes Principais

Análise de Componentes Principais Pearson (1901) e Hotelling (1933) O objetivo principal é a obtenção de um pequeno número de combinações lineares (componentes principais) de um conjunto de variáveis, que retenham o máximo possível da informação contida nas variáveis originais. Redução dos dados originais Facilitar a interpretação através da descoberta de relacionamentos não suspeitos previamente.

Análise de Componentes Principais A análise de componentes principais substitui um conjunto de variáveis correlacionadas por um conjunto de novas variáveis não-correlacionadas, sendo essas combinações lineares das variáveis iniciais e colocadas em ordem decrescente por suas variâncias Var CP1 > Var CP2 > .... > Var CPp

Análise de Componentes Principais Algebricamente, componentes principais são combinações lineares particulares das “p” variáveis aleatórias X1, X2, ..., Xp; Geometricamente, essas combinações lineares representam a relação de um novo sistema de coordenadas obtido por deslocamento e rotação do sistema original com X1, X2, ..., Xp como eixos; Os novos eixos representam as direções com variabilidade máxima e fornecem uma descrição mais simples e mais parcimoniosa da estrutura de covariância; Os componentes principais dependem da matriz de correlação (r) ou da matriz de covariâncias () de X1, X2, ..., Xp. O seu desenvolvimento não necessita da suposição de normalidade.

Estatística Variância Variância de uma variável aleatória é uma medida dispersão estatística, indicando qual longe em geral os seus valores se encontram do valor esperado. Desvio padrão é a raiz da variância O resultado do desvio se dá na mesma medida dos dados da população ou amostra.

Estatística Covariância Variância é uma medida unidimensional. É calculada de maneira independente pois não leva em consideração as outras dimensões. Covariância por sua vez, é uma medida bidimensional. Verifica a dispersão, mas levando em consideração duas variáveis

Estatística Matriz de covariância Para 3 variáveis aleatórias, x, y e z, o cálculo de todas as covariâncias (x-y, x-z e y-z) pode ser acomodada em uma matriz, a qual denomina-se matriz de covariância.

COMPONENTES DA ACP Autovetores (eigenvectors): conjunto de eixos (componentes ou fatores) extraídos de uma matriz de semelhança entre variáveis (são numericamente iguais ao número de variáveis). Autovalores (eigenvalues): comprimento dos autovetores, correspondendo a sua importância para a explicação da variância total dos dados. CP I > CP II > CP III …

Autovalores e autovetores Autovalores e autovetores são conceitos importantes de matemática, com aplicações práticas em áreas diversificadas como mecânica quântica, processamento de imagens, análise de vibrações, mecânica dos sólidos, estatística, etc (na língua inglesa, os termos usuais são eigenvalue e eigenvector. Nesses nomes, há uma combinação de idiomas, pois o prefixo eigen é alemão, significando próprio, característico).

Autovalores e autovetores Graficamente a idéia básica pode ser vista de uma forma bastante simples. Seja uma imagem formada por um retângulo com 2 vetores Figura (a). a b

Autovalores e autovetores Essa imagem sofre uma ampliação (transformação) apenas na horizontal, resultando no retângulo (Figura b). Nessa condição, o vetor v2 passou a v2', que não tem a mesma direção do original v2. Portanto, o vetor v2' não pode ser representado por v2 multiplicado por um escalar. Mas o vetor v1' tem a mesma direção de v1 e, por isso, pode ser representado por v1 multiplicado por um escalar. Diz-se então que v1 é um autovetor da transformação e que esse escalar é um autovalor associado.

Autovalores e autovetores Como sabe-se duas matrizes podem ser multiplicadas se elas possuem tamanhos compatíveis. Autovetores são casos especiais neste contexto.

Autovalores e autovetores Propriedades Podem ser achados somente em matrizes quadradas. Nem todas as matrizes possuem autovetores. Para uma data n x n matriz, existem n autovetores. Se o vetor for multiplicado por uma constante, ainda obteremos o mesmo resultado.

Autovetores/Autovalores Todos os autovetores são ortogonais (perpendiculares), ou seja os dados podem ser expressos em termos destes vetores. O valor pelo qual o vetor é multiplicado é conhecido como autovalor Um autovetor sempre possui um autovalor

Análise de Componentes Principais (PCA) Análise de Componentes Principais (ACP), ou a transformação de Karhunen-Loeve (TKL) permitem estudar os dados num espaço de dimensão reduzida. Uma ACP permite substituir os atributos que são correlacionados, através novas variáveis  : as componentes principais.

Análise de Componentes Principais (PCA) Uma maneira de identificar padrões em dados, colocando em evidência suas similaridades e diferenças. Ferramenta importante para altas dimensões, onde não podemos fazer uma análise visual. Uma vez encontrados esses padrões, podemos comprimir os dados sem grande perda de qualidade. Extrator de características (representação)

Exemplo de PCA Escolha um conjunto de dados. Normalize esses dados, subtraindo-os da média.

Exemplo de PCA Calcule a matriz de covariância para os dados normalizados. Uma vez que os dados possuem duas dimensões, teremos uma matriz 2x2

Exemplo de PCA Encontre os autovetores e autovalores para a matriz de covariância. – Uma vez que a matriz de covariância é quadrada podemos encontrar os autovetores e autovalores.

Exemplo de PCA

Exemplo de PCA Escolhendo os componentes que vão formar o vetor – Como vimos, os autovalores são bastante diferentes. – Isso permite ordenar os autovetores por ordem de importância. – Se quisermos eliminar um componentes, devemos então eliminar os que tem menos

Exemplo de PCA No nosso exemplo temos duas escolhas Manter os dois. Eliminar um autovetor, diminuindo assim a dimensionalidade dos dados Grande problema da dimensionalidade Quanto maior a dimensionalidade do seu vetor, mais dados serão necessários para a aprendizagem do modelo.

Exemplo de PCA Construindo novos dados. – Uma vez escolhidos os componentes (autovetores), nós simplesmente multiplicamos os dados pelo autovetor(es) escolhidos. – O que temos? Dados transformados de maneira que expressam os padrões entre eles. Os PCs (Principal Components) são combinações linear de todas as características, produzindo assim novas características não correlacionadas.

Redução da dimensão d :Solução para projeção ou extração A extração consiste a projetar o conjunto das d características originais em um outro espaço de dimensão inferior O sentido dos atributos pode ser perdido visto que os comprimentos, larguras, cores são combinados por A.

Redução da dimensão d :Solução para projeção ou extração A seleção consiste a encontrar os d’ características dentre os d possíveis que mais discriminem as formas a classificar Menos ótima. Ex: Reconhecimento de faces : escolher a intensidade de um pixel (atributo) em vez de um outro não leva longe visto que a combinação desses atributos que é discriminante

Análise de Componentes Principais (PCA) A partir de um número elevado de características, o objetivo deste método é reduzir os cálculos para um pequeno número significativo de características. Elimina a redundância entre as características e as características não-significativas.

Análise de Componentes Principais (PCA) Etapa 1 Calcular a média de cada vetor de características. Etapa 2 Subtrair a média de cada vetor de características. Etapa 3 Calcular a matriz das covariâncias. Etapa 4 Calcular os auto-valores e auto-vetores da matriz de covariância. Etapa 5 Guardar os maiores auto-valores (+ auto-vetores ). Etapa 6 Projetar os dados no novo espaço.

Análise de Componentes Principais (PCA) Etapa 1 Calcular a média de cada vetor de características.

Análise de Componentes Principais (PCA) Etapa 2 Subtrair a média de cada vetor de características. Etapa 3 Calcular a matriz das covariâncias.

Análise de Componentes Principais (PCA) Etapa 4 Calcular os auto-valores e auto-vetores da matriz de covariância. Os auto-vetores da matriz de covariância representem uma base ortogonal de eixos principais (significativos) do conjunto dos daods. Cada auto-valor expressa a importância do auto-vetor associado Maior o auto-valor, o auto-vetor associado é mais significativo.

Análise de Componentes Principais (PCA) Etapa 5 Guardar os maiores auto-valores (+ auto-vetores ). Etapa 6 Projetar os dados no novo espaço.

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces

Análise de Componentes Principais (PCA) utilizada em Reconhecimento de Faces