Pontifícia Univerisade Católica do Paraná

Apresentação em tema: "Pontifícia Univerisade Católica do Paraná"— Transcrição da apresentação:

1 Pontifícia Univerisade Católica do Paraná
Suport Vector Machine Programa de Pós Graduação em Informática

2 Pontifícia Univerisade Católica do Paraná
Agenda Motivação; Conceito; SVM com Margem Rígida; SVM com Margem Suave; SVM Não Linear; Funções de Kernel; Classificação Multiclasse; SVM One-Class; Aplicações; Vantagens e Desvantagens; Bibliotecas disponíveis. Programa de Pós Graduação em Informática

3 Pontifícia Univerisade Católica do Paraná
Motivação Considere o seguinte exemplo: Um pesquisador foi a campo e coletou diversos tipos de cogumelos. Ao chegar em seu laboratório, ele mediu a altura e o comprimento de cada cogumelo. Ele também classificou como venenoso e comestível. Programa de Pós Graduação em Informática

4 Pontifícia Univerisade Católica do Paraná
Motivação Altura Fonte: Comestível Venenoso Fonte: Comprimento Programa de Pós Graduação em Informática

5 Pontifícia Univerisade Católica do Paraná
Motivação Fonte: Altura Fonte: Comprimento Venenoso Comestível Programa de Pós Graduação em Informática

6 Pontifícia Univerisade Católica do Paraná
Motivação Altura Venenoso Fonte: Comestível Comprimento Fonte: Programa de Pós Graduação em Informática

7 Pontifícia Univerisade Católica do Paraná
Conceito SVM é uma técnica de Aprendizagem de Máquina que procura por um hiperplano que divida duas classes com maior margem possível; Fonte: Fonte: Programa de Pós Graduação em Informática

8 Conceito – SVM com Margens Rígidas
Pontifícia Univerisade Católica do Paraná Conceito – SVM com Margens Rígidas Fonte: Os dados devem ser linearmente separáveis; Determinar hiperplano de separação: Para resolução do problema é utilizado a função Lagrangiana: Os Multiplicadores de Lagrange não nulos são utilizados como vetores de suporte. 𝛼=0 𝛼=0 𝛼=0 𝛼=0 𝛼=0 𝜶=𝟎.𝟖 𝑀𝑖𝑛𝑖𝑚𝑖𝑧𝑎𝑟: 𝑤 2 𝑆𝑢𝑗𝑒𝑖𝑡𝑜 𝑎: 𝑦 𝑖 𝑤⋅ 𝑥 𝑖 +𝑏 ≥1, ∀ 𝑥 𝑖 O classificador é expresso por: 𝑔 𝑥 = +1 𝑠𝑒 𝑤∙ 𝑥 𝑖 +𝑏>0 −1 𝑠𝑒 𝑤∙ 𝑥 𝑖 +𝑏≤0 𝛼=0 𝜶=𝟎.6 𝛼=0 𝛼=0 𝜶=𝟎.5 𝛼=0 Fonte: 𝛼=0 𝛼=0 Programa de Pós Graduação em Informática

9 Conceito – SVM com Margens Suaves
Pontifícia Univerisade Católica do Paraná Conceito – SVM com Margens Suaves Quando os dados não são linearmente separáveis, são utilizadas variáveis de relaxamento 𝛏 que suavizam as restrições impostas na determinação do hiperplano ótimo; O problema de otimização para de determinar o hiperplano é: 𝐂 é o único parâmetro de ajuste. 𝑀𝑖𝑛𝑖𝑚𝑖𝑧𝑎𝑟: 𝑤 2 +𝐶 𝝃 𝒊 𝑆𝑢𝑗𝑒𝑖𝑡𝑜 𝑎: 𝑦 𝑖 𝑤⋅ 𝑥 𝑖 +𝑏 ≥1− 𝛏 𝐢 , ∀ 𝑥 𝑖 𝝃 𝒊 ≥0 Fonte: Fonte: Programa de Pós Graduação em Informática

10 Pontifícia Univerisade Católica do Paraná
SVM Não Linear E quando os dados não podem ser separados linearmente? São utilizadas funções de mapeamento Φ para gerar um novo espaço de atributos, denominado espaço de características. Fonte: Fonte: Programa de Pós Graduação em Informática

11 Pontifícia Univerisade Católica do Paraná
SVM Não Linear A dimensão do novo espaço de características deve ser maior que o original: O Teorema de Cover diz que se aplicarmos uma transformação não-linear Φ no espaço de características ℜ 𝑛 para um espaço de características ℜ 𝑚 , em que 𝑚>𝑛, nós aumentamos a probabilidade das amostras serem linearmente separáveis em ℜ 𝑚 . Programa de Pós Graduação em Informática

12 Pontifícia Univerisade Católica do Paraná
SVM Não Linear Exemplo 1 de transformação não linear: ℜ 2 𝚽 Fonte: ℜ 1 Fonte: Programa de Pós Graduação em Informática

13 Pontifícia Univerisade Católica do Paraná
SVM Não Linear Exemplo 2 de transformação não linear: ℜ 3 ℜ 2 Fonte: Fonte: Programa de Pós Graduação em Informática

14 SVM Não Linear Hiperplano de separação: 𝑀𝑖𝑛𝑖𝑚𝑖𝑧𝑎𝑟: 1 2 𝑤 2 +𝐶 𝜉 𝑖
𝑀𝑖𝑛𝑖𝑚𝑖𝑧𝑎𝑟: 𝑤 2 +𝐶 𝜉 𝑖 𝑆𝑢𝑗𝑒𝑖𝑡𝑜 𝑎: 𝑦 𝑖 𝑤⋅ 𝚽(𝑥 𝑖 )+𝑏 ≥1− 𝜉 𝑖 , ∀ 𝑥 𝑖 𝜉 𝑖 ≥0 Fonte:

15 Pontifícia Univerisade Católica do Paraná
SVM Não Linear Após mapeando para um novo espaço de características espera-se que os dados possam ser separados com uma SVM com Margem Suave. Problema dos cogumelos: 𝚽 Fonte: Programa de Pós Graduação em Informática

16 Pontifícia Univerisade Católica do Paraná
Funções de Kernels Funções de Kernels são utilizadas para gerar o novo espaço de características; A utilidade dos Kernels está na simplicidade de cálculo e na capacidade de representar espaços abstratos; Kernels mais utilizados na literatura: Kernel Função Parâmetros de ajuste Polinomial 𝑥 𝑖 𝑇 ∙ 𝑥 𝑗 +1 𝜌 𝜌 Gaussiano (RBF) 𝑒 − 1 2 𝜎 𝑥 𝑖 − 𝑥 𝑗 2 𝜎 2 Sigmoidal tanh 𝛽 0 𝑥 𝑖 ∙ 𝑥 𝑗 + 𝛽 1 𝛽 0 e 𝛽 1 Programa de Pós Graduação em Informática

17 Pontifícia Univerisade Católica do Paraná
SVM Multiclasse Diversos problemas envolvem mais de duas classes, como classificar esses problemas? Fonte: Fonte: Programa de Pós Graduação em Informática

18 Pontifícia Univerisade Católica do Paraná
SVM Multiclasse Um-Contra-Todos: Gerar 𝐾 SVMs, onde 𝐾 é o número de classes. Para cada SVM gerada, considerar uma classe como positiva e demais negativas; A saída é dada para o classificador que apresente saída máxima. Fonte: Programa de Pós Graduação em Informática

19 Pontifícia Univerisade Católica do Paraná
SVM Multiclasse Todos-Contra-Todos: Consiste em comparar as classes duas a duas, sendo necessário 𝐾 𝐾−1 2 SVMs, onde 𝐾 é o número de classes; A saída é dada para a classe que recebeu mais indicações; Deve-se considerar condições de empate. Classificações A+B B+C A+C Para 𝐾=3: 3 3−1 2 =3∗ 2 2 =3 𝑆𝑉𝑀𝑠 Fonte: Fonte: Programa de Pós Graduação em Informática

20 SVM Regressão Consiste na determinação de valores contínuos;
O parâmetro de ajuste ε define a margem de tolerância para realizar o mapeamento da função; Fonte:

21 Pontifícia Univerisade Católica do Paraná
SVM One-Class Consiste em encontrar uma hiperesfera que concentre grande parte dos exemplos de treinamento: O treinamento é utilizado apenas com exemplos positivos. Fonte: Fonte: Programa de Pós Graduação em Informática

22 Pontifícia Univerisade Católica do Paraná
SVM One-Class Quando é utilizada SVM One-Class? Remover outliers do conjunto de dados; O problemas contém um número muito reduzido de uma classe (Ex: cogumelos venenosos em extinção). Fonte: Fonte: Programa de Pós Graduação em Informática

23 Pontifícia Univerisade Católica do Paraná
Aplicações Detecção de Faces; Fonte: Fonte: Programa de Pós Graduação em Informática

24 Pontifícia Univerisade Católica do Paraná
Aplicações Reconhecimento de Expressões Faciais: Fonte: Fonte: Programa de Pós Graduação em Informática

25 Pontifícia Univerisade Católica do Paraná
Aplicações Identificação de manuscritos: Fonte: Programa de Pós Graduação em Informática

26 Pontifícia Univerisade Católica do Paraná
Aplicações Detecção de tumores: Fonte: Programa de Pós Graduação em Informática

27 Vantagens e Desvantagens
Consegue lidar bem com grandes conjuntos de exemplos; Atinge bom performance com dados de alta dimensão; A classificação é rápida. Desvantagens: Definir um bom Kernel; Treinamento pode ser longo dependendo do número de exemplos e dimensão dos dados; Difícil interpretação do modelo.

28 Bibliotecas disponíveis
SMO (C++) – contém Kernel Linear e RBF; SVMLight (Multiplataforma) – contém vários Kernels e pode ser utilizada em problemas de classificação, binários; *LibSVM (C++, JAVA e MATLAB) – possui código fonte disponível. Pode ser utilizada em problemas de classificação Multiclasse e Regressão.

29 Referências A. C. Loreira e A. C. P. L. F. de Carvalho. Uma Introdução às Support Vector Machines. Revista de Informática Teórica e Aplicada. Volume 14, número 2, 2007. Eduardo Akira Kinto. Otimização e análise das máquinas de vetores de suporte aplicadas à classificação de documentos. USP, 2011. Alessandro L. Koerich. Aprendizagem de Máquina: Máquinas de Vetor de Suporte. UFPR. Edirlei Soares de Lima. Inteligência Artificial: Suport Vector Machine. PUCRIO, 2012.