Lista de Exercício IAI 2009 – Ricardo Prudêncio. Os objetivos dessa lista são: –Realizar treinamento de SVMs no WEKA –Praticar procedimento de seleção.

Apresentação em tema: "Lista de Exercício IAI 2009 – Ricardo Prudêncio. Os objetivos dessa lista são: –Realizar treinamento de SVMs no WEKA –Praticar procedimento de seleção."— Transcrição da apresentação:

1 Lista de Exercício IAI 2009 – Ricardo Prudêncio

2 Os objetivos dessa lista são: –Realizar treinamento de SVMs no WEKA –Praticar procedimento de seleção de parâmetros para SVMs Com kernel RBF –Análise dos resultados obtidos

3 Dado um conjunto de exemplos referentes a um problema de classificação: –Dados fornecidos pelos professor para cada equipe (entrem em contato) Divida os dados aleatoriamente em dois subconjuntos: treinamento (2/3 dos exemplos) e validação (com 1/3 dos exemplos). –O subconjunto de treinamento será usado para gerar um modelo SVM. –O subconjunto de validação, por sua vez, será usado para: Avaliar a SVM treinada em dados não vistos durante o treinamento e escolher as melhores configurações de parâmetros Gamma e C.

4 Faça experimentos com SVMs usando kernel RBF, testando combinações dos parâmetros Gamma e C, com os seguintes valores: Gamma = 2 -13, 2 -11, 2 -9, 2 -7, 2 -5, 2 -3, 2 -1 e 2 +1 C = 2 -3, 2 -1, 2 +1, 2 +3, 2 +5, 2 +7, 2 +9 e 2 +11 Desta forma, serão avaliados 64 (8 X 8) combinações de parâmetros para as SVMs.

5 Para cada combinação de parâmetros (Gamma, C), treine a SVM usando o conjunto de treinamento e salve: –(1) A taxa de acerto de classificação obtida para o conjunto de treinamento e; –(2) A taxa de acerto obtida para o conjunto de validação Assim serão geradas duas matrizes de desempenho 8 X 8 –(1) Matriz com as taxas de acerto no treinamento; –(2) Matriz com as taxas de acerto na validação;

6 Item 1 (4pt): –Selecione a melhor configuração (Gamma, C), levando em consideração as taxas de acerto no conjunto de validação Indique a taxa de acerto obtida com essa configuração no treinamento e na validação –OBS.: A configuração selecionada será avaliada pelo professor em uma amostra de teste não revelada!!!

7 Item 2 (3.0pt): Desenhe uma grade 8 x 8 associada aos parâmetros Gamma e C 2 -13 2 -11 … 2 +1 2 +11 2 +9. 2 -3 Gamma C

8 Item 2 (cont): Marque na grade as 10 melhores combinações (Gamma, C), no conjunto de validação Marque na grade as 10 piores combinações (Gamma, C), no conjunto de validação Apresente a grade e responda: –(1) Foi observada alguma relação entre Gamma e C nas melhores configurações? –(2) Foi observada alguma relação entre Gamma e C nas piores configurações?

9 Item 3 (3.0pt): : Desenhe uma grade 8X8 associada a Gamma e C. –Marque as 10 piores e as 10 melhores combinações, levando em consideração as taxas de acerto no treinamento –Apresente a grade e responda: (1) Foi observada alguma região de overfitting? (2) Foi observada alguma região de underfitting?

10 Entrega do exercício: –DIA 17 de Junho de 2009