Aula Prática Classificação

Apresentação em tema: "Aula Prática Classificação"— Transcrição da apresentação:

1 Aula Prática Classificação

2 EXERCÍCIO 1 Entre no Weka e carregue o arquivo golf.arff (preprocess/open file) Examine os dados escolha a aba de Classificação (Classify) e selecione o classificador J48 (Choose/Trees/J48) e execute com os parâmetros default (start) Compreenda a saída fornecida Visualize a árvore gerada (clicando com o botão direito na lista de resultados e escolhendo visualize tree) Comentários: o arquivo é muito pequeno, apenas 14 registros. Por isso a taxa de acurácia varia tanto conforme o tipo de avaliação utilizado.

3 Outros classificadores no Weka
Nome de alguns classificadores vistos em aula, no Weka: C 4.5: Choose/trees/J48 ID3: Choose/trees/Id3 naïve bayes: Choose/bayes/NaiveBayes k-NN: Choose/lazy/IBk SVM: Choose/functions/SMO Rede neural backpropagation: Choose/functions/MultilayerPerceptron

4 Exercício 2 Carregue o arquivo iris.arff (150 registros)
Execute o classificador J48 com os parâmetros default. Se familiarize com o formato da saída fornecida, incluindo a matriz de confusão Visualize a árvore gerada Visualize os erros de classificação. No gráfico, como se diferenciam as instancias corretamente das incorretamente classificadas? Como pode-se ver informações detalhadas de uma instância (registro)? Execute outras formas de avaliação e verifique o efeito: Use training set (usa para teste o mesmo arquivo do treinamento) Percentage split (divide o arquivo em uma parte para o treinamento e outra para o teste) Use outros algoritmos de classificação e anote o seu nome e o resultado (acurácia) Os erros de classificacao aparecem no gráfico como quadrados. Para se obter detlhes de uma instancia basta clicar sobre ela.

5 EXERCÍCIO 3 Carregue o arquivo credit-g.arff (arquivo com dados para decisão sobre crédito bancário, com 1000 registros) Use percentage split como método de avaliação (o número de registros é razoavelmente grande). Para este problema, considere que um falso positivo (prever que a classe é good quando na verdade é bad) tem um custo 5 vezes maior que o de um falso negativo. Encontre o menor custo com o J48 (usando a matriz de confusão ), considerando os custos: VP=-1; VN=-1; FP=5; FN=1. Utilizando os valores default dos parâmetros, teste com outros classificadores e anote o resultado em uma tabela com: classificador, acurácia, custo, tempo de execução O tempo de geracao do modelo normalmente nao e’ considerado para tarefas de classificacao, mas se o numero de registros for muito grande, pode ser bem demorado….. Para este arquivo de dados, o tempo de execucao do algoritmo functions/multilayer perceptron (tipo de rede neural) leva cerca de 58 segundos enquanto o J48 leva cerca de 0,05 segundos!

6 EXERCÍCIO 4 Abra o arquivo hepatitis.arff
Execute o J48 com os parâmetros default. Salve o resultado. Execute outros classificadores e anote o resultado. Qual o melhor? Compare as matrizes de confusão geradas pelos diversos classificadores

7 Exercício 5 Abra o arquivo mushroom.arff.
Utilize alguns algoritmos de classificação. Faça uma tabela com o classificador e acurácia obtida. Qual o melhor resultado, com que classificador?

8 Salvar e utilizar o modelo de classificação
executar o algoritmo de classificação (por exemplo, o J48) para realizar o treinamento (geração do modelo) Clique o botão direito sobre o modelo que deve ser salvo, na Results list Selecione Save model e salve o modelo. Carregar (o modelo salvo anteriormente) Carregue os dados de teste usando a opção Supplied test set Clique o botão direito na Results list, selecione Load model e escolha o modelo salvo para carregar Selecione Re-evaluate model on current test set OBS: - o arquivo usado para teste deve conter os mesmos nomes de atributos e os mesmos tipos que o arquivo usado para gerar o modelo. - Quando se carrega um arquivo CSV, o primeiro registro é usado para nomear os atributos.