Jacques Robin, Francisco Carvalho, Flávia Barros

Apresentação em tema: "Jacques Robin, Francisco Carvalho, Flávia Barros"— Transcrição da apresentação:

1 Jacques Robin, Francisco Carvalho, Flávia Barros
Aprendizagem de máquina para classificação de texto: parte III do projeto de Inteligência Artificial Simbólica Jacques Robin, Francisco Carvalho, Flávia Barros

2 Passos Escolher duas da técnicas de aprendizagem de máquina vista na disciplina: Classificador Bayesiano ingênuo, usar naivebayes do Weka Indução de arvore de decisão, usar j48 do Weka Indução de regras atributivas, usar Prism do Weka Programação em lógica indutiva, usar Progol Aprendizagem baseada em instância, usar KNN do Weka Clustering, usando algum algoritmo de clustering do Weka Transformar os dados de espaço de vetor de palavras e o rótulo positivo ou negativo do corpus para o formato aceito pelo algoritmo de aprendizagem Treinar o algoritmo com a parte de treinamento desses dados Testar o conhecimento aprendido com a parte de teste desses dados Comparar em termos de precisão, cobertura e medida F o desempenho dos dois classificadores aprendidos com o classificador manualmente codificado com JEOPS Refazer os experimento aplicando antes da aprendizagem a seleção automática de atributos do Weka

3 Preparação de dados para naiveBayes, j48, Prism e KNN
Cada atributo é a TFIDF de cada palavra no documento e corpus O atributo classe é o valor binário + ou –

4 Usando Clustering Cada atributo é a TFIDF de cada palavra no documento e corpus Rodar Apriori para formar dois grupos no conjunto de treinamento Contar a proporção relativa de exemplos positivos e negativos em cada grupo Se as proporções de cada grupo são claramente diferentes (ex, grupo1 com +/- = 90%/10% e grupo2 com +/- 85%/15%) Definir métrica entre vetores de atributos (por exemplo distância euclidiana) Atribuir classe de exemplo de teste como sendo a classe majoritária do grupo cujo centro de gravidade (protótipo) mais próximo do exemplo

5 Usando Progol Codificar vetores TFIDF como fatos Prolog:
tfidf(DocID, TfidfWord1, ..., TfidfWordN). Codificar classes dos documentos de treinamento como fatos Prolog: class(DocID, ClassName). Declarar modes Progol definindo a cara das regras a aprender, se inspirando das regras manualmente codificadas em JEOPS Definir os parametros de aprendizagem como fatos built-in do Progol Traduzir regras manuais de JEOPS para Prolog Experimentar com várias proporções dessas regras fornecidas como conhecimento a priori (ex, 0%, 10%, 25%, 50%, 100%).