Classificação de Texto Baseada na aula de Henrique Borges e Ícaro Medeiros Alterada por Flávia Barros.

Apresentação em tema: "Classificação de Texto Baseada na aula de Henrique Borges e Ícaro Medeiros Alterada por Flávia Barros."— Transcrição da apresentação:

1 Classificação de Texto Baseada na aula de Henrique Borges e Ícaro Medeiros Alterada por Flávia Barros

2 Roteiro Definição e conceitos básicos Técnicas de construção de classificadores –Manual –Automática Aplicações Avaliação/Comparação de classificadores Conclusão

3 Classificação de Texto Objetivo –Classificar documentos de acordo com classes pré-definidas E.g., Email a ser classificado como SPAM ou NÃO-SPAM A classificação de documentos visa: –Melhorar a organização da base de documentos –Facilitar a busca e a visualização de documentos E.g., Hierarquias do Yahoo –Evitar retornar documentos irrelevantes e/ou indesejáveis para o usuário –Entre outras...

4 Classificação de Texto Algumas aplicações... Classificação e indexação de documentos –Ex.: Categorização de páginas Web Sistemas de recomendação e filtragem –Ex.: Filtros de spam Sistemas de extração de informação –Ex.: Extração em referências bibliográficas etc…

5 Documentos Classe 1 Classe 2 Classe 3 Classificação de Texto

6 Classificação x RI O problema de RI pode ser visto como um problema de classificação –RI = Classificação “binária” entre documentos relevantes ou não relevantes Contudo, as duas áreas apresentam particularidades que merecem a divisão

7 Classificação de Texto A tarefa de classificar documentos pode ser realizada de forma –Manual Realizada por um especialista –Automática Realizada por um sistema automático de classificação Problema! –Como construir o classificador?

8 Classificação manual Realizada por um especialista –Vantagens Alta precisão na classificação –Desvantagens Tarefa demorada e trabalhosa

9 Classificação automática É necessário construir um sistema que fará a classificação automática dos documentos automaticamente –Vantagens Rapidez na classificação –Desvantagens Dificuldades na construção do sistema Perda de precisão na classificação

10 Classificação Automática Abordagens para construção do classificador –Construção manual Engenharia do Conhecimento – Construção automática Aprendizagem de máquina

11 Engenharia do conhecimento –Um especialista no domínio da aplicação propõe regras para classificar os documentos –O sistema é implementado pelo engenheiro do conhecimento –Dependendo do sistema, meta-informações podem ser consideradas como localização das palavras no texo (título, autor,...) Abordagem dominante até a década de 80 –Sistemas Especialistas Construção manual do classificador

12 Componentes básicos: –Base de Conhecimento com regras de classificação –Máquina de Inferência Testes e Validação Nível de Conhecimento Aquisição do Conhecimento Nível Lógico Formulação da Base de Conhecimento Nível de Implementação Construção da Base de Conhecimento

13 Construção manual do classificador Preparação de Documentos –Como em RI, podemos excluir stopwords usar stemming e redução de dimensionalidade –Normalmente esses procedimentos melhoram a precisão e facilitam a criação de regras de classificação

14 Base de Conhecimento: –Regras de Produção Exemplo: –Regras para o reconhecimento de um bloco de citação em uma página de publicação (CitationFinder) SE houver uma cadeia de Autores E houver uma cadeia de Intervalo de Páginas E houver uma cadeia de Trabalho Impresso E houver uma cadeia de Data ENTÃO o texto é uma citação (chance 1.0) Construção manual do classificador

15 Vantagens –Execução rápida do classificador Desvantagens –Necessário um especialista para codificar as regras –Muito trabalho para criar, atualizar e manter a base de regras

16 Construção automática do classificador Abordagem dominante a partir da década de 90 Baseada em Aprendizagem de Máquina

17 Construção automática do classificador Classes são mais simples de serem definidas através de exemplos Exemplos são facilmente obtidos –Especialista: "Essas 20 emails são Spam, essas 50 não." Necessidade de atualizar ou modificar freqüentemente o classificador –Usuário: "Agora eu quero trabalhar no domínio de produtos eletrônicos." Solução: Aprendizagem de Máquina

18 Construção automática do classificador Aprendizagem de Máquina –Um processo indutivo e geral que automaticamente constrói um classificador por aprendizagem usando um conjunto predefinido de categorias e suas características. –Ou seja o algoritmo "analisa" um conjunto de treinamento e "aprende" o que diferencia uma categoria das outras

19 Passos da construção automática Representação dos documentos (e.g. lista de termos) Redução da dimensionalidade Seleção ou extração de características Treinamento Textos Etiquetados Indução do classificador Classificador Corpus de treinamento Validação Ajuste de parâmetros

20 CIn/UFPE20 Textos devem ser representados através de características apropriadas Representação de Textos –Listas de termos que ocorrem no texto Pode-se excluir stopwords, usar stemming... Abordagens –Bag of Words (com TF-IDF) –Características relevantes do domínio –Características lingüísticas Passos da construção automática

21 Quando o vocabulário da base é muito grande, o algoritmo de aprendizagem poderá perder em desempenho. Redução de dimensionalidade –Seleção ou Extração das características mais relevantes – Isso melhora significativamente a eficácia e a eficiência do aprendizado Passos da construção automática

22 Fase de Treinamento –Usa-se uma técnica/algoritmo de Aprendizagem de Máquina KNN Classificador Linear (Rocchio, etc) Naive Bayes Árvores de Decisão Redes Neurais Sopport Vector Machine (SVM) Passos da construção automática

23 Validação e Ajuste de Parâmetros –Alguns classificadores precisam de parâmetros de entrada escolhidos empiricamente: Um inteiro (K) para KNN Número de nós numa Rede Neural –Parte dos documentos são separados para o algoritmo automaticamente ajustar seus parâmetros, testando a precisão, por exemplo Passos da construção automática

24 Testes –Por fim, os classificadores são avaliados se necessário, ajustes são realizados, reiniciando o ciclo Passos da construção automática

25 Exemplo usando KNN –Durante o treinamento, o classificador simplesmente armazena todos os exemplos Num formato apropriado para facilitar a comparação entre documentos Cada documento é um vetor Passos da construção automática

26 Construção automática do classificador Exemplo usando KNN –Na classificação, escolher os K documentos do conjunto de treinamento mais similares a entrada Medidas de distância: cosseno, distância euclidiana, entre outras –Atribuir à entrada uma classe baseada nas classes dos documentos recuperados Exemplos a seguir

27 Com k=1 : Classe + Com k=5 : Classe - KNN - Maioria

28 KNN - Ponderada

29 Avaliação de Classificadores

30 Como em RI, as avaliações são feitas experimentalmente Corpus de documentos são geralmente divididos em: –Conjunto de Treinamento Para o algoritmo aprender –Conjunto de Validação Para permitir ajuste de parâmetros do sistema –Conjunto de Teste Para avaliar a eficácia Avaliação de Classificadores

31 Nomenclatura em inglês: –Tp = True positive Num. de exemplos corretamente classificados como positivos –Fp = False positive Num. de exemplos erroneamente classificados como positivos –Tn = True negative Num. de exemplos corretamente classificados como negativos –Fn = False negative Num. de exemplos erroneamente classificados como negativos

32 Avaliação de Classificadores Medidas (para uma classe): –Precisão e cobertura –Taxa de erro –Acurácia Uma média dá a efetividade geral do classificador Vale para as abordagens de engenharia do conhecimento e aprendizagem de máquina

33 Avaliação de Classificadores Matriz de Confusão (Confusion Matrix) –Número de classificações corretas em oposição às classificações preditas para cada classe Seja Ci uma dada classe i Predito → Real ↓ Classe CiClasse ~Ci Erro por classe Classe CiTpFnFn/(Tp+Fn) Classe ~CiFpTnFp/(Fp+Tn)

34 Avaliação de Classificadores Precisão para a classe Ci –Porcentagem de exemplos corretamente classificados como positivos –Tp / (Tp + Fp) Cobertura para a classe Ci –Porcentagem de exemplos corretamente classificados como positivos em relação ao total de instâncias da classe i.e., total de exemplos da classe Ci –Tp / (Tp + Fn)

35 Avaliação de Classificadores # total de exemplos é dado por –N = Tp + Tn + Fp + Fn Precisão total = acurácia número de exemplos classificados corretamente /total de exemplos da amostra (Tp + Tn) / N Erro total –(Fp + Fn) / N

36 Avaliação de Classificadores Micromédia –Somam-se as decisões individuais para calcular precisão e cobertura para uma classe (média local) –Pode não ser uma boa medida quando há classes majoritárias (muitas instâncias positivas)

37 Macromédia –Precisão e cobertura são calculadas em relação a todas as classes (média global) –É melhor quando as classes são desbalanceadas Avaliação de Classificadores

38 Próxima aula Extração de informação