Extração de Informações Carlos Alberi dos Santos Melo Ivan Gesteira Costa Filho
WEB Crescente números de textos digitalizados: intranets, bibliotecas digitais, CD-Rom, ...
Extração de Informações Trata o problema de extração de dados a partir de uma coleção de documentos. Apenas informações relevantes
IR x IE IR (Information Retrieval) IE (Information Extraction) recuperação de páginas (documentos) ex. nosso projeto IE (Information Extraction) recuperar dados dentro de documentos deadlines, locais e assuntos em páginas de “call for papers”
Contexto Documentos Classificação Extração de Informação Dados
Histórico Linguistic String Project (60) FRUMP - newswire (79) DARPA - Grupos de Pesquisa (80) MUC - Message Understanding Conference (80)
Tipos de Texto Estruturados Não estruturados Semi-estruturados Ex. tabelas, listas, XML, ... Não estruturados Ex. Fichas médicas, artigos, reportagens, ... Semi-estruturados Ex. Referencias bibliográficas, anuncios, ...
Texto Estruturados <html><title> Some Country Codes </title> <body><b>Some Country Codes</b><p> <b>Congo</b><i>242</i><BR> <b>Egypt</b><i>20</i><BR> <b>Brazil</b><i>55</i><BR> </body></html> Some Country Codes Congo 242 Egypt 20 Brazil 55
Texto Não Estruturados C. Vicent Protho, diretor executivo do deste fabricante de chips, foi nomeado ao posto adicional de presidente , sucedendo John W. Smith, que renunciou o cargo em vista de outros interesses. Evento Pessoa Entrando: C. Vicent Protho Pessoa Saindo: John W. Smith Cargo: Presidente
Texto Semi-estruturados VDO/TRC/ALG - Casa Pau Amarelo c/ 3 qts, 2sls, copa, coz, 3wcs, muro alto. Terreno medindo 936m2, area construída 248.69m2. R$50 mil. Fones: 436.1648
XML Será XML amplamente usado na WEB? Tags SGML Semântica no texto. Arquivo DTD Será XML amplamente usado na WEB?
XML Documento XML Documento DTT <!doctype CodigoTelefonico SYSTEM ”http:/www.di.ufpe.br/ias/codtel.dtt> <pais>Congo</pais><codigo>242</codigo> <pais>Egypt</pais><codigo>20</codigo> <pais>Brazil</pais><codigo>55</codigo> Documento XML <!element CodigoTelefonico (Pais, Codigo)> <!element Pais (#PCDATA)> <!element Codigo (#PCDATA)> Documento DTT
Wrappers PLN Técnicas de IE Textos estruturados Aplicações Web Ex. html, wml, xml, .. Textos não-estruturados Técnicas simplificadas de PLN
PLN Tokenização Análise Léxica /Morfológica Análise Sintática /Semântica Construção de Regras de Extração Análise de Discurso Preenchimento de Templates
PLN - Tokenização Segmentação das Palavras Divisão em segmentos (estruturas) Pre-processamento ignorar partes do texto Análise Léxica /Morfológica Análise Sintática /Semântica Construção de Regras de Extração Análise de Discurso Preenchimento de Templates
PLN - Análise Léxica Tokenização Análise Léxica /Morfológica Análise Sintática /Semântica Classificação Morfológica (artigo, verbo, substantivo). Reconhecimento de nomes próprios, empresas, datas, ... Etiquetagem automática Construção de Regras de Extração Análise de Discurso Preenchimento de Templates
PLN - Análise Sintática Tokenização Análise Léxica /Morfológica Construção arvore sintática Grupos Nominais Grupos Verbais Análise sintática parcial Análise Sintática /Semântica Construção de Regras de Extração Análise de Discurso Preenchimento de Templates
PLN - Construção de Padrões Dicionário de padrões de Extração Específico ao Domínio Automática X Manual eficiência, portabilidade, treinamento, alterações ad hoc Tokenização Análise Léxica /Morfológica Análise Sintática /Semântica Construção de Regras de Extração Análise de Discurso Preenchimento de Templates
PLN - Construção de Padrões O parlamento foi bombardeado pela Guerrilha. A guerrilha bombardeou o parlamento Exemplo: ALVO - foi bombardeado pela - GRUPO grupo-nominal(ALV,cabeca(alvo-fisico)) grupo-nominal(GRP,cabeca(GRP)) grupo- verbal(VG,tipo(passivo),cabeca(bombardeado) sujeito(ALV,VG) objeto(GRP,VG) -> EventoBonbardeamento(alvo(AVL),agente(GRUPO)) Regras:
PLN - Análise de Discurso Relações entre sentenças do texto. Correferência Ligações entre palavras. Tokenização Análise Léxica /Morfológica Análise Sintática /Semântica Construção de Regras de Extração Análise de Discurso Preenchimento de Templates
PLN - Preenchimento dos Templates Tokenização Análise Léxica /Morfológica Análise Sintática /Semântica Preenches os dados em templates especificados pela aplicação. Objetos ou tabelas Construção de Regras de Extração Análise de Discurso Preenchimento de Templates
Avaliação do Sistema Corpus Etiquetado Cobertura X Precisão F-Measure Taxa Mínima de 90% FMeasure = (2 * Cobertura * Precisão) (Cobertura + Precisão)
Problemas - PLN Adequação de Teorias Custo de Etiquetagem Técnicas automáticas Custo de Produção Seis especialistas mês
PLN X Homem Homem Tipster X Máquina 38 paginas de regras Artigos de 10 paginas Homem Máquina X 60% a 80% 50% 30 minutos 20 horas
Wrappers Ferramenta usada para extrair dados de textos estruturados ou com algum tipo de estrutura Usada para permitir acesso integrado a base de dados heterogêneas Não usa conhecimento lingüístico Identifica padrões no documento
Tarefas & Construção 3 Tarefas Construção Abordagem Recuperar/ler documento Extrair informações Estruturar os dados (ex. BD) Construção Depende do problema a ser resolvido Abordagem Manual Semi-automática automática
Construção Manual Regras escritas manualmente em uma linguagem de programação
Construção Manual Prós Contra Maior precisão Técnica simples Tempo e esforço de desenvolvimento Habilidade para definição das regras Mudança no código caso a estrutura dos documentos seja alterada
COIN (Context Interchange) Utiliza wrappers para permitir acesso integrado a fontes de dados heterogêneas A intenção é construir wrappers com interfaces genéricas Proporcionar facilidade de reuso de código
Projetista/Otimizador Arquitetura consulta Resultados Interpretador Executor Casamento de padrões Acesso à rede Projetista/Otimizador Interpretador Especificações Documentos Web
ProdExt Extração de dados sobre produção técnica. Ex. Autor, Título, Local, Data, ... Textos semi-estruturados Arquitetura Híbrida
ProdExt - PLN Análise Léxica Dicionários Identificação de nomes de lugares, datas, veículos, nomes próprios (desejável) Dicionários Veiculo de publicação, editora
ProdExt - Wrappers Regras com peso Ex. Regra para Título Autor, Título, Veiculo de Produção, ... Ex. Regra para Título Se cadeia tem sinal de hifem ou dois pontos: ENTÃO incrementa a chance de ser Título( 0.25) e incrementa a chance de ser Veículo( 0.2) e incrementa a chance de ser Local( 0.1) e incrementa a chance de ser Editora( 0.015)
Construção semi-automática Uso de uma ferramenta no desenvolvimento Especificado de maneira interativa e com uso de exemplos O usuário delimita trechos que interessam
Construção semi-automática Com base nos trechos selecionados, a ferramenta define um padrão sintático O resultado é um conjunto de dados estruturados de acordo com o modelo criado pela ferramenta
Construção semi-automática Prós: Torna mais rápido e fácil o desenvolvimento Contras: Caso a estrutura do documento seja modificado o wrapper tem que ser refeito
NoDoSe Ferramenta para estruturar e extrair dados de forma semi-automática Tanto o processo de estruturação quanto o de extração ocorre interativamente
O processo Especificar como os dados devem ser modelados: A estrutura é constituída de um conjunto de nós Cada nó é descrito por uma lista de atributos onde cada atributo tem a forma: <nome, valor> Decompor o documento em regiões: As regiões são mapeadas em nós Definir o formato de saída: Relatórios, BD etc.
Construção Automática Utiliza indução para encontrar padrões a partir de um conjunto de exemplos O processo de aprendizagem pode gerar várias hipóteses para um mesmo dado A solução é ajustar o algoritmo de aprendizagem para obedecer alguns critérios
Construção Automática Três aspectos a considerar em relação ao processo de aprendizagem: Aprendizagem o corre de maneira incremental ou o corpus é definido antecipadamente Em que linguagem(ou formalismo) será descrito o corpus e as hipóteses O algoritmo terá abordagem top-down ou bottom-up
Construção Automática Prós: Não requer nenhum esforço humano Contras: As regras dependem do dos exemplos de treinamento Caso a estrutura dos documentos seja alterada torna-se necessário selecionar um novo corpus e repetir o processo de aprendizagem
ShopBot Agente de compras para comércio eletrônico Realiza consultas em lojas on-line e extrai e resume informações de interesse Duas fases de atuação: Aprendizado Analisa páginas utilizando técnicas de aprendizagem Comparação Encontra o melhor preço de um produto específico
Análise Procura-se padrões no código do documento HTML Cria uma seqüência de registros separadas por tags visualmente perceptíveis como: <HR>, <P>, <BR>, <LI> Gera uma assinatura para cada registro através da remoção de tags HTML.
Análise Página de entrada: <html> <title>CD’s</title> <body> <B>Preços</B><P> <B>Pixies</B> <I>23,00</I><br> <B>The Cure</B> <I>22,00</I><br> <B>Suede</B> <I>22,00</I><br> </body> < /html>
Análise Assinatura: <html> <title>texto</title> <body> <B>texto</B><P> <B>texto</B> <I>texto</I><br> </body> </html> A primeira e a última linha representam, cada uma, apenas 1/5 das assinaturas, enquanto as outras, idênticas, representam 3/5 O shopBot descarta então, a primeira e a última linha
Avaliação de Wrappers O modo de avaliação não é padrão Podem ser usados: Tempo de processamento em relação ao volumes de dados; Taxa de erros; Custo e eficácia no processo de aprendizagem; F-measure, etc.
Bibliográfia Rodrigues Nunes C.C. ProdExt: Um Wrapper para Extração de Produção Técnica e Científica de Páginas Eletrônicas. Dissertação de Mestrado, UFPE, 2000. Cowie J., Lehnert W.. Information extraction. Comunications of the ACM, 39(1):80-91, January 1996. Maruyama H., Tamura K., Uramoto N. XML and Java.Addison-Wesle, 1998