Gestão e Tratamento de Informação Helena Galhardas DEI IST

Programa Gestão de dados XML DTD XSLT XQuery Extracção de Informação Dados da Web Extracção de conhecimento Integração de dados e esquema Global-as-view vs local-as-view Mediadores e wrappers Transformação e limpeza de dados Discrepâncias de esquemas e dados Detecção e eliminação de duplicados Fusão de informação

Motivação – Extracção de dados da Web Número grande de fontes de dados Alguns desafios: Páginas Web devem ser transformadas em dados estruturados Falta de controlo sobre os dados Fontes têm restrições de entrada e saída Natureza distribuída da Web pode tornar a integração de dados mto lenta

Motivação – Gestão de dados XML XML é vastamente utilizada como linguagem de troca de dados na Internet DTD, XMLSchema, XPath, XSLT são provavelmente assuntos já conhecidos A linguagem XQuery é a linguagem de interrogação de dados XML que vamos estudar aqui...

Motivação – Extracção de Informação Como descobrir estrutura em dados não estruturados Exemplo ( Elegant redhead Nicole Kidman, known as one of Hollywood's top Australian imports, was actually born in Honolulu, Hawaii, to Anthony (a biochemist and clinical psychologist) and Janelle (a nursing instructor) Kidman.... Algumas técnicas de IA (p. Ex. Linguagem Natural) podem ser usadas

Motivação – Integração de dados e esquema Integrar dados oriundos de fontes de dados heterógeneas Desafios: Acesso aos dados Resolver as diferenças existentes ao nível de esquema e dados Executar a integração de forma eficiente

Motivação – Transformação e limpeza de dados Durante e após a integração, alguns problemas com os dados precisam de ser resolvidos Exemplo: Filmes (id, título, realizador, ano, ano_ult_remake) (1|Casablanca|Weir|1942|1940) (2|Dead Poets Society|Curtiz|1989|-) (3|Rman Holiday|Wylder|1953|-) Detecção e eliminação de duplicados é um dos aspectos que vamos estudar

Avaliação Exame (52%) 3/1/2008 (17H) 17/1/2008 (17H) 4 MiniProjectos (48%), cada um 12% Enunciado é distribuído na aula teórica Alunos têm cerca de 2/3 semanas para resolver Entrega dos alunos feita na aula teórica Solução e correcções mostradas na aula teórica Conteúdo: uma parte teórica/prática e outra de SW

Calendário Mini-Projectos MP1 Entrega enunciado: 21/9 Entrega alunos: 12/10 MP2 Entrega enunciado: 12/10 Entrega alunos: 2/11 MP3 Entrega enunciado: 2/11 Entrega alunos: 23/11 MP4 Entrega enunciado: 23/11 Entrega alunos: 7/12

Organização das aulas Aulas teóricas Aulas de laboratório Grupos de três elementos – inscrições na página da cadeira no Fénix Apoio no software a ser utilizado Apoio na resolução dos mini-projectos

Corpo docente Helena Galhardas (responsável) Bruno Martins Pável Calado

Bibliografia Não há um livro único Algumas partes da matéria cobertas por artigos Alguma bibliografia: S. Abiteboul, P. Buneman, D. Suciu, Data on the Web: From Relations to Semistructured Data and XML, Morgan Kaufmann, 2000 C. Batini, M.Scannapieco, Data Quality: Concepts, Methodologies and Techniques, Springer, 2006

Assuntos pendentes Aulas de laboratório Mais um turno tem que ser aberto O turno de 5ªf, 11H tem que ser trocado Aulas de dúvidas

Referências C. Batini, M.Scannapieco, Data Quality: Concepts, Methodologies and Techniques, Springer, 2006 Craig Knockblock, Course: Information Integration on the Web, 2006, _2006/