Gestão e Recuperação de Informação Recuperação de Informação na Web José Borbinha – DEI/IST

2 O problema A Web superficial A Web profunda Outros assuntos Recuperação de Informação na Web

3 Recuperação de Informação na Web: O Problema Quantos objectos? Quantas páginas? Como achar algo?

4 O “cyberespaço” em

5 O “cyberespaço” indexado pelo Lycos em 1995 (“...Between Nov 21, 1994 and Jan 31, 1995, Lycos successfully downloaded at least one file from 15,858 unique HTTP servers...”)

6 A “Web” em (“By analyzing the overlap between engines we estimated a lower bound on the size of the "publicly indexable Web" at 320 million pages (see below for more details). The "publicly indexable Web" excludes pages typically not indexed by the major search engines, e.g. pages behind search forms or authorization requirements. The following figure shows the estimated coverage of six major Web search engines compared to the estimated size of the Web.”)

7 Como achar algo na Web... ainda por cima quando nem tudo é estático...??? Web Superficial Web Profunda

8 O problema A Web superficial –Directórios e Catálogos –Search Engines A Web profunda Outros assuntos Recuperação de Informação na Web

9 No princípio: Directórios e Catálogos –Yahoo, SAPO,... –Subject Gateways (Renardus,...) –...

10 Yahoo, SAPO,...: Indexar a web “à mão”...

11 “Subject Gateways” Renardus – Classificação de recursos de qualidade da web... “à mão”!!!

12 Renardus “mapping tool”... ddc: Sistema de classificação decimal de Dewey

13 A “raposa” não resistiu...

14 Mas ainda restam alguns persistentes...

15 Search Engines –Altavista, Google, A9, tumba!... –Anatomia de uma search engine

16 Altavista... Yahoo!hoo! AltaVistataVista

: Google!!!

18 A9.com

19

20

21 tumba! (Temos Um Motor de Busca Alternativo!) Motor de busca para sites “portugueses” (de Portugal) Suporte ao Arquivo da “Web Portuguesa”

22 Web Anatomia de uma “Search Engine” CrawlersRepositoryIndexing EngineRanking EnginePresentation Engine

23 Uma nova área de negócio: ajudar clientes a ter os seus sites melhor “classificados” nos motores de busca... Caso: “big feet” e Google (Financial Times – UK, September 16, 2005) [

24 btw, Caso da Semana...

25 O problema A Web superficial A Web profunda –Pesquisa distribuída –Partilha de Metadados Outros assuntos Recuperação de Informação na Web

26 A Web profunda Pesquisa Distribuída –Z39.50 / SRU (relembrar aula 5)

27 Servidores Z39.50 em bibliotecas Portuguesas:

28 b-on

29 Metalib (suporte à b-on...) Z39.50 HTTP/HTML...

30 A Web profunda Partilha de Metadados –OAI-PMH, Syndication (RSS, ATOM,...)

31 OAI-PMH Protocol for Metadata Harvesting ( ) Web-Services segundo o modelo REST...

32 TEL – The European Library - Exemplo de um serviço usando OAI-PMH, SRU e Z39.50

33 TEL Portal... TEL central index SRU Z39.50 SRU Z39.50 OAI-PMH Search and Retrieval in TEL: Actual Scenario

34 Search and Retrieval in TEL: A Desired Scenario (project TELplus...) “intelligent” TEL Portal... TEL central index SRU OAI-PMH Z39.50

35 Scholar Google: interoperabilidade com a “Web Profunda”

36 Scholar Google: interoperabilidade com a “Web Profunda”

37 “link” para a “Web Profunda”...

38 Google News Feeds em RSS (RDF) e ATOM (XML)

39 O problema A Web superficial A Web profunda Outros assuntos –A Web Semântica –Preservação da Web Recuperação de Informação na Web

40 A Web Semântica...

41 Preservação da Web Dinâmica Estática Superficial Profunda

42 Preservação da Web: Internet Archive

43 Preservação da Web: waybackmachine

44 Preservação Digital...

45 Perguntas?