Carregar apresentação
A apresentação está carregando. Por favor, espere
1
Um Ambiente para Mineração de Utilização Web
José Roberto de Freitas Boullosa
2
Introdução Apresentação Motivação Estrutura do trabalho
Mineração de dados Mineração de utilização da Web Ambiente proposto Conclusões
3
Descoberta do conhecimento (knowledge discovery)
Mineração de dados Mineração de dados (data mining) x Descoberta do conhecimento (knowledge discovery) Piatestky-Shapiro: Workshop in Knowledge Discovery in Databases Detroit 1989
4
Mineração de dados “Estilos” de mineração de dados
Descoberta de conhecimento Bottom-up Indução Testes de hipóteses Top-down Dedução
5
Mineração de dados Descoberta de conhecimento (Fayyad et al.)
Definição dos domínios Criação do conjunto de dados, seleção de fontes Pré-processamento Transformação dos dados MINERAÇÃO DE DADOS Técnicas e algoritmos Análise e interpretação dos resultados
6
Mineração de dados Modelos para mineração de dados Preditivos
Classificação Agrupamento Séries temporais
7
Mineração de dados Métodos de mineração de dados
Geração de regras de associação Banco de dados de transações “Market-basket analysis” Análise de seqüências Teoria dos grafos Padrões seqüenciais
8
Mineração de dados Métodos de mineração de dados Classificação
Conhecimento apriorístico sobre classes Perfis de itens com atributos em comum Agrupamento (clustering) Sem conhecimento prévio sobre classes Dados similares Métricas para “distância” Clusters
9
Mineração de dados Métodos de mineração de dados Árvores de Decisão
Indução de regras CART (Classification and Regression Tree) CHAID (chi-squared automatic induction) Algoritmos principais: ID3, C4.5
10
Mineração de dados Métodos de mineração de dados
MBR (Memory-based reasoning) Predição de novos itens a partir de itens já conhecidos Redes neurais Modelos simuladores das conexões neuronais Dificuldades: sensibilidade, entendimento dos modelos gerados GA - Algoritmos genéticos Mecanismos da genética e seleção natural Seleção, cross-over, mutação Gerações sucessivas de soluções Soluções “sobreviventes”
11
Mineração de dados Data Warehousing
Conjunto de dados integrados, não-voláteis, orientados por assunto e variáveis no tempo, utilizados primordialmente como ponto de apoio a decisões gerenciais. (INMON)
12
Mineração de dados Data Warehousing Modelo multidimensional
Vantagens em relação ao MER Cubo Fatos n Dimensões Atributos Hierarquias Operações de manipulação Slice & dice, roll-up, drill-down Esquemas Estrela (Star schema) Flocos de neve (snow flakes)
13
On-line Analytical Processing On-line Transaction Processing
Mineração de dados OLAP On-line Analytical Processing x On-line Transaction Processing Cubos Categorias MOLAP (OLAP Multidimensional) ROLAP (OLAP Relacional) HOLAP (OLAP Híbrido)
14
Mineração de dados da Web
Aplicação das técnicas de mineração de dados para a extração de dados da Web Termos úteis Visita / acesso (page view) Clickstream Sessão de usuário Episódio URL (Universal Resource Locator) esquema://host:porta/path/querystring URI (Universal Resource Identifier) Referidor (referrer) Cookie Programas CGI (Common Gateway Interface)
15
Mineração de dados da Web
Modelos de navegação WWW (World Wide Web) Ecologia de Informações dinâmica (Catledge & Pitkow) Sistema hipermídia aberto Colaborativo Altamente dinâmico
16
Mineração de dados da Web
Modelos de navegação WWW Estratégias de utilização Busca Orientação quanto ao objetivo Navegação Similaridade entre itens Navegação serendípica (serendipitious browsing) Aleatoriedade
17
Mineração de dados da Web
Modelos de navegação Etapas da busca de informações na Web (Levene & Loizou) Especificação da consulta Recuperação da informação Navegação Modificação da consulta Nielsen (1990): “Perdido no hiperespaço” (lost in hyperspace)
18
Mineração de dados da Web
Modelos de navegação Objetivos no projeto de um site Busca x Navegação Análise dos padrões de navegação Mineração de utilização
19
Mineração de dados da Web
Modelos de navegação Revisitação de páginas Taxa de recorrência R Probabilidade de que uma página já tenha sido acessada na mesma sessão Tauscher & Greenberg : R = 61%, D.P. 9% Navegação Web: Sistema recorrente
20
Mineração de dados da Web
Modelos de navegação Razões para revisitação Páginas mudam Explorar com mais detalhes Páginas especiais (busca, etc.) Edição de páginas Páginas são caminho de navegação Razões para acessar novas páginas Mudanças nas necessidades de informações Exploração de novos sites Recomendação de amigos Encontrar nova página interessante ao navegar
21
Mineração de dados da Web
Modelos de navegação Padrões de navegação (Tauscher & Greenberg) Visitas iniciais a grupo de páginas Revisitas a páginas Visitas a páginas em edição Visitas a páginas criadas por aplicações Hub-and-spoke Navegação dirigida Navegação de profundidade
22
Mineração de dados da Web
Modelos de navegação Modelos estocásticos (Borges, Levene, Loizou) Estrutura do site: grafo direcionado Nós = páginas Arestas = links entre páginas Conjunto de trilhas do grafo: Visão Web Cada página representa um estado Cada link tem uma probabilidade associada Freqüência de utilização do link Peso relativo dos links para os usuários Cadeia de Markov
23
Mineração de dados da Web
Modelos de navegação Modelos estocásticos (Huberman et al.) Comportamento do usuário Maximizar utilidade ou valor das páginas Reduzir custo ou esforço de navegação Lei de Zipf (Levene e Borges) P = Probabilidade de trilha de comprimento t ser percorrida P = t –3/2 Usuários preferem trilhas curtas Número de trilhas curtas exponencialmente maior que o de trilhas longas Razão = Valor agregado / esforço despendido Maior para as trilhas curtas
24
Mineração de dados da Web
Tipo Carac. Físicas Carac. Uso Cabeçalho Links de entrada partem de várias páginas Raiz do site Início das sessões Conteúdo Muitos textos e gráficos em relação a links Tempo médio de visita longo Navegação Poucos textos e gráficos em relação a links Tempo médio de visitação curto Não é Ref.P.Máxima Look-up Poucos links de entrada Poucos links de saída Conteúdo reduzido É Ref.P.Máxima Pessoal Sem características comuns Baixa freqüência de visitação
25
Mineração de dados da Web
Modelos de navegação Classificação das páginas Manual Uma-a-uma Meta-dados HTML, XML (RDF) Automática Algoritmos
26
Mineração de dados da Web
Tipos de mineração de dados da Web Zaïane Mineração de conteúdo (Web content mining) Mineração de estrutura (Web structure mining) Mineração de utilização (Web usage mining) Cooley et al.
27
Mineração de dados da Web
Problemas da mineração de dados da Web Necessidade de filtragem dos dados Integração das fontes de dados Identificação de usuários Identificação de sessões Identificação de transações
28
Mineração de dados da Web
Mineração de conteúdo da Web Agentes (Cooley) Agentes de busca inteligente Domínios e perfis ParaSite, ShopBot… Crawlers, spiders, robots… Personalizados e baseados em filtragem/categorização Preferências dos usuários, perfis WebWatcher, Letizia… Relacionam-se também com a mineração de utilização
29
Mineração de dados da Web
Mineração de conteúdo da Web Abordagens baseadas em bancos de dados Estruturar a Web Meta-dados Multicamadas Mecanismos de consulta UnQL, W3QL…
30
Mineração de utilização da Web
Objetivos de um site Acesso às páginas “importantes” Exibição de links relevantes Evitar desorientação
31
Mineração de utilização da Web
A estrutura do site reflete: Comportamento esperado dos visitantes Expectativas do projetista quanto ao comportamento O site deveria refletir TAMBÉM: Comportamento real dos visitantes
32
Mineração de utilização da Web
Solução: Analisar os padrões de utilização do site Fontes: Logs dos servidores Web Estruturas dos sites (Pirolli) Logs gerados por agentes e outros programas Mineração de utilização da Web Chen et al. (1996) Mannila & Toivonen (1996) Yan et al. (1996)
33
Mineração de utilização da Web
Aspectos complementares: Analisar sistematicamente o comportamento dos usuários Servir como apoio para a tomada de decisões sobre o que deve ser modificado no site
34
Mineração de utilização da Web
Classificação (Cooley) Descoberta de padrões gerais Tendências de uso genéricas Descoberta de padrões customizados Tendências de uso de determinado visitante Adaptação do site ao visitante Sites adaptativos: Perkowitz & Etzione, Maedche
35
Mineração de utilização da Web
Aplicações das informações obtidas Utilização em campanhas promocionais Análise de estratégias de marketing Reestruturação e adaptação automática do site Gerenciamento mais efetivo das comunicações de um grupo de trabalho e da infraestrutura organizacional Distribuição de propaganda para usuários específicos Venda de espaços de publicidade
36
Mineração de utilização da Web
Produtos comerciais Webtrends, NetTracker, NetGenesis Analog Análises estatísticas Estrutura proprietárias Deficientes em relação a análises mais profundas
37
Mineração de utilização da Web
Tipos de ferramentas para mineração de utilização (Cooley) Descoberta de padrões WebMiner, Joshi & Krishnapuram, … Análise de padrões WebViz, WebLogMiner… * Mistas WebMiner, WebSift
38
Mineração de utilização da Web
Etapas da mineração de dados (Cooley et al.) Preparação de dados Descoberta de padrões Análise e visualização de padrões
39
Mineração de utilização da Web
Preparação de dados Fontes de dados Logs de servidores Web Agentes autônomos Outras interfaces Páginas dinâmicas, scripts, programas CGI
40
Mineração de utilização da Web
Preparação de dados Logs de servidores Web Itens irrelevantes Ausência de identificação de usuários e sessões Falta do registro de muitos acessos Páginas em cache
41
Mineração de utilização da Web
Preparação de dados: etapas Filtragem dos dados Identificação dos usuários Identificação das sessões Identificação das transações
42
Mineração de utilização da Web
Filtragem de dados Formatos de logs Common Log Format Extended Log Format Arquivos indesejados
43
Mineração de utilização da Web
Identificação de usuários Cache (local e de servidor) Cache busting Proxy servers Cookies Registro explícito Privacidade Heurísticas de identificação Mudanças nas entradas do log Tempo entre acessos Topologia do site
44
Mineração de utilização da Web
Identificação de sessões Uso de time-out de controle Entre acessos Para a duração total da sessão Preenchimento de “vazios” da sessão Uso da topologia do site Tempo médio de acesso
45
Mineração de utilização da Web
Identificação de transações Transação: unidade semântica Tipos Transações de navegação Caminhos comuns até uma página Transações de conteúdo Relacionamentos entre páginas de conteúdo Implicações Regra A->B analisada a partir de transações de diferentes tipos
46
Mineração de utilização da Web
Identificação de transações Abordagens Divisão em transações menores Agrupamento em transações maiores Seqüência de passos Primeiro passo : divisão
47
Mineração de utilização da Web
Identificação de transações L : Conjunto de entradas de log l.ip : IP do cliente l.uid : Identificador do usuário l.URL : URL da página acessada I.tempo : momento do acesso t = < ipt, uidt, {(lt1.URL, lt1.tempo), ...ltm.URL, ltm.tempo)} > onde, para 1 k m: ltkL, ltk.ip=ipt, ltk.uid=uidt
48
Mineração de utilização da Web
Identificação de transações Métodos Duração da referência Divisão das transações Referências posteriores máximas (Chen et al.) Janelas de tempo Não utiliza o modelo de páginas de conteúdo e navegação Agrupamento ou divisão das transações
49
Mineração de utilização da Web
Identificação de transações Método de referências posteriores máximas Referências reversas (backward references) Referências posteriores (forward references) Maximal forward references Algoritmo MF (maximal forward) Seqüências longas de referências Algoritmo FS (full-scan) Algoritmo SS (selective-scan)
50
Mineração de utilização da Web
Identificação de transações Análise dos métodos Duração de referência Encontra regras que os outros não encontram Referências posteriores Ruim para achar transações de conteúdo em sites com alto grau de conectividade Muitas transações de navegação Janelas de tempo Pode ser usado juntamente com os outros métodos
51
Mineração de utilização da Web
Descoberta de padrões Análises estatísticas Caráter geral Hits por página Páginas mais acessadas Páginas mais usadas como partida ou saída Tempo médio por página Comum nos pacotes comerciais
52
Mineração de utilização da Web
Descoberta de padrões Análise dos caminhos percorridos Grafos direcionados Nós Páginas Arestas Links Similaridades entre páginas Número de usuários que percorreram o link Caminhos mais freqüentes Seqüências longas de referências
53
Mineração de utilização da Web
Descoberta de padrões Regras de associação Aplicadas a BDs de transações, onde cada transação é um conjunto de itens Item = página acessada Transação = conjunto de páginas acessadas
54
Mineração de utilização da Web
Descoberta de padrões Regras de associação A → B Na Web, A pode ser: Página individual Seqüência não ordenada de páginas Seqüência ordenada de páginas
55
Mineração de utilização da Web
Descoberta de padrões Regras de associação Confiança Percentual entre as transações que contêm todos os itens de uma regra e as transações que contêm os antecedentes da regra Suporte Percentual das transações que contêm o padrão
56
Mineração de utilização da Web
Descoberta de padrões Padrões seqüenciais Percentual de usuários que acessaram X e depois Y num determinado intervalo Intervalos em que certas páginas foram mais acessadas Características em comum dos visitantes de uma página num determinado período
57
Mineração de utilização da Web
Descoberta de padrões Padrões seqüenciais Mineradores convencionais procuram os padrões mais freqüentes Muitas vezes, são buscados padrões raros, mas “interessantes” Zaki et al.: remoção das seqüências não interessantes Spiliopoulou et al.: WUM
58
Mineração de utilização da Web
Descoberta de padrões Classificação e agrupamento Reunião de páginas semelhantes Detecção de seqüências semelhantes Comparação com perfis de usuários Informações demográficas Su et al.: RDBC (Recursive density based clustering) Agrupamento de páginas com base na freqüência de sua utilização, não no conteúdo
59
Mineração de utilização da Web
Descoberta de padrões Cooley et al. Filtro de sites Diminuição do tempo de processamento Redução do número de regras inúteis Diminuição das medidas de suporte e confiança Maior número de padrões úteis Ignorar regras triviais Ex.: regra que apenas confirme um link direto entre as páginas
60
Mineração de utilização da Web
Análise dos padrões Ferramentas Programas estatísticos Gráficos Linguagens de consulta Kato et al. Ferramenta de análise de padrões Relevância entre páginas e conectividade dos links Co-ocorrência de acessos entre páginas diferentes Mostra ao administrador as páginas que não são úteis
61
Mineração de utilização da Web
Análise dos padrões WebViz (Pitkow & Bharat) Web paths Visualização de trechos dos grafos Webminer Linguagem de consulta Linguagem MINT (WUM) Especificação de critérios de consulta Conteúdo Estatística Estrutura Interestingness
62
Mineração de utilização da Web
Análise dos padrões Data warehousing e OLAP Zaïane OLAP Kimball “Data webhousing”
63
Mineração de utilização da Web
Trabalhos relacionados Webminer (Mobasher, Cooley et al) Arquitetura genérica de mineração de utilização Definição das fases da mineração Linguagem de consulta
64
Mineração de utilização da Web
Trabalhos relacionados WebSIFT (Web Site Information Filter) Hipóteses É possível inferir, a partir do ECLF, as páginas não registradas no log Tipo de utilização de uma página pode ser inferido a partir do tempo gasto na mesma Dados do ECLF são suficientes para identificar com precisáo as sessões
65
Mineração de utilização da Web
Trabalhos relacionados Mannilla & Toivonen (1996) Logs dão visão exata da utilização Yan et al. (1996) Agrupamento de usuários Links mostrados de acordo com as páginas mais visitadas pelo grupo do usuário Amir et al. Agregação dos dados em seqüências de itens Combinam seqüências com prefixos iguais
66
Mineração de utilização da Web
Trabalhos relacionados SiteHelper (1997) Recomenda páginas a partir da análise do log PageGather (Perkowitz & Etzione, 1998) Agrupamento de páginas visitadas juntas Não leva em conta o caminho que conduz à página Propuseram sites adptativos
67
Mineração de utilização da Web
Trabalhos relacionados WebLogMiner - Zaïane et al, 1998 Técnicas de OLAP e mineração de dados Ferramenta DBMINER (IBM) Arquitetura com 4 etapas Pré-processamento Construção de cubo Técnicas OLAP no cubo Mineração de dados
68
Mineração de utilização da Web
Trabalhos relacionados FootPrints (Wexelblat & Maes, 1999) Caminhos freqüentes são armazenados para serem usados por futuros visitantes Schechter et al. (1998) Path profiles Geração dinâmica do conteúdo acessado Ignoram problemas causados pelo cache
69
Mineração de utilização da Web
Trabalhos relacionados WUM (Spiliopoulou, 1999) Mineração de seqüências eficiente Transações agrupadas em trilhas Tráfego = quantidade de transações que acessaram uma trilha Árvore agregada de trilhas (log agregado) Prefixos iguais Suporte: quantidade de usuários que chegaram ao nó Redução do espaço de armazenamento Consultas em MINT Descritores, máscaras Padrão de navegação – generalização da árvore
70
Mineração de utilização da Web
Trabalhos relacionados Gaul et al. (2000) Ao invés de seqüências generalizadas a partir de descritores, encontram TODAS as subseqüências Borges & Levene (1998) Modelos estocásticos HPG – hypertext probabilistic grammar Gramática regular Símbolos não-terminais – páginas Regras de produção – links Cálculo da entropia Alta – elevado grau de incerteza da navegação Baixa – alto conhecimento sobre o comportamento do usuário
71
Mineração de utilização da Web
Trabalhos relacionados Larsen et al. (2000) Visão estocástica Algoritmo GGM (generalizable gaussian mixture) Generalização dos padrões de navegação para se obter aprendizado supervisionado a partir de um modelo de distribuição gaussiano Segmentação do comportamento dos usuários Segmentação das páginas
72
Mineração de utilização da Web
Trabalhos relacionados Joshi & Krishnapuram (2000) Agrupamento fuzzy para a identificação de sessões Algoritmos: FCMdd, FCTMdd) Tveit (2000) Programação lógica indutiva – PROGOL Regras de primeira ordem que representam as sessões Melhoria da qualidade e desempenho do site
73
Mineração de utilização da Web
Trabalhos relacionados Andersen et al. (2000) Projeto comercial em empresa dinamarquesa Análise de eficácia de banners Killer sessions Data warehousing Fatos: subsessões
74
Mineração de utilização da Web
Trabalhos relacionados Nanopoulos & Manolopoulos (2001) Busca de conjuntos de seqüências, como em Gaul Consideram a estrutura do site Anderson et al. (2001) Sistemas de personalização Proteus, MinPath Dispositivos móveis, PDAs, celulares, pagers
75
Mineração de utilização da Web
Trabalhos relacionados Nanopoulos & Manolopoulos (2001) Busca de conjuntos de seqüências, como em Gaul Consideram a estrutura do site Anderson et al. (2001) Sistemas de personalização Proteus, MinPath Dispositivos móveis, PDAs, celulares, pagers
76
Mineração de utilização da Web
Trabalhos relacionados XML LOGML (Punin et al., 2001) Site como um grafo Web XGMML
77
Mineração de utilização da Web
Segurança e privacidade Registro das ações dos usuários enquanto estes navegam Necessidades de informação x direito à privacidade UE : Directive on Data Protection Processos contra empresas on-line Normas auto-impostas pelas empresas Limites para a coleta de dados Pedido de autorização dos usuários
78
MineraWeb Dificuldades dos sistemas existentes Proprietários Fechados
Pouco espaço para configuração, ampliação Limitados a um determinado experimento ou análise
79
MineraWeb Proposta Ambiente modularizável, aberto e expansível
Aberto a novos métodos de leitura, filtragem, pré-processamento Dados em um SGBD relacional Qualquer linguagem de programação Algoritmos modificáveis e configuráveis Agregação de ferramentas de terceiros Apoio à construção de sites adaptativos
80
MineraWeb Mineraweb Administrador de sites
Definir dados a serem analisados Fazer análises Utilizar análises para projetar, incrementar o site Pesquisador de mineração de utilização Desenvolver novos métodos de mineração e análise Testar e comparar métodos existentes
81
MineraWeb
82
MineraWeb Fases da mineração Integração e preparação de dados
Descoberta de padrões Análise dos padrões Aplicação dos padrões
83
MineraWeb Integração e preparação de dados Logs de servidores Web
Agentes Filtragem Transformação Armazenamento em SGBDR Identificação de usuários Identificação de sessões Identificação de transações
84
MineraWeb 2. Descoberta de padrões 3. Análise de padrões
Algoritmos de busca MineraWebCenter Ferramentas de terceiros 3. Análise de padrões 4. Aplicação dos padrões Adaptação de páginas e sites
85
MineraWeb MineraData Base de dados Espinha dorsal do ambiente
Integração de fontes de dados Modelo lógico ERWIn 3.52 Modelo físico do protótipo SQL Server 2000 * Oracle 8i
86
MineraWeb
87
MineraWeb
88
MineraWeb MineraWebCenter Módulo principal Borland C++ Builder 4
Configuração do ambiente Carga, pré-processamento dos dados Geração de arquivos customizados e dados de teste
89
MineraWeb MineraWebCenter Carga dos dados Filtragem Formatos dos logs
Regras de filtragem @METODO IN (“GET”, “POST”) @EXTENSAO NOT IN (“GIF”, “JPG”, “BMP )
90
MineraWeb MineraWebCenter Campos lidos IP Cliente, Usuario
Servidor, IP Servidor, Porta Método URI, URI Query Status protocolo, Status SO Bytes enviados e recebidos Duração acesso Versão protocolo Host Agente, cookie Referido
91
MineraWeb MineraWebCenter Stored procedures INSERE_ENTRADA
EXTRAI_ENTRADA
92
MineraWeb MineraWebCenter Identificação de sessões
Janelas de tempo – default de 25 min Stored procedure IDENTIFICA_SESSOES_TEMPO Identificação de transações Transações de conteúdo Limite de tempo IDENTIFICA_TRANSACOES_TEMPO
93
MineraWeb MineraWebCenter Classificação de páginas Tipos de páginas
Navegação Conteúdo Tempos médios de referência Classificação manual Classificação automática Stored procedure CLASSIFICA_PAGINAS
94
MineraWeb MineraWebCenter Busca de padrões Regras de associação
Parâmetros Suporte Confiança Stored Procedure IDENTIFICA_REGRAS_1
95
MineraWeb MineraWebCenter Análise de padrões Ferramentas de terceiros
Cubos OLAP MS Analysis Services VISITAS Domínios Clientes Páginas
96
MineraWeb MineraCrawler Extração da estrutura de um site Delphi 5
Nível de profundidade Breadth-first
97
MineraWeb
98
MineraWeb
99
MineraWeb MineraRedirect Delphi 5 Biblioteca HTTP
Agente de apoio à navegação Enquadramento das páginas Redirecionamento dos links Cadastro de perfis do usuário Log das ações Tipos de páginas registradas
100
MineraWeb MineraRedirect Implementação ISAPI CGI
MS IIS (Information Services) Windows 2000 Testes do redirecionamento
101
MineraWeb MineraRedirect Dificuldades Frames dentro de frames
Scripts Páginas já redirecionadas
102
MineraWeb
103
MineraWeb Adaptação de páginas Banco de dados Páginas ASP
Páginas “reservas”” Navegação serendípica
104
MineraWeb Conclusões Definição de ambiente Administrador de sites
Pesquisador em mineração Integração de várias propostas SGBD Técnicas de visualização Crawler Incorporação de novas características Adaptação de páginas
105
MineraWeb Conclusões Direcionamentos Filtragem Descoberta de padrões
Eficiência dos métodos Logs distribuídos XML E-commerce : “Killer domain”
Apresentações semelhantes
© 2024 SlidePlayer.com.br Inc.
All rights reserved.