Tópicos Especiais Mineração de Dados

Apresentação em tema: "Tópicos Especiais Mineração de Dados"— Transcrição da apresentação:

1 Tópicos Especiais Mineração de Dados
Profa. Sandra de Amo Mestrado em Ciência da Computação Faculdade de Computação Universidade Federal de Uberlândia

2 Mestrado em Ciencia da Computacao 2008
Contexto e Motivação Mineração de dados: Por que ? O que é ? O processo de descoberta de conhecimento Tarefas de mineração: preditivas, descritivas 25/03/2017 Mestrado em Ciencia da Computacao 2008

3 Mineração de Dados: Por que ?
Ponto de Vista Comercial Quantidades gigantescas de dados são coletados e armazenados em empresas, corporações, etc Dados de comércio eletrônico, Dados de navegação na internet Dados de compras de clientes em grandes lojas de departamentos, supermercados, Dados de transações bancárias, ou de cartão de crédito Computadores mais baratos e mais potentes Pressão da Competição 25/03/2017 Mestrado em Ciencia da Computacao 2008

4 Mineração de Dados: Por que ?
Ponto de Vista Cientifico : Medicina, Biologia, Engenharia Dados coletados e armazenados a velocidades enormes (GB/hora) Sensores remotos em satélites Telescópios Microarrays gerando dados de expressões de genes Simulações científicas gerando terabytes de dados. Técnicas tradicionais não apropriadas para analisar tais dados: ruídos e grande dimensionalidade 25/03/2017 Mestrado em Ciencia da Computacao 2008

5 Mineração de Dados - Por que ?
Frequentemente existe informação “escondida” nos dados que não é evidente de ser encontrada utilizando linguagens de consultas tradicionais. Analistas humanos podem levar semanas para correlacionar e descobrir alguma informação útil dentro de uma grande massa de dados. Boa parte dos dados nunca é analisado: “cemitério” de dados. 25/03/2017 Mestrado em Ciencia da Computacao 2008

6 Mineração de Dados: Por que ?
Técnicas de Mineração podem ajudar analistas: Entender e prever as necessidades dos clientes Descobrir fraudes Descobrir perfis de comportamento de clientes Técnicas de Mineração podem ajudar cientistas: Classificar e segmentar dados Formular hipóteses 25/03/2017 Mestrado em Ciencia da Computacao 2008

7 Mineração de Dados: O que é ?
Não Fazer uma consulta no Google sobre “Data Mining ” Procurar um nome numa lista telefônica Fazer uma consulta SQL a um banco de dados. Sim Agrupar documentos similares retornados pelo Google de acordo com seu contexto. Descobrir se certos nomes aparecem com mais frequência em determinadas regiões da cidade (periferia, centro, bairros abastados,…) 25/03/2017 Mestrado em Ciencia da Computacao 2008

8 Mestrado em Ciencia da Computacao 2008
Exemplos Qual o perfil do cliente que consome mais ? Que produtos são comprados conjuntamente ? E em sequência ? Meu site web tem uma boa estrutura ? Como as chuvas, variação de temperatura, aplicação de pesticidas afetam as colheitas ? Existe uma relação entre o aquecimento global e a frequência e intensidade das perturbações no ecossistema tais como secas, furacões, enchentes ? 25/03/2017 Mestrado em Ciencia da Computacao 2008

9 Etapas do Processo de KDD
Limpeza dos Dados Integração dos Dados Seleção Transformação Mineração Avaliação ou Pós-Processamento Visualização dos Resultados 25/03/2017 Mestrado em Ciencia da Computacao 2008

10 Mestrado em Ciencia da Computacao 2008
Conhecimento Análise do Resultado Mineração: Etapa central do processo de Descoberta de Conhecimento Mineração Dados Relevantes Data Warehouse Seleção Limpeza Integração dos Dados Banco de Dados 25/03/2017 Mestrado em Ciencia da Computacao 2008

11 Mestrado em Ciencia da Computacao 2008
Tarefas de Mineração Tarefa ato de descobrir um certo tipo de padrão Regras de Associação Análise de Sequências Classificação Agrupamento Outliers 25/03/2017 Mestrado em Ciencia da Computacao 2008

12 Tarefas de Mineração de Dados
Tarefas Preditivas predizer o valor de um determinado atributo baseado nos valores de outros atributos Classificação – Predição Tarefas Descritivas Derivar « padrões » : correlações, tendências, anomalias, agrupamentos dentro de uma grande massa de dados. Regras de Associação – Padrões Sequenciais – Agrupamentos - Anomalias 25/03/2017 Mestrado em Ciencia da Computacao 2008

13 Mestrado em Ciencia da Computacao 2008
O que é Mineração ? Mineração de Dados Descoberta de Conhecimento (KDD) KDD = Knowledge Discovery in Databases 25/03/2017 Mestrado em Ciencia da Computacao 2008

14 Mestrado em Ciencia da Computacao 2008
Sistemas de Mineração Intelligent Miner (IBM) DBMiner Enterprise Miner Clementine MineSet Genamics Expressions 25/03/2017 Mestrado em Ciencia da Computacao 2008

15 Um tópico atual Mineração de Preferências

16 Consulta Quais os pacotes turísticos de menos de 15 dias que você pode me propor em 2011 ? Resposta

17 Minhas Preferências ... Prefiro estadias mais curtas (menos de duas semanas) do que estadias longas (de duas semanas ou mais). Prefiro viajar durante as férias de verão. Para estadias curtas prefiro aquelas nas grandes cidades, pois gosto de ir a museus, bons restaurantes e shows. Para minhas viagens durante as férias de verão, prefiro viajar para a praia, caso eu viaje com a família. Caso eu viajo sozinho, je prefiro ir para uma cidade histórica.

18 Problemas a resolver Como modelar as preferências do usuário ? Usar regras ? Usar scores ? 2. Como obter as preferências do usuário ? 3. Como utilizar as preferências do usuário para “personalizar” as respostas ?

19 1) Como modelizar preferências
Conjunto de regras Regras SE a viagem é durante minhas férias de verão e eu vou viajar com minha família ENTÃO eu prefiro ir para uma praia do que para uma cidade histórica. SE a viagem é durante minhas férias de verão e eu vou viajar sozinho ENTÃO eu prefiro ir para uma cidade histórica do que para uma praia.

20 2) Como obter as preferências do usuário ?
Perguntar ao usuário ? Mostrar algumas respostas e pedir um feedback do usuário se gostou ou não ? Utilizar métodos automáticos ? Mineração de Preferências

21 3) Como colher as amostras de preferências do usuário
Sistema de Amostragem de NOTAS (scores) Sistema de Amostragem de Pares Sistema de Amostragem de Listas (muito usado em Information Retrieval) 25/03/2017 Mestrado em Ciencia da Computacao 2008

22 Exemplo Internet Movie Database Dados Coletados

23 Pequena amostragem de filmes classificados por um usuário
ID Genero Diretor Ano Ator Rating 1 comedy Woody Allen 80 Charlotte Rampling 8 2 Mia Farrow 7 3 romance Joel Coen Charlote Rampling 4 drama 70 5 6

24 ID Genero Directo Ano Ator Nota 1 comedy Woody Allen 80 Charlotte Rampling 7 2 Mia Farrow 6 3 romance Joel Coen Charlote Rampling  ? 4 drama 70 5

25 Comparando dois filmes pela nota dada ...
Genre Director ANO Actor ID Director' Pref 1 comedy W Allen 80 C.Rampling 2 W. Allen Mia Farrow W.Allen 4 drama 70 6 romanc Joel Coen 7 C. Rampling J.Coen

26 ID GEN Diretor ANO Ator ID' GE' Diretor' Ator' Pref 1 comedy Woody Allen 80 Charlotte Rampling 3 romance Joel Coen Charlote Rampling ? 5 Mia Farrow 2 4 drama 70 6

27 Temas de Pesquisa Como “descobrir” as preferências de um usuário a partir de uma amostra de preferências capturada na internet ? Como “descobrir” as preferências comuns a um perfil de usuários ?

28 Mineração de Preferências

29 Pesquisa em desenvolvimento
2 métodos desenvolvidos dentro do grupo de Banco de Dados Método 1: CprefMiner (tese de Mestrado) Método 2: ProfMiner (em colaboração com pesquisadores da Université de Tours (França)