Preparação Básica Pyle, D. Data preparation for Data Mining Capítulo 4.

Apresentação em tema: "Preparação Básica Pyle, D. Data preparation for Data Mining Capítulo 4."— Transcrição da apresentação:

1 Preparação Básica Pyle, D. Data preparation for Data Mining Capítulo 4

2 Introdução Preparação de Dados está relacionado com duas atividades: Encontrar os dados e reuní-los; Melhorar sua utilidade para mineração. Preparação básica é composta por: Descoberta de dados, Caracterização dos dados, Montagem dos dados = conhecimento dos dados (qto a qualidade, problemas, falhas)

3 Introdução Descoberta de dados: consiste em descobrir e localizar os dados usados; Caracterização dos dados: descrever os dados na forma útil para o minerador – entender o que é o dado Montagem dos dados: construção de uma representação padrão dos dados para serem minerados

4 Descoberta de dados Determinar quais são as fontes para a montagem da tabela Operação de data mining – orientada a variáveis (coluna) BD e DW orientados a registros

5 Características de Acesso de Dados Aspectos legais Acesso departamental Razões políticas Formato de dados Conectividade Razões arquiteturais Timing

6 Caracterização dos dados Nível de granularidade Consistência Poluição Relacionamento Domínio Padrões Integridade Variáveis redundantes

7 Montagem dos dados Extrair características dos dados Pivoteamento reverso: criação de uma nova tabela baseada em uma tabela existente Exemplo: a tabela de registros de transações pode gerar uma tabela com o comportamento dos clientes

8 Montagem dos dados Outra maneira de extração de característica é a combinação de variáveis Exemplo: variação de temperatura Na tabela de registro estão os valores da temperatura ao longo do tempo. A montagem dos dados extrai as variações da temperatura. As características de interesse determinam a forma de extração

9 Dados comportamentais e físicos Dados físicos: medem características físicas do mundo: temperatura, pressão, velocidade, densidade Dados comportamentais: nem todos os dados estão presentes, necessário uma amostra maior para poder analisar as características. Ex. mercado de ações

10 Estrutura Explanatória Extrair características úteis – conhecimento do domínio Muitas vezes você precisa saber criar uma estrutura sem saber para que será usada.

11 Enriquecimento X Melhoramento dos dados Enriquecimento é o processo de adicionar dados externos ao conjunto de dados Melhoramento é a expansão dos dados existentes. Extração de características é uma forma de melhorar os dados. Os dados são vistos com perspectivas diferentes. Multiplicação de dados – repetir dados de eventos raros. Ex. Modelagem de catástrofes.

12 Variação de Amostras A amostra dos dados precisa ser significativa, ou representativa Por exemplo: fazer uma pesquisa pela internet – pessoas q tem computador e que estão interessadas em participar.

13 Exemplos Cartão de crédito Sapataria