A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Técnicas de Mineração de Dados na Agricultura Palestrante: Raquel Stucchi Boschi.

Apresentações semelhantes


Apresentação em tema: "Técnicas de Mineração de Dados na Agricultura Palestrante: Raquel Stucchi Boschi."— Transcrição da apresentação:

1 Técnicas de Mineração de Dados na Agricultura Palestrante: Raquel Stucchi Boschi

2 2 O problema da explosão de dados. Dados, informação e conhecimento. O que é mineração de dados? Estatística versus mineração de dados. O processo de descoberta de conhecimento em banco de dados (KDD). Uma visão geral das tarefas de mineração. Exemplos de aplicação na agricultura.

3 3 Avanços em diversas áreas tecnológicas Crescimento explosivo na capacidade de GERAR, COLETAR E ARMAZENAR dados. Tipos de Dados: Científicos: satélites, sondas, pesquisas... Sociais: censo, estudos de comportamento.... Comerciais e econômicos: transações bancárias, acesso a servidores... Registro Simples!

4 4 MOTIVAÇÃO PARA MINERAÇÃO DE DADOS

5 Operações lógicas Interpretações Uso inteligente da informação; é a informação contextualizada e utilizada na prática. Dado processado, com significado e contexto bem definido. Algo bruto; é a matéria-prima da qual podemos extrair informação.

6 Região NE = R$300 Faturamento de vendas Região SE= R$1.000 Estabelecimento Parâmetro de comparação Meta= R$300Meta= R$2.000 Ações a implementar, as decisões a tomar. Operações lógicas Interpretações

7 7 Dados Conhecimento Analista Tarefas de Mineração de Dados

8

9 9 Processamento de consultas (query processing); Sistemas Especialistas; Pequenos programas para análise estatística.

10 10

11 Qual o maior conjunto de dados que você já analisou? Fonte:

12 Ferramentas mais utilizadas para Mineração de Dados % usuários 2010 % usuários 2011 Fonte:

13 13 Exemplo 1 DADOS Registros de venda de automóveis das concessionárias de uma determinada marca em todo o país. CONHECIMENTO DESCOBERTO SE (tipo = pick–up) E (sexo = M) E (idade < 28) ENTÃO (acessórios = completo) (85%) DECISÃO Lançar um novo modelo de pick-up com jogo completo de acessórios e cores atrativas a jovens do sexo masculino.

14 14 Exemplo 2 DADOS Cadastro de 500 mil clientes de uma loja de roupas. ? CONHECIMENTO DESCOBERTO 7% dos clientes são casados; Faixa etária de 31 a 40 anos; e Pelo menos 2 filhos.

15 Principais Fases do Processo de KDD Dados Selecionar um conjunto de dados para mineração

16 Principais Fases do Processo de KDD Dados Identificação/Eliminação de ruídos e dados faltantes Pode consumir 60% ou mais do tempo no processo de KDD

17 Principais Fases do Processo de KDD Dados Identificar atributos relevantes, reduzir variáveis, normalizar valores de atributos, etc.

18 Principais Fases do Processo de KDD Dados Seleção da tarefa adequada e extração de padrões

19 Principais Fases do Processo de KDD Visualização, transformação, filtro de padrões redundantes, etc.

20 20 Característica de padrões interessantes

21 21 Característica de padrões interessantes

22 Tarefas na Mineração de Dados Envolvem aprendizado com um conjunto de dados para posterior predição do atributo definido como meta. Consistem na identificação de padrões inerentes a determinado banco de dados.

23 Tarefas na Mineração de Dados

24 Técnica inicial de exploração; Identificar um conjunto finito de clusters (agrupamentos); Os conjunto devem ser: – Mais homogêneo possível dentro de si; – Mais heterogêneo possível em relação a outro conjunto. Não é necessário identificar os agrupamentos desejados ou os atributos a serem utilizados

25 Processo para organizar objetos em grupos nos quais seus membros sejam de alguma forma similares.

26 26 Reconhecimento de padrões; Análise de dados climáticos; Agrupamento de pacientes com mesmos sintomas; Marketing e business: segmentação de mercado; Web: classificação de documentos; Uso da terra; Seguro.

27 27 Métodos baseados em particionamento Muitos padrões nos dados Difíceis Interpretação A Clusterização reduz a complexidade dentro de cada Cluster. Registros Semelhantes Algoritmo K-Means Banco de dados D K cluster

28 k-means: algoritmo Input: k, D Output: K centróides e os objetos de cada cluster

29 Escolha Inicial de Centros de Cluster PASSO 1 PASSO 1 Seleção arbitrária de K pontos para serem os Centros de Cluster

30 Associação de cada Registro aos Centros de Cluster Atenção a esse Registro! PASSO 2 PASSO 2 Associar cada registro ao Centro de Cluster mais próximo.

31 Novos Centros de Cluster após 1 a. Iteração PASSO 3 PASSO 3 Calcular os novos Centros de Cluster Média das coordenadas de todos os pontos associados a cada Centro de Cluster

32 Associações de Registros aos Novos Centros de Cluster PASSO 4 PASSO 4 Associar cada registro aos novos Centros de Cluster

33 k-means: algoritmo Dist. intracluster Dist. intercluster

34 k-means: algoritmo

35 Classificação Predição de um valor categórico (atributo meta). Tentativa de definição de modelos, regras. conjunto de exemplos pré-classificados corretamente; posterior classificação de exemplos novos e desconhecidos; Árvore de decisão técnica mais utilizada!

36 36 Classificação

37 Classificação – Conjunto de Exemplos Atributos Preditivos Atributo Meta Dataset Conjunto de Treinamento (2/3) Conjunto de Teste (1/3)

38 Conjunto de Treinamento Conjunto de Teste Indução Criação do Modelo Aplicação do Modelo algoritmo usado Modelo Dedução Classificação Passo 1: encontrar um modelo para o atributo classe como uma função dos valores dos outros atributos. Passo 2: registros não conhecidos devem ser associados à classe com a maior precisão possível.

39 Exemplo - Árvore de Decisão Figura 3 - Exemplo de uma árvore de decisão (MONARD e BARANAUUSKAS, 2005). Aparência ventando umidade vá Não_vá sol nublado chuva 78 simnão nó raiz nó folha

40 Aplicando o modelo ao conjunto teste Aparência ventando umidade vá Não_vá sol nublado chuva 78 simnão Conjunto de Teste Início da raiz da árvore

41 Aplicando o modelo ao conjunto teste Aparência ventando umidade vá Não_vá sol nublado 78 simnão Conjunto de Teste Início da raiz da árvore AparênciaUmidadeVentandoViajar? chuva95não?

42 Aplicando o modelo ao conjunto teste Aparência ventando umidade vá Não_vá sol nublado chuva 78 simnão Conjunto de Teste Início da raiz da árvore AparênciaUmidadeVentandoViajar? chuva95não?

43 Aplicando o modelo ao conjunto teste Aparência ventando umidade vá Não_vá sol nublado chuva 78 sim Conjunto de Teste Início da raiz da árvore AparênciaUmidadeVentandoViajar? chuva95não?

44 Aplicando o modelo ao conjunto teste Aparência ventando umidade vá Não_vá sol nublado chuva 78 simnão Conjunto de Teste Início da raiz da árvore AparênciaUmidadeVentandoViajar? chuva95não?

45 Regras de Classificação SE Aparência = sol E umidade 78 ENTÃO Classe = vá AntecedenteConsequente

46 46 Diagnóstico médico; Classificar transações de cartão de crédito como legítima ou fraudulenta; Avaliar riscos de empréstimos; Classificação de solos; Previsão de tempo, etc. Classificação: Aplicações

47 47 Classificação X Clusterização

48 48 Relevância no Pré-Processamento

49 Problemas

50 Problemas

51 Problemas Conjunto de Teste Conjunto de Treinamento Profundidade da árvore Erro Poda

52 52 Árvores de decisão: prós e contras

53 Associação 53

54 Associação - Aplicações Associação de produtos em um processo de compra; Elaboração de catálogos de produtos; Layout de prateleiras (produtos relacionados tendem a ser colocados perto nas prateleiras); Análise de seqüências de DNA; Análise de Web log (click stream), etc. 54

55 55 Banco de Dados de Transações Pão, Leite, Fralda, CervejaT4 Pão, Leite, Fralda, CocaT5 Leite, Fralda, Cerveja, CocaT3 Pão, Fralda, Cerveja, OvosT2 Pão, LeiteT1 Lista de ItensTID Associação – Conceitos Básicos

56 56 Associação – Conceitos Básicos Pão, Leite, Fralda, CervejaT4 Pão, Leite, Fralda, CocaT5 Leite, Fralda, Cerveja, CocaT3 Pão, Fralda, Cerveja, OvosT2 Pão, LeiteT1 Lista de ItensTID

57 57 Associação – Conceitos Básicos Pão, Leite, Fralda, CervejaT4 Pão, Leite, Fralda, CocaT5 Leite, Fralda, Cerveja, CocaT3 Pão, Fralda, Cerveja, OvosT2 Pão, LeiteT1 Lista de ItensTID

58 58 Conjuntos Frequentes (Itemsets) Conjunto frequente (Itemset) Coleção de 1 ou mais itens. Ex: {Leite, Pão, Fralda} k-itemset Um conjunto contendo k-itens Suporte Percentual das transações que contém um conjunto frequente. Exemplo: sup({Leite, Pão, Fralda}) = Conjuntos frequentes Conjunto Suporte minsup (threshold). Pão, Leite, Fralda, CervejaT4 Pão, Leite, Fralda, CocaT5 Leite, Fralda, Cerveja, CocaT3 Pão, Fralda, Cerveja, OvosT2 Pão, LeiteT1 Lista de ItensTID Banco de Dados de Transações 2/5

59 59 Regras de Associação

60 60 Regras de Associação Pão, Leite, Fralda, CervejaT4 Pão, Leite, Fralda, CocaT5 Leite, Fralda, Cerveja, CocaT3 Pão, Fralda, Cerveja, OvosT2 Pão, LeiteT1 Lista de ItensTID Banco de Dados de Transações Exemplo: {Leite, Fralda Cerveja} Sup = Freq (Leite, Fralda, Cerveja) T Conf = Freq (Leite, Fralda, Cerveja) Freq (Leite, Fralda) = =

61 61 Mineração de Regras de Associação

62 62 Exemplo de Regras Pão, Leite, Fralda, CervejaT4 Pão, Leite, Fralda, CocaT5 Leite, Fralda, Cerveja, CocaT3 Pão, Fralda, Cerveja, OvosT2 Pão, LeiteT1 Lista de ItensTID Banco de Dados de Transações

63 63 Geração de conjuntos frequentes Ex: reticulado gerado para 5 itens

64 Exemplos de Aplicação (Agrawal et al, 1993) ? W Alavancar venda de W! X ? Se parar de vender X quais produtos podem ter as vendas reduzidas? Y Z Identificar os itens adicionais que podem ser vendidos em conjunto com o Y a fim de que aumente a chance de vender o Z

65 Regras com Informações de Alta Qualidade e Passíveis de Ação Quem Compra Fralda às 5as. e 6as. Feiras, compra Cerveja junto De posse do conhecimento, é relativamente fácil fazer uma pesquisa de campo e encontrar explicações para o conhecimento gerado Ações Estratégicas: Design, Ofertas combinadas Localização de Produtos Complementares, etc. Regras com Informações Triviais Quem Compra Contratos de Manutenção Caros compra Equipamentos Cruciais para Desempenhar Suas Funções Conhecimento geralmente conhecido (e óbvio) para quem é familiar com a área de aplicação Frequentemente o conhecimento gerado é consequência de ações anteriores e não necessariamente conhecimento passível de ação Exemplos de Aplicação

66 Regras com Resultados INEXPLICÁVEIS Quando uma nova loja de materiais de construção abriu, produtos mais vendidos foram produtos para banheiro Conhecimento difícil de ser compreendido e que frequentemente sugere a necessidade de uma investigação mais detalhada em busca de explicações para o fato. Produtos foram colocados em lugares estratégicos? Havia algum desconto especial para esses produtos? Exemplos de Aplicação

67 Importante Inclusão de Itens Virtuais Inclusão de Itens Virtuais Dias da Semana Dias úteis X Feriados e Finais de Semana Período de Férias X Período de Aulas Promoção X Preço Normal Meses do Ano Período do Mês: Início, Meados ou Fim

68 Aplicações na Agricultura Exemplos

69 Aplicações na Agricultura Definição de zonas homogêneas de chuva para estudo de veranicos e fenômenos extremos; Previsão de geadas e deficiência hídrica; Alerta de doenças de culturas agrícolas; Classificação de imagens de satélite para estimativa de produtividade; Previsão de safra;

70 Aplicações na Agricultura Estimativa da mortalidade de frangos com base em dados do ambiente; Classificação do solo; Modelos de predição da quantidade de água no solo.

71 Obrigada!


Carregar ppt "Técnicas de Mineração de Dados na Agricultura Palestrante: Raquel Stucchi Boschi."

Apresentações semelhantes


Anúncios Google