HAC 1 MD - junho/2008 Tecnologias de suporte à Mineração de Dados Gerenciamento de dados Data Warehouse OLAP Arquiteturas Visualização Sistemas de Suporte.

Apresentação em tema: "HAC 1 MD - junho/2008 Tecnologias de suporte à Mineração de Dados Gerenciamento de dados Data Warehouse OLAP Arquiteturas Visualização Sistemas de Suporte."— Transcrição da apresentação:

1 HAC 1 MD - junho/2008 Tecnologias de suporte à Mineração de Dados Gerenciamento de dados Data Warehouse OLAP Arquiteturas Visualização Sistemas de Suporte à Decisão Aprendizado de Máquina Estatística

2 HAC 2 MD - junho/2008 Tecnologias de suporte para MD ● Aprendizado de Máquina – utilizado especialmente na extração de padrões. quando são aplicados os algoritmos ● Estatística – Apoia, especialmente, os métodos na etapa de preparação de dados.

3 HAC 3 MD - junho/2008 Tecnologias de suporte para MD ● Ferramentas de Visualização – Importante na etapa de pré-avaliação, possibilitando verificar o que foi extraído, e de que forma está organizado. ● Banco de Dados e Data Warehouse Algumas ferramentas são utilizadas para auxiliar a manipulação dos dados.

4 HAC 4 MD - junho/2008 Aprendizado de Máquina Aquisição de conhecimento: “Transferência e transformação do conhecimento especializado com potencial para a resolução de problemas de alguma fonte de conhecimento para um programa.”

5 HAC 5 MD - junho/2008 Aprendizado de Máquina ● Classificação de técnicas disponíveis: – Manuais - processo conduzido por engenheiros do conhecimento – Semi-automáticas – especialistas utilizam ferramentas que minimizam a participação do engenheiro do conhecimento – Automáticas – objetivam minimizar a participação humana, extraindo conhecimento de fontes de dados extensas

6 HAC 6 MD - junho/2008 Aprendizado de Máquina ● AM - subárea da IA relacionada à construção de sistemas capazes de adquirir conhecimento de forma automática (sem a interferência humana)

7 HAC 7 MD - junho/2008 Aprendizado de Máquina ● Paradigmas: – simbólico - analisam exemplos e contra-exemplos de um conceito e constroem representações simbólicas (expressão lógica, árvore de decisão, regras, redes semânticas) – estatístico - utilizam modelos estatísticos para encontrar uma boa aproximação do conceito induzido – baseado em exemplos (instance based) - classificam exemplos nunca vistos por meio de exemplos similares conhecidos. Os exemplos representativos são armazenados. (lazy learning) – conexionista - relacionado ao treinamento das redes neurais – evolutivo - baseado na teoria da evolução natural

8 HAC 8 MD - junho/2008 Aprendizado de Máquina ● Indução: forma de inferência lógica que permite obter conclusões genéricas sobre um conjunto particular de exemplos. ● Um conceito é aprendido efetuando-se inferência indutiva sobre os exemplos apresentados. ● Hipóteses geradas podem ou não preservar a verdade.

9 HAC 9 MD - junho/2008 Hierarquia do aprendizado indutivo Aprendi zado indutivo Aprendizad o supervision ado Aprendizado não- supervisionado classific ação regressã o

10 HAC 10 MD - junho/2008 Sistemas de Aprendizado de Máquina

11 HAC 11 MD - junho/2008 MD X Aprendizado de Máquina Data Mining Muitos Exemplos Muitos Atributos Aprendizado de Máquina Poucos Exemplos Poucos Atributos

12 HAC 12 MD - junho/2008 Técnicas Estatísticas ● As técnicas estatísticas são fundamentais para o processo de MD ● Amostragem dos dados (seleção e preparação) ● Naive Bayes, AutoClass (extração de padrões) ● Médias, taxas de erros, desvios (avaliação)

13 HAC 13 MD - junho/2008 Técnicas Estatísticas ● Essas técnicas, juntamente com técnicas de IA, especialmente as que manipulam incerteza, provêm mecanismos para: – Evitar overfitting nos dados – Tratar ruídos dos dados – Manipular conjunto de dados incompletos – Incorporar conhecimento de fundo

14 HAC 14 MD - junho/2008 Ferramentas de visualização ● É uma ferramenta exploratória na análise dos dados ● Permite o aumento da capacidade de análise e de interpretação dos resultados obtidos ● Os principais tipos dessas ferramentas são: – linguagens de programação especializadas – ferramentas Graphic User Interface (GUI)

15 HAC 15 MD - junho/2008 Data Warehousing ● Definição – Data Warehousing é um processo, não um produto, para montar e gerenciar dados de várias fontes com o propósito de ganhar uma visão detalhada e singular de parte ou do todo de um negócio – O produto gerado de um projeto de Data Warehousing é o seu Data Warehouse (DW)

16 HAC 16 MD - junho/2008 ● O objetivo principal é ter uma visão mais ampla das informações relacionadas à empresa/organização. ● É responsável pelo agrupamento dos dados históricos da empresa

17 HAC 17 MD - junho/2008  Voltadas para análise multidimensional de dados de modo superior aos mecanismos oferecidos pelas ferramentas tradicionais É a análise, síntese e consolidação de grandes volumes de dados multidimensionais [Codd 93].  Ferramenta geralmente utilizada para a análise de Data Warehouse OLAP (On Line Analytical Processing)

18 HAC 18 MD - junho/2008 Consultas OLAP ● Auxiliam os usuários a sintetizar as informações através de visões comparativas e personalizadas, assim como analisar dados históricos. ● É uma tecnologia que possibilita aos usuários acesso: – rápido – consistente – interativo

19 HAC 19 MD - junho/2008 OLAP

20 HAC 20 MD - junho/2008 OLAP 107,00

21 HAC 21 MD - junho/2008 OLAP 39,4

22 HAC 22 MD - junho/2008 Diferença OLAP e MD Se Idade >= 35 e Duração >=20 então Risco = Baixo

23 HAC 23 MD - junho/2008 Extração de informação e apoio à Extração do Conhecimento OLAP Informações Ferramentas de DMConhecimento

24 HAC 24 MD - junho/2008 Extração de informação e apoio à Extração do Conhecimento Quando se tem perguntas específicas OLAP Quando não se sabe qual é a pergunta Ferramentas de MD

25 HAC 25 MD - junho/2008 Conhecimento para os Sistemas de Suporte à Tomada de Decisão SISTEMAS DE SUPORTE À DECISÃO MINERAÇÃO DE DADOS DATA WAREHOUSE BASES DE DADOS Dados para o Data Warehouse Dados do Data Warehouse para Mineração Resultados / Conhecimento

26 HAC 26 MD - junho/2008 OLAP if... then DM BD Dados Informação Conhecimento DW