Fundamentos de Sistemas de Informação

Apresentação em tema: "Fundamentos de Sistemas de Informação"— Transcrição da apresentação:

1 Fundamentos de Sistemas de Informação
David Nadler Prata

2 Fundamentos de Sistemas de Informação
Universidade Federal do Tocantins Curso: Ciência da Computação Disciplina: Fundamentos de Sistemas de Informação Professor: David Nadler Prata

3 Tecnologia e Sistemas de Informação

4 Após a “carga de dados” em um DW, segue-se a etapa mais importante do processo de BI:
O Data Minning.

5 Data Minning ou Mineração de Dados:
O que é Data mining: “Data mining (mineração de dados), é o processo de extração de conhecimento de grandes bases de dados, convencionais ou não. Utiliza técnicas de inteligência artificial que procuram relações de similaridade ou discordância entre dados. Seu objetivo é encontrar, automaticamente, padrões, anomalias e regras com o propósito de transformar dados, aparentemente ocultos, em informações úteis para a tomada de decisão e/ou avaliação de resultados. Fernando S. Goulart Júnior & Robson do Nascimento Fidalgo (1998)

6 Data Minning ou Mineração de Dados:
Exemplo: Conclusões: Produtos azuis são de alto lucro ou Arizona é um lucro baixo

7 Data Minning ou Mineração de Dados:
Uma empresa utilizando data mining é capaz de: Criar parâmetros para entender o comportamento do consumidor; Identificar afinidades entre as escolhas de produtos e serviços; Prever hábitos de compras; Analisar comportamentos habituais para detectar fraudes.

8 Data Minning ou Mineração de Dados:
Data mining X Data warehouse: Data mining  extração inteligente de dados; Data warehouse  repositório centralizado de dados; Data mining não é uma evolução do Data warehouse; Data mining não depende do Data warehouse, mas obtém-se melhores resultados quando aplicados em conjunto; Cada empresa deve saber escolher qual das técnicas é importante para o seu negócio. (Uma, outra ou as duas); Data Warehouse aliado a ferramentas estatísticas desempenham papel semelhante ao data mining, mas não descobrem novos padrões de comportamento. (a não ser empiricamente).

9 Data Minning ou Mineração de Dados:
Como fazer Data Mining ? Aprendizagem computacional (Machine-learning) Automação do processo de aprendizagem, através da construção de regras baseadas em observações dos estados e transações do ambiente. Examina os exemplos e seus resultados e aprende como reproduzi-los e como fazer generalizações sobre novos casos

10 Data Minning ou Mineração de Dados:
Aprendizagem indutiva: Faz análise nos dados para encontrar padrões Agrupa objetos similares em classes Formula regras Aprendizagem supervisionada (A.S.) Aprende baseando-se em exemplos (“professor” ajuda a construir um modelo def. classes e fornecendo exemplos de cada classe  formular a descrição e a forma da classe) Aprendizagem não supervisionada (A.Ñ.S.) Aprende baseando-se em observações e descobertas (não se def. classes, deve-se observar os exemplos e reconhecer os padrões por si só  uma descrição de classes para cada ambiente).

11 Junho 2007 (kdnuggets) MAP Alípio Jorge

12 Exemplos Áreas de aplicações potenciais: Vendas e Marketing
Identificar padrões de comportamento de consumidores Associar comportamentos à características demográficas de consumidores Campanhas de marketing direto (mailing campaigns) Identificar consumidores “leais”

13 Exemplos Áreas de aplicações potenciais: Bancos
Identificar padrões de fraudes (cartões de crédito) Identificar características de correntistas Mercado Financeiro ($$$)

14 Exemplos Áreas de aplicações potenciais (continuação): Médica
Comportamento de pacientes Identificar terapias de sucessos para diferentes tratamentos Fraudes em planos de saúdes Comportamento de usuários de planos de saúde

15 Exemplos Exemplo (1) - Fraldas e cervejas
O que as cervejas tem a ver com as fraldas ? homens casados, entre 25 e 30 anos; compravam fraldas e/ou cervejas às sextas-feiras à tarde no caminho do trabalho para casa; Wal-Mart otimizou às gôndolas nos pontos de vendas, colocando as fraldas ao lado das cervejas; Resultado: o consumo cresceu 30% .

16 Exemplos Exemplo (2) - Lojas Brasileiras (Info 03/98)
Aplicou 1 milhão de dólares em técnicas de data mining Reduziu de produtos para produtos oferecidos em suas lojas. Exemplo de anomalias detectadas: Roupas de inverno e guarda chuvas encalhadas no nordeste Batedeiras 110v a venda em SC onde a corrente é 220v

17 Exemplos Exemplo (3) - Bank of America (Info 03/98)
Selecionou entre seus 36 milhões de clientes Aqueles com menor risco de dar calotes Tinham filhos com idades entre 18 e 21 anos Resultado em três anos o banco lucrou 30 milhões de dólares com a carteira de empréstimos.

18 Exemplos Empresas de software para Data mining: SAS http://www.sas.com
Information Havesting Red Brick Oracle Sybase Informix IBM

19 Data Minning ou Mineração de Dados:
Corresponde ao ato de extrair informações do DW, a fim de identificar tendências, padrões de negócio e cenários. É possível realizar simulações e fazer testes de hipótese. Para efetuar a mineração é necessário um conjunto de ferramentas denominadas OLAP que serão descritas a seguir.

20 On line Analytical Processing Systems – Sistemas OLAP
Nas palavras de Strum (2000, p. 5) “um sistema OLAP é uma ferramenta que permite executar complicadas análises sobre dados históricos usando estruturas multidimensionais armazenadas em um Data Warehouse (DW)”. STRUM, J. Data Warehousing with Microsoft SQL Server 7.0 Technical Reference. Washington: Editora Microsoft Press, 1. ed f.

21 On line Analytical Processing Systems – Sistemas OLAP
O DW serve como base para sistemas OLAP e permite o compartilhamento de informações por toda a organização. Um sistema de CRM, por exemplo, pode utilizar um Data Mart, o qual assemelha-se a um DW, com a pequena diferença de que os dados armazenados nessa estrutura pertencem a um determinado nicho de negócio dentro de uma organização como por exemplo informações sobre os clientes para efetuar o Marketing de Relacionamento Como a idéia do OLAP é trabalhar sobre os dados históricos, de preferência em um conjunto separado da estrutura de dados operacionais, torna-se necessária a transição de dados entre as bases, permitindo assim alimentar a estrutura OLAP com informações atuais seguindo qualquer regra previamente definida para uma análise. Isso é o chamado DTS (Data Transformation Service – Serviço de Transformação de Dados).

22 On line Analytical Processing Systems – Sistemas OLAP
Dentre todas as características, a que ressalta com significativa expressividade é o fato de que com uma ferramenta ou serviço OLAP pode ser criado um único sistema que se responsabilize por efetuar toda análise sobre os dados, ao invés de existirem sistemas diferentes realizando análises diferenciadas. Outra vantagem é a eficiência da análise que permite o usuário, de maneira muito interativa, ter respostas para perguntas como “quantos produtos X foram vendidos no mês Y nas cidades de A e B para clientes com idade acima de 30 anos?”. Tais pesquisas podem ser feitas esporadicamente, o que de fato caracteriza um sistema de análise empresarial, um Sistema de Suporte a Decisão (SSD).

23 On line Analytical Processing Systems – Sistemas OLAP

24 OLAP Na figura observamos os seguintes elementos:
DTS – Data Transformation Server: Responsável por extrair os dados operacionais e externos e colocá-los em um formato padão para o DWH, fazendo a “carga” dos dados ou seja a transferência. OLPT – On-Line Processing Transaction: São Sistemas de Processamento de Transação (SPT) que operam em modo on-line. Serviço Pivot Table: Estrutura de dados / Arquivos para cruzar dados e permitir a construção de modelos gráficos e multidimensionais das informações que se pretendem extrair através da ferramenta OLAP.

25 On line Analytical Processing Systems – Sistemas OLAP
A construção de sistemas desse porte busca atender segundo Strum (2000) os seguintes pontos: Informações com profundidade, com a estrutura em níveis hierárquicos; Comparar grupos de informações sob condições definidas pelo usuário; Gerar informações utilizáveis; Prover informações no tempo certo e preciso; Análises rápidas; Informações acessíveis, permitindo acesso de qualquer lugar, que sejam inteligíveis ou familiares ao usuário final. STRUM, J. Data Warehousing with Microsoft SQL Server 7.0 Technical Reference. Washington: Editora Microsoft Press, 1. ed f.

26 Componentes de um sistema OLAP
Conforme visto, uma ferramenta OLAP é composta por um repositório de dados, podendo ser um DW ou um Data Mart. Além de uma estrutura para armazenamento de dados, ela conta com uma poderosa máquina matemática para efetuar cálculos, e de uma ferramenta que permite a visualização multidimensional de dados, os Cubos.

27 Componentes de um sistema OLAP
O processador matemático é utilizado para efetuar consultas ao banco de dados não padronizadas tais como: somas, cálculos de freqüências, cálculos temporais, estatísticas e categorização. Outras operações mais complexas como fórmulas ou algoritmos, conversões e modelagens, além de consultas mais elaboradas são outras capacidades disponíveis por essa ferramenta.

28 Componentes de um sistema OLAP
Uma das diferenças cruciais entre sistemas OLAP e OLTP é que o segundo possui um conjunto pré- determinado de consultas a executar, sabendo exatamente o que deve retornar. Já o primeiro não. Este sabe que tipos de dados serão analisados, mas não como será feita a análise, gerando as consultas sob demanda. A utilização de uma base de dados não normalizados, baseada em uma estrutura multidimensional, pode melhorar a performance da análise.

29 Exemplos de consultas OLAP:
Quais foram os produtos mais vendidos no mês passado? A média salarial dos funcionários de informática com menos de 5 anos de experiência é maior do que a mesma para funcionários de telecomunicação? Qual foi o total de vendas o mês passado por região de vinhos tintos importados da Europa? Por quais semanas, quais produtos e quais cidades, a variação de venda de produtos em promoção em comparação da semana anterior sem promoção foi  15%

30 Elementos de um modelo lógico de dados multidimensional: exemplo
Hierarquia: Geografia País Estado Cidade Etc... Dimensões Cubo Produto Florianópolis Lages Geografia Medidas: É representada por uma dimensão especial utilizada para realizar comparações. Inclui membros como: custos, lucros ou taxas. Trombudo Central Curitibanos 1999 Membros Leite 2000 Pão 2001 Chá Tempo 2002 Água

31 Exemplos de ferramentas de mercado
Ferramentas Olap Exemplos de ferramentas de mercado

32 Cognos Business Intelligence Platform
Servidores OLAP: Servidor DOLAP e ROLAP Tipo de ferramenta Front-End Módulo de Análise e Interrogações Ad-hoc – Cognos PowerPlay . Linguagem de Interrogação: SQL. Módulo de Reporting - Cognos ReportNet Tipo de Relatórios: Parametrizável Tipo de Navegação: Suporta Navegação

33 Cognos Business Intelligence Platform
Ferramenta Web e não Web Web: Browsers e Não Web: Excell. Sistemas Operacionais Windows 95/98/NT/2000/ME/XP; HP/UX; IBM AIX; Solaris/Sun OS. Bases de Dados: Microsoft Access; Oracle RDB; NCR Teradata; Sybase; Oracle; Red Brick; Microsoft SQL Server; Informix; IBM DB2; Nota: Interrogações a Base de Dados (suporte nativo): Oracle; DB2/UDB; SQL Server; DB2/390; DB2/400; Sybase; Informix; Nota: Interrogações a Base de Dados (via ODBC): B2/400; Redbrick; Sybase; MS Access; Teradata

34 MicroStrategy 7i Platform
Servidores OLAP Servidor ROLAP e recentemente MOLAP Tipo de ferramenta Front-End Módulo de Análise e Interrogações Ad-hoc – MicroStrategy OLAP Services e MDX Adapter. Linguagem de Interrogação: SQL e MDX. Módulo de Reporting - MicroStrategy Report Services Tipo de Relatórios: Parametrizável Tipo de Navegação: Suporta Navegação

35 MicroStrategy 7i Platform
Ferramenta Web e não Web Web: Browsers e e Não Web: ficheiros. Sistemas Operacionais Windows 95/98/NT/2000/ME/XP; HP/UX; IBM AIX; Solaris/Sun OS. Bases de Dados JDBC; OLE-DB; ODP.NET; Oracle.

36 Oracle 10g Servidores OLAP Servidor ROLAP, MOLAP e HOLAP
Tipo de ferramenta Front-End Módulo de Análise e Interrogações Ad-hoc – Oracle Olap Linguagem de Interrogação: SQL e PL/SQL; OLAP DML (equivalente a PL/SQL mas para multidimensional). Módulo de Reporting – Oracle Reports Tipo de Relatórios: Parametrizável Tipo de Navegação: Suporta Navegação

37 Oracle 10g Ferramenta Web e não Web
Web: Browsers e Não Web: ficheiros e Excell. Sistemas Operacionais Windows 95/98/NT/2000/ME/XP; HP/UX (PA-RISC e Itanium); IBM AIX; Solaris (SPARC). Bases de Dados Oracle.

38 Applix Servidores OLAP Servidor ROLAP e MOLAP
Tipo de ferramenta Front-End Módulo de Análise e Interrogações Ad hoc – TM1 e TM1 Web e Integra Linguagem de Interrogação: Não referenciada, possívelmente SQL e/ou outra linguagem proprietária Módulo de Reporting – TM1 Web Tipo de Relatórios: Sem informação Tipo de Navegação: Suporta Navegação (drill-down)

39 GEAC Servidores OLAP Servidor de outro proprietário (dependência)
Tipo de ferramenta Front-End Módulo de Análise e Interrogações Ad hoc – Sem informação Linguagem de Interrogação: Sem informação Módulo de Reporting – Pervasive 2000 SP2a e Crystal Reports 8.0 ou 8.5 Tipo de Relatórios: Dependendo da ferramenta do proprietário Tipo de Navegação: Dependendo da ferramenta do proprietário

40 Hyperion BI Platform Servidores OLAP Servidor ROLAP e MOLAP
Tipo de ferramenta Front-End Módulo de Ad-Hoc Queries – Hyperion Intelligence Linguagem de Interrogação : SQL, MaxL Módulo de Reporting – Hyperion Reports Tipo de Relatórios: Parametrizável Tipo de Navegação: Sem informação

41 Hyperion BI Platform Ferramenta Web e não Web
Web : Browsers, , Não Web: Excel, PDF, Lotus Sistemas Operacionais Microsoft Windows 2000 Server; Microsoft Windows 2003 Server ; Solaris Sparc 8.x e 9.x; IBM AIX, Linux Bases de Dados Oracle 8i e 9i, IBM DB2, MS SQL SERVER 2000, MS SQL SERVER 7, Informir, Sybase, Teradata, outros

42 Business Objects Servidores OLAP Servidor ROLAP e MOLAP
Tipo de ferramenta Front-End Módulo de Ad-Hoc Queries – Suporta Ad-Hoc Queries Linguagem de Interrogação : SQL, MDX Módulo de Reporting – Suporta Reports Tipo de Relatórios: Parametrizável Tipo de Navegação: Drill-Down, Slicing and Dicing, Pivoting, Ranking, Sorting, Alerts e Filter Helps

43 Business Objects Ferramenta Web e não Web
Web : Browsers, , Não Web: Excel, PDF Sistemas Operacionais IBM AIX, Solaris, Unix, MAC OS e todas a versões do Windows Bases de Dados Sem informação

44 Mais ferramentas... Panorama NovaView BI Platform Crystal Analysis and Reports - MIS onVision - Arcplan inSight and dynaSight SoftPro Manager - SPSS Olap Hub Information Intelligence Platform - Targit Analysis - Databeacon - Q4bis - Hummingbird - Vista - DeltaMaster - Strategy Analyzer - USoft -

45 Desempenho 2003 – The OLAP Survey 3
Melhores Tempos de Carregamento e Processamento de Dados:

46 Mas os líderes são...

47 Considerações Finais Com o volume de informações gerado pelos diversos sistemas, aumenta o potencial de aperfeiçoamento e inovação da organização através de um processo de inteligência denominado de Business Intelligence. Na prática o BI necessita de um conjunto de ferramentas e técnicas como os Data Marts, agrupados em um Data Warehouse sendo minerados por ferramentas OLAP.

48 Atividade Assista ao filme: Ameaça Virtual (2001) e discuta sobre a falta de ética no processo de BI nas organizações de informática.