Business Intelligence Ferramentas para tomada de decisão Por Erwin Alexander Uhlmann Guarulhos 2007

Business Intelligence Tomada de decisões em tempo hábil, a partir de dados. Fenícios, Persas, Egípcios e outros Orientais faziam seu Business Intelligence (BI) ao cruzar dados das marés, chuvas, ventos e astros para tomada de decisões de cultivo, viagens e guerras. O BI moderno começou na década de 70, mas era caro, inflexível e não gerava respostas em tempo hábil. Com o surgimento dos Sistemas Gerenciais de Banco de Dados (SGBD) e interfaces gráficas o BI se tornou viável e difundido. O BI atualmente pode ser interativo, dinâmico e faz com que os executivos tomem decisões sobre compras, demissões, aquisições, estratégias mercadológicas, produção, e qualquer outra decisão pertinente, o que gera competitividade.

Business Intelligence Por meio do Business Intelligence os dados transacionais da empresa são transformados em informação A primeira tentativa de implementação da filosofia de Business Intelligence ocorreu com os Centros de Informações (CI) de grandes empresas. Em seguida, surgiram os EIS (Executive Information System) e DSS (Decision Support System) Mais recentemente os sistemas de Data Warehouse (DW), que se caracterizaram, principalmente, pela sua integração ou utilização em conjunto com os sistemas de gestão da empresa (sistemas ERP, por exemplo).

Business Intelligence BI é um sistema onde envolvemos a coleta de informações de diversas fontes, tais como: Empresa Concorrentes Clientes Fornecedores Possibilidades de expansão do negócio (aquisições, joint-ventures e alianças) Fatores sociais, políticos e econômicos que podem influenciar o negócio. Justamente o BI, como interface, interfere, transforma e torna verdadeira todas estas informações e as transforma em conhecimento estratégico.

Como funciona o BI No setor financeiro: Quais são as operações que geram maior rentabilidade para nosso empreendimento? Quais são os clientes preferenciais que não estão gerando a receita requerida? Qual a agência de maior rentabilidade? Qual a agência que concede mais créditos e que tipo de créditos são oferecidos por ela? Qual a evolução das contas de caderneta de poupança?

Como funciona o BI No varejo e no comércio em geral: Qual foi o volume de vendas registrado nesse mesmo período do ano, no ano passado? E qual é a média da última década? Qual foi o “realizado” x “previsto” das vendas? Qual o nosso maior cliente?

Como funciona o BI Numa empresa de telecomunicações: Como avaliar o interesse de tráfego dos grandes assinantes, a fim de evitar sua migração para a concorrência? Como garantir o estabelecimento dos acordos de níveis de serviço (SLA)? Como detectar rapidamente problemas na rede? Quais são os 10 maiores usuários com pior taxa de OK? Como evolui o tempo médio de conversação ao longo das horas do dia?

Como funciona o BI Nas áreas responsáveis pela análise da infra-estrutura dentro de uma empresa: Quais foram os sites mais acessados pela empresa? Quais são os funcionários que mais utilizam a Internet? Quais são os sites não associados ao trabalho mais acessados? E quais são os horários de pico dos servidores? Porque existe performance tão baixa na rede?

Ferramentas de BI São ferramentas de Business Intelligence: Data Warehouse Planilhas eletrônicas Geradores de consultas e relatórios EIS (Executive Information System) Softwares de Query & Report Data Marts Data Mining Ferramentas OLAP (On Line Analytical Processing)

Data Warehouse Data Warehouse DW, é um grande repositório de dados históricos que podem ser relacionados para apoiar decisões. Os sistemas operacionais (ERP, Workflow, SAP,etc.) são menores, com tabelas menores e os dados de consultas, históricos e temporários são eliminados periodicamente, num DW ao contrário, esses dados são mantidos o que pode impedir o desenvolvimento de um projeto de DW por poder assumir centenas de Gigabytes ou Terabytes. DSS > EIS > DW

Data Warehouse OLTP DW Orientado à transação Milhares de usuários Pequenos. De MBs à alguns GBs Dados atuais Dados normalizados (Muitas tabelas com poucas colunas) Atualizações contínuas Consultas de simples à complexas Orientado ao processo de negócios Poucos usuários Grandes. De vários GBs a alguns TBs Dados históricos. Dados não normalizados (Poucas tabelas com muitas colunas) Atualizações em lotes Consultas muito complexas

Data Warehouse OLTPs OLTPs DW OLTPs

Data Warehouse Requisitos básicos Organizados conforme área de interesse (Vendas, Produção, Logística, etc.) Capacidade de integração com os OLTPs Dos dados não são voláteis > Técnicas padronizadas de extração e limpeza Diferentes granularidades de dados (Dados federais, regionais, pessoais) Flexível e de rápida mudança para fornecer e agregar novos dados Capacidade de reescrever a história. “O que aconteceria se...” Interface útil para o DW e o usuário. O DW deve lidar com dados estruturados ou não.

Data Mining A técnica utilizada pelo Data Mining (DM) é a modelação. Modelar é criar um modelo a partir de uma situação de resposta conhecida e aplicar em outra situação de resposta desconhecida. O DM descende de 3 linhagens. Estatística clássica, Inteligência Artificial e Machine Learning.

Data Mining - Estatística Os conceitos são: Distribuição normal Variância Análise de regressão Desvio simples Análise de conjuntos e discriminantes Intervalos de confiança

Data Mining - IA A Inteligência Artificial é construída a partir de fundamentos da heurística. Se opõe à estatística, pois se assemelha à forma como o Homem pensa. Impraticável até os anos 80, pela enorme demanda de processamento. Alto custo, utilizado por governos e algumas empresas de ponta.

Data Mining - ML O Machine Learning é o casamento entre a Estatística e a Inteligência Artificial. Utiliza alguns algoritmos do IA e alguns fundamentos da Estatística. A máquina aprende com as pesquisas feitas e as modifica conforme novas solicitações Difundiu-se nos anos 80/90 por ser mais prático e mais barato que o IA e produzir resultados desejáveis.

Data Mining - ML O Machine Learning é o casamento entre a Estatística e a Inteligência Artificial. Utiliza alguns algoritmos do IA e alguns fundamentos da Estatística. A máquina aprende com as pesquisas feitas e as modifica conforme novas solicitações Difundiu-se nos anos 80/90 por ser mais prático e mais barato que o IA e produzir resultados desejáveis.

Data Mining O DM se ramifica em: Redes Neurais (RN) Indução de regras (IR) Árvores de decisão (AD) Análise de séries temporais (AT) Visualização

Data Mining - RN As redes Neurais produzem os mais profundos resultados, mas são complexos de entender e decifrar, ou seja, é um processo tipo caixa-preta, pois se baseia em processos internos e padrões de dados. Nem sempre podem ser explicados pois os analistas não podem explicar como se o programa chegou a este resultado.

Data Mining - IR A Indução de Regras se refere a tendências dentro de grupos de dados. Pode produzir resultados não encomendados.

Data Mining - AD As árvores de decisão é uma evolução do Machine Learning. São simples de serem seguidos e muito difundidos.

Data Mining - AT Análise Estatísticas de Séries Temporais Exige engenheiros e técnicos especializados Baseia-se em avançadas técnicas de Estatística e modelos matemáticos Trabalha com previsão

Data Mining - Visualização Muito difundido pois este método é o de ter a capacidade de gerar gráficos. Muitos softwares no mercado Soluções, previsões e históricos empíricos ou intuitivos. O mais rápido, prático e barato

Data Mining - Barreiras As principais barreiras do DM Alto custo Complexidade das ferramentas Preparação dos dados e dos métodos Dificuldade de realizar o custo/benefício por desconhecer sua aplicabilidade e retorno Viabilidade Regra 80/20 – 80% das inf. Estão dentro de 20% dos dados.