Jacques Robin CIn-UFPE Aplicações práticas da descoberta de conhecimento em BD.

Apresentação em tema: "Jacques Robin CIn-UFPE Aplicações práticas da descoberta de conhecimento em BD."— Transcrição da apresentação:

1 Jacques Robin CIn-UFPE Aplicações práticas da descoberta de conhecimento em BD

2 Marketing e comércio * Gerenciamento de relação com clientes (CRM de Customer Relationship Management) : descrição multi-dimensional, agrupamento e classificação de clientes, associações entre produtos ou serviços, para otimização e personalização de: t campanhas de propaganda e de promoções t sugestões de produtos e serviços mineração comparativa de evolução de compras, produtos ou serviços oferecidos e preços para: t promover retenção de clientes t definir política de preço altamente dinâmica (ex, passagem aérea) ambos a partir de: t Transações com cartões de fidelidade, de requisitos de programa a la carte (TV, vídeo, música), de reservas (passagens, hoteis, ingressos) t Log de servidor ‘Web para comércio eletrónico relevância para quase qualquer setor econômico: varejo, comercio eletrônico, infra-estrutura, financia, entretenimento

3 Financia e segurança * Serviços financeiros: mineração de series temporais de valores na bolsa para especulação mineração de associação e grupos de valores para definição de portfolio de investimento e planos de aposentadoria previsão de inadimplência para definir política de empréstimo * Detecção de fraude: descrição multi-dimensional e mineração de series excepcionais de: t de uso de cartão de créditos para serviços financeiros t pedidos de acesso a sites para segurança de sistemas t transferências de fundos para lavagem de dinheiro sujo e sonegação de imposto t chamadas para telecomunicações * Detecção de tentativas de intrusão mineração de padrões temporais de comandos de protocolos em arquivos de log de servidores batch e tempo real

4 Jogos, esportes e recursos humanos * Jogos: mineração de regras estratégicas e táticas a partir de BD de partidas (xadrez, futebol de robôs) * Jogos, esportes e re-engenharia de organizações: OLAP, agrupamento e mineração multi-dimensional de series de resultados para identificar fatores internos (ex, composição do time, tática usada) e externos (ex, tipo de adversário, local do jogo) contribuindo a vitórias e a derrotas * Jogos de esportes virtuais, esportes e recrutamento: previsão do desempenho e popularidade futuro de atletas, artistas e funcionários para contratação e transferência

5 Serviços de infra-estrutura: energia, água, transporte, telecomunicação, Internet * descrição multi-dimensional e previsão comparativa * de demanda e da capacidade das fontes ou equipamentos * para: planejar investimentos e otimizar rotas para evitar interrupção de serviços e congestionamento definir vários níveis de qualidade de serviços, seus preços e seus clientes potenciais detecção de fraudes * previsão de falha de equipamento para definir política de prevenção de falha * mineração de regras de diagnóstico para análise de falha

6 Saúde * Indústria farmacêutica: previsão dos efeitos de um novo remédio composto a partir dos efeitos dos seus componentes em remédios testados * Medicina e epidemiologia: mineração de regras de diagnostico previsão de predisposição a doenças e resposta a tratamento a partir de BD de órgãos de saúde (CDC, ministério da saúde) * Pesquisa em genética e biologia molecular: mineração comparativa de seqüências de genes em células sanas e doentes (adaptação da mineração de series temporais para dados categóricos) mineração de associações e grupos de genes baseada na sua co- ocorrência em várias classes de células previsão da forma 3D de uma proteína a partir da sua seqüência de ácidos-amidos

7 Conclusão sobre a aplicabilidade de KDD * Ainda existe muito mais tarefas e domínios de aplicação prática da descoberta de conhecimento em BD não mencionadas * Ubiqüidade da necessidade por mineração de dados e descoberta de conhecimento em BD * O mais difícil não é identificar setores de atividade que precisam dessa tecnologia e sim identificar setores que não podem beneficiar-se dela

8 Exemplo detalhado de aplicação: descoberta de habilidades chaves e insights táticos em futebol de robôs

9 * Arquitetura clientes-servidor implementa simulador multi-agentes * Servidor atualiza: ambiente dos agentes = campo dos jogadores * Cliente do SoccerServer = agente = jogador * Time = software multi-agentes distribuído em 11 clientes Soccer Server UDP/IP Cliente 1 Cliente 11 Cliente 1 Time ATime B Soccer Monitor Exemplo detalhado de aplicação: competição de softbots em partidas simuladas

10

11 Exemplo detalhado de aplicação: caraterísticas da fonte de dados disponível * Arquivos de log do simulador de partidas SoccerServer * Dados em formato flat * Sem intencionalidade: Apenas resultado no campo das ações dos agentes/clientes/jogadores Sem as ações mandadas para o simulador pelos agentes, nem as percepções recebidas em volta Sem possibilidade de inferí-las confiavelmente, devido ao ruído introduzido pelo simulador * De granularidade fina demais para descobrir insights procurados por mineração direta * Necessidade de passo(s) de derivação de dados de granularidade suficiente na preparação dos dados

12 Exemplo detalhado de aplicação: exemplo da fonte de dados disponível

13 Exemplo detalhado: preparação de dados Data Mart ROLAP Dados Primitivos Ferramenta de modelagem E-R API XSB-SQL SGBD relacional Hipercubo OLAP derivados Sistema dedutivo XSB Log do Soccer Server Log do Soccer Server Serviços de transformação de dados DTS... Microsoft SQL Server Servidor OLAP Hipercubo OLAP primitivo Data Mart ROLAP Dados Primitivos e Derivados API XSB-Java JDBC

14 Exemplo detalhado: esquema dos dados

15 Exemplo detalhado de aplicação: arquitetura do BD dedutivo XSB SGBD relacional API Oracle InterProlog API Java API ODBC Software externo Java API C Software externo C Prolog tabulado Hilog: regras de ordem superior Flora: dedução orientada a objetos Sistema dedutivo em memória central SGBDR Oracle XSB

16 Exemplo detalhado de aplicação: regras Prolog de derivação de dados posseDaBola(Tempo, Time, Jogador, X, Y, Angulo) :- fmode(Tempo, 3), fplayer(Tempo, Time, Jogador, X, Y, Angulo), posse(X, Y, Tempo). posse(XJogador, YJogador, Tempo) :- fball(Tempo, XBola, YBola), diferencaAbsoluta(XBola, XJogador, DiferencaX), DiferencaX < 1, diferencaAbsoluta(YBola, YJogador, DiferencaY), DiferencaY < 1.

17 Exemplo detalhado: mineração dos dados Data Mart ROLAP JDBC SGBD relacional Hipercubo OLAP derivados Microsoft SQL Server Servidor OLAP Weka Caracterização Multi-dimensional dos resultados das partidas em função das estatísticas de fases de jogo e da taxa de sucesso de cada tipo de jogada Previsão do sucesso de uma jogada em função do seu contexto no jogo Previsão da melhor jogada a tentar para cada contexto de jogo Clusters de jogadas