SETEMBRO, 2010 | SÃO PAULO

Instruções gerais (hidden slide): Título: Nível Técnico: Audiência foco: Objetivos (quais são as três principais mensagens que você gostaria que a audiência absorva): Sequência da sua apresentação (incluindo as demos): Instruções aos palestrantes: Complete este slide para que o Track Owner avalie a sequência da sua apresentação, tópicos cobertos, integração das demos e alinhamento do conteúdo com a descrição e nível da sessão.

Suzi K Suguiyama Consultora Principal Microsoft Brasil Microsoft SQL Server 2008 R2 StreamInsight: Tratando dados em tempo real C Ó DIGO DA SESS Ã O: DB202

4 Agenda Introdução Plataforma Microsoft StreamInsight Conceitos Demo Cenários de Implantação Edições Conclusão

5 StreamInsight Introdução O que são aplicações orientadas a eventos? Processamento de eventos complexos (CEP) é o processamento contínuo e incremental de fluxos de eventos provenientes de várias fontes, com base na consulta declarativa e especificações padrão com latência próxima de zero

6 StreamInsight Necessidade de uma plataforma orientada a eventos Aplicações de BDAplicações orientadas a eventos Modelo de consulta Ad-hoc queries ou requisições Contínuas queries permanentes Latência Segundos, horas, dias Milissegundos ou menos Taxa de dados Centenas de eventos /seg Dezenhas de milhares de eventos / seg ou mais Consulta semântica Análise relacional declarativa E análise temporal requisição resposta Evento output stream input stream Os resultados analíticos precisam refletir as importantes alterações na realidade do negócio e permitir respostas com latência mínima

7 StreamInsight Cenários para aplicações orientadas a eventos Aplicações de Banco de Dados Relacional Aplicações de Banco de Dados Relacional Aplicações de Negociação do Mercado Financeiro Aplicações de Negociação do Mercado Financeiro Taxa de dados agregados (eventos/seg). Latência ~1milhão Meses Dias Horas Minutos Segundos 100 ms < 1ms Aplicações de Análise Operacional Aplicações de Produção Aplicações de Produção Aplicações de Monitoração Cenários alvo para CEP Aplicações DW Aplicações DW Aplicações Web Analytics

8 StreamInsight Exemplos de cenários Data Stream Repositório de dados & Arquivamento StreamInsight Engine Data Stream Configurações & Parâmetros Serviço de Energia: Consumo de energia Paralisações Grades inteligentes eventos/seg Visual trend-line and KPI monitoring Batch & product management Automated anomaly detection Real-time customer segmentation Algorithmic trading Proactive condition-based maintenance Visual trend-line and KPI monitoring Batch & product management Automated anomaly detection Real-time customer segmentation Algorithmic trading Proactive condition-based maintenance Web Analytics : Sequência de clicks Comportamento de clientes online Layout de página eventos/seg Indústria : Sensor de chão de fábrica Reagem através de controladores de dispositivo Dados agregados eventos/seg Limites de consultas Correlação de eventos de múltiplas fontes de dados Padrão de consultas Limites de consultas Correlação de eventos de múltiplas fontes de dados Padrão de consultas Lookup Instrumentação de ativos para aquisição de dados, Data Feeds Mercado Financeiro Stock & feeds RSS Risk Management Algoritmos de negociação Monitoração de mercado eventos/seg

9 StreamInsight Ciclo: Monitorar, Gerenciar, Minerar Tendências do setor Os custos de aquisição de dados são insignificantes Os custos de armazenamento bruto são pequenos e continuam a diminuir Os custos de processamento não são negligenciáveis Os custos de carga de dados continuam ser significativos Manage business via KPI-triggered actions Mine historical data Devise new KPIs Monitor KPIs Record raw data (history) Vantagem do StreamInsight Processa os dados de forma incremental, ou seja, enquanto ele está sendo enviado Evita carga ao mesmo tempo em que continua a fazer o tratamento desejado Consultas sem pausa para monitoramento, gerenciamento e mineração

10 StreamInsight Soluções com StreamInsight (CEP) Data Sources, Operations, Assets, Feeds, Sensors, Devices Monitor & Record Monitor & Record Operational Data Store & Archive StreamInsight Engine StreamInsight Engine f(x) g(y) StreamInsight Engine f(x) f'(x) g(y) h(x,y) History Deploy Results f'(x) h(x,y) Manage & Benefit Manage & Benefit Mine & Design Mine & Design Input Data Streams Output Data Streams

11 StreamInsight Visão Geral: Microsoft StreamInsight StreamInsight Engine Output Adapters Input Adapters Event Standing Queries Event sources Event targets Devices, Sensors Web servers Event stores & Databases Stock tickers & News feeds Event C_IDC_NAMEC_ZIP Event stores & Databases Pagers & Monitoring devices KPI Dashboards, SharePoint UI Trading stations Event Aplicação em tempo de execução.NET C# LINQ Desenvolvimento Aplicação

12 StreamInsight Serviço de Energia Elétrica Cenário: Smart grid Medidores inteligentes de energia elétrica Visão contínua e atualizada, incluindo a geração, distribuição e demanda Vantagens do StreamInsight Atende aos requisitos de smart grids Escala de milhões de medidores Centenas de milhares de leituras por segundo Validação, edição, regras de cálculo (EEV) declarativamente em LINQ Expande a altos volumes de dados esperados em smart grids Reação quase em tempo real às mudanças da grade para evitar quedas de energia

13 StreamInsight Mercado Financeiro Cenário: Análise de Risco em Tempo Real Visão contínua sobre as condições de mercado e exposição Monitoração contínua (baixa latência) do mercado Gerencia de riscos através de negociadores e por mesa com limites individuais e agregados Vantagens do StreamInsight: Implementa monitoração de riscos em LINQ Detecção e notificação próximo do tempo real Não necessita mudanças nos modelos ou código LINQ para testes em dados históricos

14 StreamInsight Web Analytics Cenário: Segmentação comportamental em Tempo Real Análise online contínua do comportamento do usuário Identificação de conteúdos relevantes antes do próximo click Definição do conteúdo baseado no comportamento online detectado Vantagens do StreamInsight: Escala para milhões de usuários online concorrentes Visão imediata – análise em tempo real Logs da Web já não processados off-line em lotes Correlação através dos web farms e aplicações

15 StreamInsight Varejo (Online e Tradicional) Cenário: Cupons de Desconto em Tempo Real Oferece cupons mais relevantes / atraentes Correlação da transação de venda corrente com o histórico de compras do cliente Vantagens do StreamInsight: Acompanhamento da cesta atual como um fluxo em tempo real Uso do StreamInsight lookup pattern para correlacionar a cesta de compras atual cesta com histórico de compras Facilmente escalável para o varejo na internet com milhões de sessões concorrentes

16 StreamInsight Conceitos Eventos Tipos de eventos Fluxos de eventos (Event Streams) Adapters Processamento e Análise

17 StreamInsight Eventos Unidade básica de informação processada pelo engine do StreamInsight O Header define o tipo do evento (INSERT e CTI current time increment) e expõe diferentes características temporais Point-in-time Intervalo com duração fixa Intervalo com duração inicialmente desconhecida (Edge) Payload representa a estrutura de dados que armazena as propriedades do evento

18 StreamInsight Modelos de Eventos Point-in-time Exemplos: Leituras de medidor, clique do usuário na Web ou uma entrada no Windows Event Log. Eventos de intervalo com duração fixa Exemplos: validade de uma oferta de leilão, ou preço de uma oferta de ação, etc. Eventos de intervalo com duração inicialmente desconhecida Exemplos: eventos de trace, sessão Web do usuário, etc. Event KindStart TimeEnd TimePayload (Consumption) INSERT :13: :13: t100 Event KindStart TimeEnd TimePayload (Power Consumption) INSERT :13: :14: Event KindEdge TypeStart TimeEnd TimePayload INSERTStartt0∞a INSERTEndt0t1a INSERTStartt1∞b INSERTEndt1t3b INSERTStartt3∞c … and so on

19 StreamInsight Tipo de Evento Eventos na plataforma CEP da Microsoft usam tipos de dados.NET Eventos são estruturados e podem ter vários campos O CEP engine captura as características temporais do evento através dos campos de timestamp fornecidos Fontes de eventos populam campos timestamp Timestamps/ Metadata Long pumpID String Type String Location Double flow Double pressure ………………

20 StreamInsight Fluxo de Eventos É uma sequência possivelmente infinita de acontecimentos Inserções de novos eventos Alterações na duração dos eventos Características de um fluxo de eventos: Padrões de chegada de dados do evento Taxa estável com indicação de fim-de-sequência Intermitente, aleatório ou em rajadas Eventos fora de ordem: ordem de chegada dos acontecimentos não coincide com a ordem dos timestamps da aplicação

21 StreamInsight Adapters Adapters traduzem, recebem e entregam fluxos de eventos que chegam e que saem do servidor StreamInsight Adapters são implementados em linguagem gerenciada.NET e são armazenadas como assemblies Na versão atual, StreamInsight suporta apenas C# como host language Entende/ traduz protocolos de domínios específicos Recebe eventos de fontes de dados Enfileira eventos para processamento no engine do StreamInsight Adapters de entrada (Input) Adapters de saída (Output)

22 StreamInsight Processamento e análise de eventos O processamento de eventos é organizado em queries baseadas numa lógica definida Query templates (modelos) São escritas em LINQ combinado com a linguagem C# Define a lógica do negócio Query Instances Query template vinculado a adapters específicos de entrada e saída registram uma instância da query no servidor StreamInsight

23 StreamInsight Query binding Vinculação a uma fonte de dado gera uma instância de consulta Configurar várias instâncias de consulta para um template Semelhante a independência de dados: a mesma consulta pode ser vinculada a diferentes fontes de dados que disponibilizem o tipo de evento requerido Data Sources Analytics & Queries QT1 CEP Engine Output Adapters Input Adapters Event Standing Queries Event AT2 AT1 Q1 Q1’ AT3 Q1’’

24 StreamInsight Queries - Funcionalidades

25 StreamInsight Exemplos de queries em LINQ GROUP&APPLY, WINDOW: from e3 in MyStream3 group e3 by e3.i into SubStream from win in SubStream.HoppingWindow( FiveMinutes,ThreeSeconds) select new { i = SubStream.Key, a = win.Avg(e => e.f) }; GROUP&APPLY, WINDOW: from e3 in MyStream3 group e3 by e3.i into SubStream from win in SubStream.HoppingWindow( FiveMinutes,ThreeSeconds) select new { i = SubStream.Key, a = win.Avg(e => e.f) }; JOIN, PROJECT, FILTER: from e1 in MyStream1 join e2 in MyStream2 on e1.ID equals e2.ID where e1.f2 == “foo” select new { e1.f1, e2.f4 }; JOIN, PROJECT, FILTER: from e1 in MyStream1 join e2 in MyStream2 on e1.ID equals e2.ID where e1.f2 == “foo” select new { e1.f1, e2.f4 }; Join Filter Project Grouping Window Project & Aggregate

26 Gerenciamento de Dados em Tempo Real

27 Cenário da Demo: Market Monitor Asset Class TickerExchangeSUM Volume SUM Bid SUM Ask StockMSFTNASDAQ100 StockIBMNASDAQ200 Push Pull StreamInsight Output Adapters Input Adapters Dados fictícios simulados

28 Cenário da Demo: Market Monitor Asset Class TickerExchangeSUM Volume SUM Bid SUM Ask StockMSFTNASDAQ100 StockIBMNASDAQ200 StreamInsight Output Adapters Input Adapters Dados fictícios simulados

29 Cenário da Demo: Market Monitor Asset Class TickerExchangeSUM Volume SUM Bid SUM Ask StockMSFTNASDAQ100 StockIBMNASDAQ200 StreamInsight Output Adapters Input Adapters Dados fictícios simulados

30 Cenário da Demo: Market Monitor Asset Class TickerExchangeSUM Volume SUM Bid SUM Ask StockMSFTNASDAQ100 StockIBMNASDAQ200 StreamInsight Output Adapters Input Adapters Dados fictícios simulados

31 Cenário da Demo: Market Monitor Asset Class TickerExchangeSUM Volume SUM Bid SUM Ask StockMSFTNASDAQ100 StockIBMNASDAQ200 StreamInsight Output Adapters Input Adapters Dados fictícios simulados

32 StreamInsight Deployment Data Sources Aggregation & Correlation Stream- Insight CEP for lightweight processing and filtering CEP for aggregation and correlation of in-flight events CEP for complex analytics including historical data Os engines de processamento de eventos são implantados em vários lugares em diferentes escalas Edge – perto da fonte de dados. Mid-tier – fontes de dados relacionadas. Data center – arquivamento histórico, mining, correlação em grande escala. Devices Sensors Web servers Feeds Stream- Insight Complex Analytics & Mining Stream- Insight

33 StreamInsight Deployment Hosted DLL Deployment StreamInsight está disponível como um conjunto de DLLs StreamInsight pode ser embutido nas aplicações Overhead baixo Facilita implantações perto da fonte de dados Stand-alone Server Deployment Roda o engine como um serviço do Windows Aplicações podem compartilhar sequências de eventos de entrada Adequado para implantações mais centralizadas

34 StreamInsight Cenários de Deployment StreamInsight Engine Reference data Custom Application Cenário 1 Cenário 2 ISV Application with StreamInsight Engine StreamInsight Engine Reference data Cenário 4 ETL Pipeline with CEP engine StreamInsight Engine CEP KPIs KPI mining Cenário 3 Device with Embedded StreamInsight StreamInsight Engine.NET, C#, LINQ

35 StreamInsight SQL Server 2008 R2 Capacidades por Edição StreamInsight Premium Taxa de eventos > 5000 eventos/seg & latência < 5 segs Direcionada para implantações de missão crítica em data centers StreamInsight Standard Taxa de eventos 5 segs Direcionada para implantações do tipo Edge ou StreamInsight embutida em aplicações ** a medição pode variar dependendo do tipo de processamento ** Edições Microsoft StreamInsightMicrosoft SQL Server 2008 R2 StandardStandardEnterprise PremiumDatacenter

36 StreamInsight Conclusão Aplicações orientadas a eventos complementam as aplicações tradicionais de banco de dados no mundo dos negócios de hoje StreamInsight é a plataforma da Microsoft para construir aplicações orientadas a eventos StreamInsight oferece capacidades para processamento de eventos em diferentes áreas e indústrias StreamInsight licenciado com o Microsoft SQL Server 2008 R2

37

38 Conteúdo relacionado

39 Conteúdo relacionado StreamInsight main page & download event.aspx event.aspx StreamInsight blog StreamInsight MSDN documentation StreamInsight E-clinics on Microsoft e-learning

© 2008 Microsoft Corporation. Todos os direitos reservados. Microsoft, Windows, Windows Vista e outros nomes de produtos s ã o ou podem ser marcas registradas e/ou marcas comerciais nos EUA e/ou outros pa í ses. Este documento é meramente informativo e representa a vis ã o atual da Microsoft Corporation a partir da data desta apresenta çã o. Como a Microsoft deve atender a condi çõ es de mercado em constante altera çã o, este documento n ã o deve ser interpretado como um compromisso por parte da Microsoft, e a Microsoft n ã o pode garantir a precis ã o de qualquer informa çã o fornecida ap ó s a data desta apresenta çã o. A MICROSOFT N Ã O D Á QUALQUER GARANTIA, SEJA ELA EXPRESSA, IMPL Í CITA OU ESTATUT Á RIA, REFERENTE À S INFORMA ÇÕ ES DESTA APRESENTA ÇÃ O.

Por favor preencha a avaliação