Consulta a fluxo continuo de dados (“data streaming”)

Apresentação em tema: "Consulta a fluxo continuo de dados (“data streaming”)"— Transcrição da apresentação:

1 Consulta a fluxo continuo de dados (“data streaming”)
Banco de Dados Celso Brennand Saulo de Tarso 2006

2 Roteiro Introdução Redes de Sensores Sem Fio Sensor Stream
In-network Storage In-network Aggregation Alternativas para o processamento de consultas em RSSF Acesso Cougar Acesso Fjord Acesso TAG Acesso TinyDB Conclusão

3 Introdução Consultar fluxos contínuos de dados O que é? Dificuldades
Como consultar?

4 Introdução Caracteristicas Data Streams
Dados chegando rapidamente, em intervalos variáveis e com fluxo ilimitado. Dados são melhores modelados como stream’s de dados transientes e não como relações persistentes. SGBD´s tradicionais não foram desenvolvidos para armazenar dados de forma contínua e rápida e não suportam consultas contínuas. Exemplos: Monitoração de redes, redes de sensores, aplicações web, etc.

5 Introdução Dificuldades Fluxo contínuo de dados.
Não existe controle da ordem de chegada de cada elemento a ser processado. Stream de dados tem tamanho ilimitado. Uma vez processado, um elemento é geralmente descartado. Consultas sobre essas stream`s precisam ser processadas quase que em tempo real.

6 Introdução Trabalhos atuais Necessidades futuras
Focam em: redes de sensores Necessidades futuras Mineração de dados on-line Pesquisa e eliminação de ruídos em dados com ruídos Manipulação de dados incompletos

7 Redes de Sensores Sem Fio
RSSFs consistem, tipicamente, em vários sensores (Sensor Stream) que coletam e comunicam, continuamente, seus dados para uma ou mais estações-base. Exemplos: trânsito segurança clima e tempo

8 Limitações das RSSFs Energia. Largura de banda.
Capacidade de processamento. Capacidade de armazenamento. Perda de pacotes . Topologia pode mudar continuamente.

9 Sensor Stream Sistemas que extraem dados dos sensores permitem que usuários observem, analisem e consultem estes dados. Eficientes em energia Escaláveis Auto-organizáveis e robustos contra falha de nós e mudanças de topologia.

10 Sensor Stream Prover armazenamento persistente e consultas como um sistema centralizado provê é difícil para uma RSSF. In-network Storage In-network Aggregation

11 In-network Storage Três formas básicas de armazenamento:
Externo: Dados enviados continuamente ao ponto de acesso - custo com transmissão. Local: Dados são armazenados no nó de origem – custo com consulta. Data Centric Storage (DCS): Um nó armazena os dados semelhantes de um conjunto de nós – custo com transmissão e com consulta amenizados.

12 In-network Aggregation
É um mecanismo para reduzir a quantidade total de energia e banda necessárias para processar uma consulta, permitindo que os nós façam agregação intermediária dos dados. Uma consulta é enviada a rede ou a uma área específica, e a resposta pode ser roteada por uma árvore onde é possível realizar a agregação de dados.

13 In-network Aggregation - Vantagens
Redução do número de pacotes enviados pela rede. Redução da probabilidade de colisão de pacotes. Redução de dados redundantes recebidos no ponto de acesso.

14 Roteamento Abordagem centrada no endereço: Abordagem centrada em dados
Encontrar rotas curtas entre pares de nós endereçáveis. Abordagem centrada em dados Encontrar rotas de múltiplos nós para um único destino que permita a agregação de dados redundantes dentro da rede.

15 Roteamento

16 Métrica de Custos Métrica tradicionais não se aplicam a streams como acesso a disco. Métricas mais apropriadas são: exatidão e atraso do uso da memória Taxa de banda consumo de energia

17 Alternativas para o processamento de consultas em RSSF
Acesso Cougar Acesso Fjord Acesso TAG Acesso TinyDB

18 Acesso Cougar As consultas envolvem dois tipos de dados: dados armazenados e os dados do sensor. As consultas possuem um tempo de validação: timestamp (tempo discreto ou tempo compartilhado). Dados são constantemente alterados (em tempo de execução das consultas). Persistência = as atualizações são feitas na ordem crescente e a álgebra usada não for modificada (seqüência das operações relacionais).

19 Acesso Cougar Utilização de tipos de dados abstratos (ADT).
Um sensor ADT é definido para todos os sensores de um mesmo tipo. As consultas são processadas em uma base de dados centralizada. Mecanismo de interação com os nós do sensor, emitindo o resultado ao front-end.

20 Acesso Cougar Utilização de uma Relação Virtual.
Uma relação virtual é uma representação tabular de um método. Sempre que existe um resultado um novo registro é adicionado à relação. Um relacional virtual é dividido através de todos os sensores do mesmo sensor ADT.

21 Acesso Fjord Permitem consultas que combine streaming de dados e dados da fonte padrão. Possuem operadores proxies do sensor (mediadores entre o processador de consultas e os sensores físicos). Proxy evita desperdício de energia e tempo. (Consultas são aceitas pelos sensores pertinentes). O proxy controla continuamente o sensor, mesmo não existindo consultas.

22 Acesso Fjord Outras funções do proxy:
Ajusta a taxa de amostra dependendo da necessidade (podendo desligar o sensor caso necessário). Refinamento da consulta (Intervalos setado ao sensor). Os fjord são os outros componentes desse tipo de acesso. Suporta combinação de streaming de dados e dados conservado no disco. Utiliza filas de pull e push. Para cada nova consulta é alocado um novo fjord.

23 Acesso TAG Oferece serviços distribuídos de agregação para redes ad hoc com uma pequena parte do TinyOS (Pequeno sistema de chamadas). Os usuários realizam suas consultas agregadas em uma basestation poderosa com recursos em abundancia. Resultados de dados na árvore de distribuição. Os nós agregam os dados produzidos localmente com os dados recebidos de outros nós.

24 Acesso TAG Árvore de Distribuição:
Periodicamente se auto-organiza, verificando se cada nó esta ajustado ao nível certo. (ajuste, ID da mensagem mais um). A comunicação entre o nó e a raiz é feita periodicamente, a fim de localizar possíveis falhas (Comunicação feita através dos pais).

25 < z >= f (< x >,< y >)
Acesso TAG O TAG implementa qualquer agregação através de três funções: f função de união. i inicializador. e avaliador. < z >= f (< x >,< y >) Onde < x > e < y > são valores parciais multivalorados do estado sobre um ou mais valores do sensor.

26 Acesso TAG A execução de uma consulta é um processo bifásico.
Uma fase de distribuição para todos os nós. Uma fase de coleta de dados, onde os filhos transmitem para seus pais. O tempo é subdividido em épocas. A vantagem principal do TAG comparada ao acesso centralizada é redução da comunicação necessária.

27 Acesso TAG O TAG também possui outros benefícios:
O TAG tolera desconexões e perda. O fato que o tempo está dividido nas épocas permite saber quando o processador é inativo.

28 Acesso TinyDB Representa o modelo mais atual de processador de consultas. É um processador de consultas distribuído, de forma a agir em cada nó independente em uma rede de sensores. Usar a habilidade de sensores espertos de controlar onde, quando e como os dados são adquiridos frequentemente a fim reduzir o consumo de potência. Possui muitas características de processadores tradicionais de consultas (seleções, projeções, junções e agregação de dados).

29 Acesso TinyDB Possui uma tabela “sensors” com uma coluna diferente para cada sensor físico da rede. A tabela possui o ID do sensor, a posição do nó (local físico), a época de amostrageme a leitura. A arquitetura básica: As consultas são submetidas a basestation. A consulta é otimizada. Cada nó contem Metadados associado a seus atributos, eventos e predicados definidos pelo usuário.

30 Acesso TinyDB TinyDB adota a execução das agregações através de três funções que inicializam, fundem e atualizam o valor final de registros parciais. Cada nó emite periodicamente uma cópia de seu próprio catálogo ao basestation onde é usado pelo otimizador. O TinyDB tem suporte a consultas baseadas em eventos.

31 Acesso TinyDB Os nós pais verificam se os nós filhos são capazes de realizar a consulta, a fim de evitar desperdício de energia. O tempo também é subdividido em épocas. Os nós dormem a maioria das épocas, acordando quando necessário. TinyDB estende o acesso TAG. A cada nova consulta apenas os nós que possuem dados úteis são alocados.

32 Conclusões Formas mais acessíveis aos fluxo contínuo de dados foram demonstrados. Vários problemas e limitações das redes de sensores foram levantados e enfatizados, como também no seus processamentos de consultas. Foi dado uma visão geral da pesquisa em armazenamento e consulta de dados em redes de sensores e em streams.

33 Referência State of the Art and Future Directions in Wireless Sensor Network’s Data Management Project: Management of Data in Wireless Sensor Networks (MaD-WiSe) G. Amato, A. Caruso, S. Chessa, V. Masi and A. Urpi. Fjording the Stream: An Architecture for Queries over Streaming Sensor Data Samuel Madden and Michael J. Franklin. TAG: a Tiny AGgregation Service for Ad-Hoc Sensor Networks Samuel Madden, Michael J.Franklin, and Joseph M. Hellerstein Wei Hong, 5th Annual Symposium on Operating Systems Design and Implementation (OSDI). December, 2002. Processamento de Consultas para Fluxo Contínios de Dados: Perkusich, M. L. et al, VII SBAI/ II IEEE LARS. São Luís. Setember, 2002.