Spatial Data Warehouse Por: Camilo Porto. Apresentação  Revisando esquema estrela... limitações  Spatial Data Warehouse (SDW) Um modelo conceitual Estendendo.

Apresentação em tema: "Spatial Data Warehouse Por: Camilo Porto. Apresentação  Revisando esquema estrela... limitações  Spatial Data Warehouse (SDW) Um modelo conceitual Estendendo."— Transcrição da apresentação:

1 Spatial Data Warehouse Por: Camilo Porto

2 Apresentação  Revisando esquema estrela... limitações  Spatial Data Warehouse (SDW) Um modelo conceitual Estendendo o esquema estrela  Implementação de um SDW Tipos e tabelas MapWarehouse  Avaliação de Performance  Conclusões

3 Revisando o Esquema Estrela  Entidades Tabela de fatos Dimensões Hierarquia de dimensões  Funções de Agregação Soma Média  OLAP Roll-up / Drill down Slice

4 Revisando o Esquema Estrela Vendas(quantidade, faturamento), por data, por produto e por fornecedor.

5 Limitações  Vamos descobrir as limitações do esquema estrela com um Caso de Uso. Supervisão de mortalidade de doenças nos departamentos de saúde da França (Bimonte 2005) Dados de mortalidade inclui:  Número de mortes registradas  Causa da doença  Localização da morte  Sexo do paciente  Grupos de 5-5 anos de idade

6 Limitações Deseja-se saber o total de mortes ocorridas (operador de agregação = SQL SUM())

7 Limitações  Outro Caso de Uso semelhante... A medida da tabela de fatos é um campo espacial Qual função de agregação utilizar?

8 Limitações  Campos espaciais freqüentemente estão presentes em aplicações.  São de grande utilidade no apoio ao processo de tomada de decisão  Maior facilidade de análise Enxergar resultados visualmente (mapas)

9 Limitações  Como representar campos geométricos (dimensão espacial) no esquema estrela convencional?  Como representar hierarquias espaciais?  Quais funções de Agregação utilizar em medidas espaciais? Medidas espaciais incluem, também, atributos não espaciais.

10 Exemplificando  No segundo Caso de Uso, como agregar a medida Departamento(nome, #hospitais, geometria)? Nome – não se agrega (não há semântica) #hospitais e geometria – usa-se soma e união  Dependência semântica de operadores  Uso de soma => uso de união E se for usado o operador média(#hospitais)??

11 Limitações  Faz-se necessário Modelar medidas e dimensões como entidades complexas  Vários atributos de vários tipos como uma única medida/dimensão  Dar suporte a dependência semântica de operadores e atributos  Com modelo relacional... Inviável!

12 Spatial Data Warehouse

13 Definição  Data Warehouse que utiliza dimensões, medidas e operadores espaciais  Utiliza API OLAP Espacial (SOLAP)  Oferece relatórios gerenciais espaciais para visualização em formato de mapas

14 Modelo Conceitual (Bimonte2005)  Entity Schema S =, onde a i é um atributo definido no domínio dom(a i ). S.a i é o i-ésimo atributo da entidade S. A(S) é o conjunto dos atributos a i de S = {a 1,...,a n } Exemplo dept

15 Modelo Conceitual  Entity Instance Dado um entity schema S= Entity Instance t i =, onde a i є A(S) e val(a i ) є dom(a i ) t i.a j é o valor do j-ésimo atributo da instância t i J(S) é o conjunto de tuplas t i de S. Exemplo t=

16 Modelo Conceitual  Hierarchy Schema SH h =, onde:  L={S 1,...S n } conjunto de Entity Schema (níveis)  S init é um Entity Schema (base da hierarquia)  ↑ é uma função de ordenação parcial em {L  S init } Exemplo SH : L região ={região, estado}; município ↑ região ↑ estado

17 Modelo Conceitual  Hierarchy Instance Uma instância de um Hierarchy Schema SH h = é um conjunto de tupla t i, tal que:  Se t i є J(S i ) e S i ↑ S j, então t j є J(S j ) tal que t i ↑ t j

18 Exemplo: Hierarchy Instance Paraíba Sertão Municipio 1 Municipio 2 Cariri Municipio 3 Municipio 4 Brejo Municipio 5 Municipio 6

19 Modelo Conceitual  Base Cube Schema SBC cb =, onde  i,j є [1,...,m,f], S i é um Entity Schema e S i != S j  i є [1,...,m] existe um Hierarchy Schema SH i =, tal que S i = S init  δ é função booleana

20 Exemplo – Base Cube Schema  Conjunto de Entity Schemas, onde cada um é a base de um Hierachy Schema (S init )  SBC mortality_base = < S dia, S sexo, S doencas, S dept, δ >

21 Modelo Conceitual  Base Cube Instance Dado um SBC bc =, um Base Cube Instance é um conjunto tuplas BC c = {, j=1...p}, tais que:  t i j є J(S i ), e  f m j є J(S f ), e  δ(t 1 j,...,t m j, f m j )=1 Em português, um BC c é um conjunto de Entity Instances (medidas e dimensões) cujo valor de δ é avaliado em 1. Exemplo... (ver Base Cube Schema)Base Cube Schema

22 Modelo Conceitual  Aggregation Mode É uma tupla Θ =, onde  S a é um Entity Schema  S b é um Entity Schema  Φ é um conjunto de funções de agregação (ad hoc) Φ i Semanticamente, diz-se que S b é derivado de S a, ou seja, a agregação de um conjunto de instâncias de S a gera uma instância de S b. A agregação de um conjunto de val(a i...a k ) (k>0) através de uma função Φ i irá formar val(b i )

23 Aggregation Mode  Formalmente j є [1..n], val(b j ) = Φ i..p (t i.a 1,...,t i.a k ) Onde,  t i є J(S a )  a r є A(S a ), r=[1..k].  P é o número de instâncias agregadas de S a  Com isso é possível modelar medidas como entidades complexas, desde que se defina uma função de agregação “semanticamente correta”.  Exemplo: como agregar a entidade depto ?

24 Exemplo - Aggregation Mode

25 Modelo Conceitual  Cube Schema É uma tupla SC c =, onde:  SBC cb = é um Schema Base Cube  L é um conjunto de Entity Schemas S i tal que S i є L, existe S bi є {S b1,...,S bm } tal que S bi ↑ S i ou S bi = S i, e Existe S k є L tal que S bi ↑ S k  Θ f é um Aggregation Mode  δ é uma função booleana δ : J(S b1 x... x S bm x S af → {0,1}

26 Modelo Conceitual  Cube Instance Uma instância de um Cube Schema SC c = é um conjunto de tuplas C c tal que  C c = {, j=1...p}, onde S i є L t i j є J(S i ) f m j є J(S af ), e δ(t 1 j,...,t n j, f m j ) = 1

27 Base Cube X Cube  Um Cube é um Base Cube após a aplicação da função de agregação. Por exemplo, após um roll-up ou drill- down.

28 MapWarehouse - Implementação OR de SDW (Sampaio 2006)

29 Modelo da Aplicação  Trata-se de uma aplicação para auxiliar a gestão da agricultura no estado da Paraíba.  Exibir relatórios de campos agrícolas por tempo, plantação, solo, precipitação e localização.

30 Esquema Conceitual

31 Esquema OR

32 Sobre o MapWarehouse  Mapeamento do modelo conceitual em OR  Implementado sobre o SGBD Oracle 10g  Aplicação 3-camadas Operacional Aplicação WUI  Visualização de resultados em forma de mapas

33 Sobre o MapWarehouse

34 Exemplo base  Iremos nos basear em uma possível consulta: Recupere os campos de milho por micro- região(região) e por região(micro-região) do estado da Paraíba, durante o mês de maio de 2003.

35 Realização da consulta em OR (Select a.Location_ref.Microregion_geometry, SDO_AGGR_UNION(MDSYS.SDOAGGRTYPE(a.CropArea_ref.CropArea_geometry, 0.005)) From AgroDistributionTable a Where a.Plantation_ref.Name = ‘corn’ And a.Time_ref.Month = 5 And a.Time_ref.Year = 2003 And a.Location_ref.State_name = ‘Paraíba’ Group by a.Location_ref.Microregion_geometry) UNION (Select a.Location_ref.Region_geometry, SDO_AGGR_UNION(MDSYS.SDOAGGRTYPE(a.CropArea_ref.CropArea_geometry, 0.005)) From AgroDistributionTable a Where a.Plantation_ref.Name = ‘corn’ And a.Time_ref.Month = 5 And a.Time_ref.Year = 2003 And a.Location_ref.State_name = ‘Paraíba’ Group by a.Location_ref.Region_geometry) Realização de função de Agregação Agregação por referência (restrição Oracle) Melhora performance Roll up X Drill Down

36 Resultado da consulta Roll-Up: de micro- região...

37 Resultado Roll-Up:... para Região

38 Aspectos de Desempenho

39 Problema de Desempenho  União de Geometrias = tarefa muito onerosa  Exemplo citado Paraíba  223 municípios  23 micro-regiões  4 regiões  1 estado  Supondo uma média de 50 campos de milho por município, e 30 dias por mês. Campos de milho, por mês = 50*223*30 =334.500 operações de união!

40 Formulação do Problema (5s)  Dada uma consulta espacial, quantas operações de agregação espacial são apropriadas para serem pre- computadas, de forma a atender o requisito de tempo de resposta (5s)? (Sampaio 2006)

41 Resolução do Problema  Baseado no mecanismo de agregação pre-computada de Kimball  Pré computa algumas agregações espaciais (extensão da abordagem de Kimball)  Reescreve consulta para utilizar, de forma adequada, as agregações pre- computadas

42 Exemplo: Esquema Original

43 Exemplo Tabela de fatos pré- computada. Derivada da tabela AgroDistributionTable. Note a semelhança entre os nomes dos atributos das tabelas Atributo Agregado

44 Exemplo Tabela de dimensões pré-computada. Derivada da tabela LocationTable Ausência dos atributos de municípios.

45 Exemplo: Reescrevendo a consulta (Select a.Location_ref.Microregion_geometry, SDO_AGGR_UNION(MDSYS.SDOAGGRTYPE(a.CropArea_ref.CropArea_geometry, 0.005)) From AgroDistributionTable a Where a.Plantation_ref.Name = ‘corn’ And a.Time_ref.Month = 5 And a.Time_ref.Year = 2003 And a.Location_ref.State_name = ‘Paraíba’ Group by a.Location_ref.Microregion_geometry) UNION (Select a.Location_ref.Region_geometry, SDO_AGGR_UNION(MDSYS.SDOAGGRTYPE(a.CropArea_ref.CropArea_geometry, 0.005)) From AgroDistributionTable a Where a.Plantation_ref.Name = ‘corn’ And a.Time_ref.Month = 5 And a.Time_ref.Year = 2003 And a.Location_ref.State_name = ‘Paraíba’ Group by a.Location_ref.Region_geometry)

46 Exemplo: Consulta Reescrita (Select a.Location_ref.Microregion_geometry, SDO_AGGR_UNION(MDSYS.SDOAGGRTYPE(a.CropArea_ref.CropArea_geometry, 0.005)) From MicroregionAgroDistributionTable a Where a.Plantation_ref.Name = ‘corn’ And a.Time_ref.Month = 5 And a.Time_ref.Year = 2003 And a.Location_ref.State_name = ‘Paraíba’ Group by a.Location_ref.Microregion_geometry) UNION (Select a.Location_ref.Region_geometry, SDO_AGGR_UNION(MDSYS.SDOAGGRTYPE(a.CropArea_ref.CropArea_geometry, 0.005)) From MicroregionAgroDistributionTable a Where a.Plantation_ref.Name = ‘corn’ And a.Time_ref.Month = 5 And a.Time_ref.Year = 2003 And a.Location_ref.State_name = ‘Paraíba’ Group by a.Location_ref.Region_geometry)

47 Avaliação de Desempenho  Algoritmo simples, desde que se preserve os nomes dos atributos das tabelas originais  Ganho considerável de desempenho

48 Avaliação de Desempenho Tempo gasto pela consulta (não) utilizando Spatial Logical Optimization (SLO) Consulta por nº de meses, por ano (série de 1999-2005)

49 Avaliação de Desempenho Speed up: (tempo gasto ~SLO / tempo gasto SLO)

50 Conclusão  Inserir medidas e dimensões espaciais em DW requer uma nova modelagem do DW (hierarquias espaciais, medidas espaciais, dimensões espaciais) em níveis conceitual, lógico e físico  Repensar conceitos das operações OLAP para atender Spatial OLAP (SOLAP).

51 Referências  Bimonte, S., Tchounikine, A., Miquel, M. Towards a Spatial Multidimensional Model. Proceedings of the Data Warehousing and OLAP Conference (DOLAP’05), 39-46.  Sampaio, M.C., Baptista, C.B., Souza, A.G. Towards a Logical Multidimensional Model for Spatial Data. Proceedings of The Data Warehousing and OLAP Conference (DOLAP’06)

52 Spatial Data Warehouse Obrigado