Integração de Dados Web e Warehouse Aluno:Bruno Correia – bcs2 Data grid.

Apresentação em tema: "Integração de Dados Web e Warehouse Aluno:Bruno Correia – bcs2 Data grid."— Transcrição da apresentação:

1 Integração de Dados Web e Warehouse Aluno:Bruno Correia – bcs2 Data grid

2 Introdução e Origem – Metáfora: Power grids -> grids. Poder Computacional. – Computação em Grid: É uma forma de computação distribuída. Visa compartilha poder computacional, armazenamento e acesso de informações.

3 Data grid Introdução e Origem – Surgiu com a necessidade das aplicações cientificas (áreas da física e biologia molecular). Simulação populacional. Estudos de proteínas. Modelagem climática. – Seu objetivo é tratar uma grande quantidade de informações em simulações ou experimentos.

4 Data grid Introdução e Origem – Necessidade de resolução rápida de problemas com grande quantidade de dados. – Área de HPC (High Performance Computer). – Avanço de softwares e hardwares permite a possibilidade de almejar objetivos maiores.

5 Data grid Conceitos – Grid Computacional (do inglês Grid Computing) é um modelo computacional capaz de processar uma alta taxa de processamento divididos em diversas máquinas, podendo ser em rede local ou rede de longa distância, que em conjunto formam uma máquina virtual que está alocada em uma ou várias tarefas.

6 Data grid Conceitos – Data grid se baseia na tecnologia de grid computacional mas não é necessário ser um. – Data grid é uma plataforma para “comunidades científicas” que necessitam acessar, transferir, compartilhar, processar e gerenciar grandes quantidades de dados distribuídos geograficamente.

7 Data grid Pontos de estudo: – Proliferação de dados Como a aplicação distribui os dados. – Distribuição geográfica Como é distribuido a informação geograficamente. – Gerenciamento de réplicas Cópias de um único dado em outras fonte. – Autonomia das fontes Controle dos recursos das fontes, políticas de acesso.

8 Data grid Pontos de estudo: – Recursos limitados Alocação de atividades para ponto com pouca recursividade. – Paralelização Problemas de paralelização no gerenciamento da informação. – Imagem atrasada Dados que teoricamente estaria em outra fonte já foi modificado.

9 Data grid Topologia e Arquitetura – Hierárquica tem uma fonte central de dados, os quais devem ser distribuídos através de colaboração pela rede. – Federacional esta topologia prevalece em Data Grids criados que querem compartilhar informações presentes em bases de dados já existentes. – Híbrida esta topologia combina as topologias explicadas anteriormente, de modo a adaptar os modelos de acordo com as características específicas do Grid.

10 Data grid Topologia e Arquitetura – Hierárquica

11 Data grid Topologia e Arquitetura – Federacional

12 Data grid Topologia e Arquitetura – Híbrida

13 Data grid Cyberinfrastructure – Se trata da tecnologia de informação (de suporte a aplicação), que o sistema precisa oferecer para dar ao usuário uma infra-estrutura. Alguns desses itens: virtualidade, compartilhamento de recursos e colaboração das fontes.

14 Data grid Ferramentas – Criação de softwares que estejam utilizando a ontologia e o data grid de maneira eficiente. – Esses precisam ser especializados na área, permitindo o usuário manipulação profunda do gerenciamento e análise dos dados para que faça justiça a co-colaboração dos dados.

15 Data grid Informações (data) – Confiança no usuário do data grid é necessária. – O compartilhamento de informações não (deveria ser) são reguladas. – Qualquer tipo de mídia pode trafegar e também pode ser manipulada.

16 Data grid Integração de dados – Além de lidar com quantidade imensa de dados é preciso conseguir distribuir entre os bancos de dados contando com a heterogeneidade dos dados. – A consulta pode precisar da junção de vários bancos de dados relacionais diferentes, nas ontologias, nas ordenação e agregação no resultado das consultas ou nas formas de coleções de informações extraídas de ficheiros de imagem ou outro tipo de arquivos.

17 Data grid Integração de dados – Capacidade de navegar sobre os vários esquemas de dados (incluir aqui características OLAP) de maneira flexível, escalável e poderosa.

18 Data grid Ontologia – Todos as fontes precisam conhecer no mínimo uma ontologia (Complexidade e integridade)

19 Data grid Colaboração entre fontes – Precisa do auxilio da Infra-estrutura para dessa rede para promover a colaboração entre todas as fontes de dados – Problemas de grande escala, escalabilidade e aplicações que possam utilizar esses dados e suas heterogeneidades

20 Data grid Fatores relacionados ao Gerenciamento de Dados: – Meta-dados Como, quando e por quem um conjunto particular de dados foi coletado, e como os dado se encontram formatados. Estes dados são gerenciados por um serviço de gerenciamento de meta- dados, através de catálogos contendo nomes e localizações de arquivos replicados, históricos de erros e padrões de busca dos dados e ainda informações sobre a configuração do Data Grid: estado da rede, switches, clusters, nós e softwares.

21 Data grid Fatores relacionados ao Gerenciamento de Dados: – Acesso aos Dados Heterogeneidade dos repositórios é um dos grandes problemas. Por isso criar um identificador ou algum tipo de processo que catalogue, facilita na hora de trazer para o grid um único dado, sem repetições. A maneira de acessar os dados é transparente para os aplicativos que usam o Data Grid.

22 Data grid Fatores relacionados ao Gerenciamento de Dados: – Segurança Garante segurança nas transações efetuadas nos Data Grid. Estratégias de replicação síncrona. Nível de acesso dos dados.

23 Data grid Fatores relacionados ao Gerenciamento de Dados: – Replicação Estratégia na qual arquivos idênticos são disponíveis em vários locais diferentes do ambiente Data Grid, pensando em tempo de resposta menor. Tolerância a falhas, disponibilidade de dados e meta- dados.

24 Data grid Fatores relacionados ao Gerenciamento de Dados: – Replicação Problema de copiar os dados entre as fontes – Velocidade e esquemas de bancos.

25 Data grid Fatores relacionados ao Gerenciamento de Dados: – Otimização da busca A busca pode ser otimizada ao se escolher uma cópia que minimize o tempo de acesso ao dado. Maneiras de mostrar a busca. Sobrecarregamento do servidor. Largura de banda, distância e tráfego no Grid.

26 Data grid Projetos – Biomedical informatics Research Network ( BIRN ) is a geographically distributed virtual community of shared resources offering tremendous potential to advance the diagnosis and treatment of disease. hosts a collaborative environment rich with tools that permit uniform access to hundreds of researchers, enabling cooperation on multi-institutional investigations. synchronizes developments in wide area networking, multiple data sources, and distributed computing.

27 Data grid Projetos – Oracle and Tangosol Tangosol provides a proven reliable in-memory data grid technology designed to meet the new demands for real-time data analytics, compute intensive middleware and high performance transactions—often referred to as Extreme Transaction Processing (XTP). Coupled with Oracle Fusion Middleware, Oracle TimesTen, and Oracle Database, the combination will create the first integrated platform that enables extreme transaction processing.

28 Data grid Projetos – GigaSpaces eXtreme Application Platform (XAP) GigaSpaces' eXtreme Application Platform is an application server built to scale that provides you a way to see your entire set of computers as one single, simple runtime environment in which both your processes and your data can reside, enabling predictable improvement of application performance while you increase the volume of data, transactions, and number of users, with no real need to rearchitect.

29 Data grid Projetos – Hazelcast (JAVA) Hazelcast is a clustering and highly scalable data distribution platform for Java share data/state among many servers (e.g. web session sharing) cache your data (distributed cache). cluster your application. partition your in-memory data. distribute workload onto many servers. take advantage of parallel processing. provide fail-safe data management.

30 Data grid Estado da Arte – Já há programas e máquinas que ofereçam suporte sustentável. – Já existe um nicho de mercado para a área de data grid.

31 Data grid Referências – http://gilda-forge.ct.infn.it/frs/?group_id=6, GridOur http://gilda-forge.ct.infn.it/frs/?group_id=6 – http://eu-datagrid.web.cern.ch/eu-datagrid/ http://eu-datagrid.web.cern.ch/eu-datagrid/ – http://www.infn.it/indexen.php http://www.infn.it/indexen.php – https://gilda.ct.infn.it/video.html https://gilda.ct.infn.it/video.html – http://www.bioinfogrid.eu/ http://www.bioinfogrid.eu/ – http://grid.infn.it/modules/IG_history/ http://grid.infn.it/modules/IG_history/ – http://grid2win.gilda- forge.ct.infn.it/onlineDocumentation/ http://grid2win.gilda- forge.ct.infn.it/onlineDocumentation/

32 Data grid – www.nbirn.net www.nbirn.net – http://www.oracle.com/tangosol/index.html http://www.oracle.com/tangosol/index.html – http://www.gigaspaces.com/xap http://www.gigaspaces.com/xap – http://www.hazelcast.com/ http://www.hazelcast.com/