Projeto SegHidro: Visão, Resultados e Perspectivas

Apresentação em tema: "Projeto SegHidro: Visão, Resultados e Perspectivas"— Transcrição da apresentação:

1 Projeto SegHidro: Visão, Resultados e Perspectivas
Walfredo Cirne Francisco Brasileiro Eliane Araújo Enio Souza Carlos Galvão Universidade Federal de Campina Grande

2 Contextualização A gestão de recursos hídricos é multidisciplinar e requer especialistas de diversas áreas meteorologistas, hidrólogos, agrônomos, economistas, ... Grupos se beneficiariam muito de ter acesso aos dados uns dos outros, tanto em pesquisa, quando em produção Computação de alto desempenho é demandada por modelos de simulação e otimização e para caracterizar risco e incerteza Há membros da rede de cooperação carentes de recursos computacionais

3 A Visão SegHidro Qualquer grupo trabalhando em gestão de recursos hídricos (seja produção ou pesquisa) deveria ter acesso (de forma simples e rápida) aos dados públicos de qualquer outro grupo trabalhando na área Note que o compartilhamento de dados implica no compartilhamento da expertise do gerador do dado Nenhum procedimento ou estudo deveria deixar de ser feito (ou reduzido em escopo) devido a falta de poder computacional

4 O Projeto SegHidro Implantar uma grade computacional que forneça infra-estrutura para computação de alto desempenho e compartilhamento de dados e expertise Desenvolver aplicações sobre esta grade computacional que efetivamente demonstrem a utilidade da infra-estrutura Fundamental para quebrar a inércia da adoção de uma nova tecnologia, iniciando assim o circulo virtuoso de expansão-e-uso

5 Participantes do Projeto
UFCG: Informática, Meteorologia e Recursos Hídricos INPE/CPTEC: Centro de Previsão de Tempo e Estudos Climáticos FUNCEME: Fundação Cearense de Meteorologia e Recursos Hídricos ITEP/LAMEPE: Lab. de Meteorologia de Pernambuco Embrapa: Informática Agropecuária e Tabuleiros Costeiros AAGISA, SEMARH  AESA: Agência de Águas da Paraíba SAIA/EMATER: Empresa de Extensão Rural da Paraíba Hewlett Packard

6 Infra-estrutura do Projeto
Computadores adquiridos pelo projeto SegHidro para o desenvolvimento do software 12 desktops e 2 notebooks Computadores e clusters adquiridos no projeto COPAD (CT-Infra Laboratórios Multiusuários) 2 clusters com 20 processadores cada – UFCG Meteor. e AESA-PB 40 desktops dispersos geograficamente em grade Infra-estrutura da comunidade OurGrid 300 processadores O sistema operacional é o LINUX Todo software desenvolvido é de código aberto, assim como toda a plataforma utilizada (Linux, OPeNDAP e OurGrid)

7 Metas: Infra-estrutura de grade
Implantar o OurGrid como infra-estrutura de computação de alto desempenho para os participantes do projeto Implantar a tecnologia OPeNDAP como mecanismo de compartilhamento de dados Refinar e adaptar OurGrid e OPeNDAP para melhor servir a comunidade SegHidro Suporte a clusters com MPI como unidade de processamento Estas tecnologias encontram-se no estado-da-arte da tecnologia de grades

8 Compartilhamento de recursos computacionais: o OurGrid
É uma solução grid para execução de Aplicações Bag-of-Tasks (tarefas paralelas e independentes) Uma tarefa pode ser ela mesma uma aplicação paralela Um peer (ou site) é um domínio administrativo dentro da grade Peers são completamente autônomos e independentes A grade é uma federação Jobs locais sempre têm prioridade sobre jobs remotos Jobs remotos são priorizados por reciprocidade

9 Arquitetura OurGrid , ... , Gerente do Site Rede de Favores
Interface com Usuário Escalonamento 1 , ... , n SWAN SWAN MyGrid Sandboxing

10 Gerente do Site Rede de Favores
Um Portal no OurGrid Interface com Usuário Gerente do Site Rede de Favores Escalonamento 1 , ... , n SWAN SWAN Portal MyGrid Sandboxing

11 A questão da segurança na grade [1]
Os recursos são protegidos através da utilização de tecnologia de sandboxing. Nossa implemntação chamada de SWAN (Sandbox Without A Name) se baseia no uso da máquina virtual Xen. SWAN garante segurança à máquina hospedeira da computação. Extensões de SWAN permitem o acesso a um serviço seguro de armazenamento de dados compartilhado e à criação de uma rede de comunicação privada para as tarefas de uma aplicação particular, mesmo quando essas executam em domínios administrativos distintos.

12 A questão da segurança na grade [2]
Em relação à segurança da aplicação, ou seja, a confiabilidade do processamento executado e a privacidade dos dados de entrada e saída, o OurGrid deixa isso a cargo da aplicação. No caso do SegHidro, os dados processados são públicos e a questão de provacidade não é relevante. Em relação à confiabilidade da execução, técnicas de marca-d’água podem ser facilmente utilizadas.

13 Interoperabilidade do OurGrid com outros sistemas
Estamos trabalhando na definição de um modelo de interoperabilidade do OurGrid com outros softwares de grid estabelecidos, como o Globus e o gLite. A continuidade desta ação ainda dependente de novos recursos financeiros.

14 Compartilhamento de dados: OPeNDAP
Provê facilidade na interoperabilidade de dados Dados matriciais disponíveis através de servidores As consultas à estes dados permitem extrair uma fatia dos dados Dados desnecessários não são transmitidos Grande diferencial para aplicações de ciências ambientais O usuário não precisa se preocupar com o formato no qual está armazenado os dados Mas precisa se preocupar com a semântica dos dados!!! Detalhes e servidores em

15 Arquitetura OPeNDAP

16 Dados compartilhados Os dados produzidos pelo SegHidro
uma nova simulação não precisa ser re-executada se o resultado já existe As previsões de tempo e clima produzidas pelos centros operacionais Dados de monitoramento ambiental produzidos pelas agências governamentais Úteis para validação, análise comparativa, etc

17 Metas: Aplicações [1] Modelos Atmosféricos Regionais
Disponibilização de dados do modelo global do CPTEC Adaptação de dois modelos regionais às condições de contorno do modelo global Disponibilização de resultados de um terceiro modelo regional Ampliação, de 6 para 15 dias, da simulação de um modelo atmosférico regional Aumento da resolução, para 20 e 5 km, de um modelo atmosférico regional Gestão de Reservatórios Adaptação de dois modelos hidrológicos Desenvolvimento de um modelos de simulação de reservatórios

18 Metas: Aplicações [2] Gestão de Aqüíferos Aluviais
Adaptação de um modelo hidrogeológico Desenvolvimento de um modelo de recarga do aqüífero Planejamento Agrícola Disponibilização de resultados de modelos atmosféricos ao Agritempo Desenvolvimento de um modelo de balanço hídrico agrícola Portal e toolkit para execução das aplicações Viabilizam o cadastro, compartilhamento e acoplamento de modelos através da execução de workflows Permitem a análise de vários cenários em paralelo de forma eficiente

19 Modelos atmosféricos globais e regionais
Regionais: área limitada, resolução de km Globais: todo o planeta, resolução de km

20 Modelos atmosféricos regionais e refinamento da resolução
Global Regional Regional

21 Modelagem atmosférica nos centros estaduais de meteorologia
Desafio Disponibilizar as previsões aos usuários finais (hidrólogos, agrônomos, gestores, …) Dificuldades Acesso limitado aos resultados dos modelos globais, que rodam nos grandes centros de previsão climática Acesso limitado aos modelos regionais e a recursos computacionais para executá-los Conhecimento limitado sobre os próprios modelos atmosféricos e os formatos de saída de dados, de modo a poder analisá-los e convertê-los aos formatos de entrada dos modelos hidrológicos e de gestão Integração entre meteorologistas, hidrólogos e gestores para trabalhar em conjunto

22 A solução SegHidro: Execução de cascata de modelos
no Super: CPTEC e outros centros na Grade - Formatos de troca de dados

23 Execução de cascata de modelos no SegHidro
O SegHidro automaticamente traz as previsões e condições de contorno do modelo global, que roda em supercomputador Modelo Atm. Global

24 Execução de cascata de modelos no SegHidro
Modelo Atm. Global Modelo Atm. Regional Previsões dos modelos globais são melhoradas usando modelos regionais, que podem ser executados por outras instituições (pequenos centros de previsão), através da grade computacional.

25 Conjunto de previsões de chuva Conjunto de previsões de chuva
Execução de cascata de modelos no SegHidro Modelo Atm. Global Conjunto de previsões de chuva Modelo Atm. Regional Conjunto de previsões de chuva Previsões de chuva tornam-se acessíveis aos outros modelos na cascata

26 Execução de cascata de modelos no SegHidro
Modelo Atm. Global Conjunto de previsões de chuva Modelo Atm. Regional Conjunto de previsões de chuva Modelos hidrológicos, agrícolas e de gestão Previsões integradas As previsões integradas podem ser avaliadas colaborativamente pelos especialistas, usuários e tomadores de decisão

27 Acoplamento: troca de dados e interoperabilidade entre modelos
Arquivo texto PMH Modelo Hidrológico Arquivo texto PHR Modelo de Reservatório Volumes futuros

28 Mantendo simplicidade: Interfaces entre os modelos
Lat Lon Altitude Data Hora Precip Temp :00: :00: :00: :00: :00: PMH Data Vazão (m3/s) 01/01/ 01/01/1963 9,000 02/01/1963 0,000 03/01/ ,580 04/01/1963 0,000 05/01/1963 0,000 06/01/1963 0,000 PHR

29 Usando SegHidro Como fornecer uma forma simples de usar SegHidro, e ao mesmo tempo dar total liberdade para seu uso? Provendo duas formas de se usar o SegHidro!!! O Portal SegHidro fornece acesso Web, sendo muito simples de usar Ideal para quem faz tarefas rotineiras no SegHidro O Toolkit SegHidro oferece acesso programável Ideal para quem está fazendo pesquisa ou quer automatizar a execução de aplicações

30 Portal SegHidro http://portalseghidro.dca.ufcg.edu.br/
Execução de fluxo dos modelos Anotação dos resultados Permite o upload/cadastro de modelos Baseado no Jetspeed O principal produto do SegHidro, é o Portal. É a forma mais geral e prática de utilizar-se dos recursos desenvolvidos no projeto. Modelos atmosféricos, hidrolégicos, de reservatórios. O usuário pode cadastrar seus próprios modelos, esses modelos esse esquema de execução permite que o fluxo de dados seja melhor aproveitado, com os modelos interagindo diretamente entre si. Fluxo de execução contínua

31 Portal SegHidro

32 Execuções de Produção

33 Criando um Fluxo de Modelos

34 SegHidro Toolkit Certos usuários precisam de mais flexibilidade do que o portal oferece O Toolkit SegHidro fornece acesso a todas as abstrações SegHidro via comando de linha, no Linux Scripts para automação de tarefas complexas podem ser facilmente criados Suporte ágil à pesquisa e a usuários avançados fecha o ciclo de pesquisaavaliaçãoprodução, fomentando a contínua melhoria do sistema O principal produto do SegHidro, é o Portal. É a forma mais geral e prática de utilizar-se dos recursos desenvolvidos no projeto. Modelos atmosféricos, hidrolégicos, de reservatórios. O usuário pode cadastrar seus próprios modelos, esses modelos esse esquema de execução permite que o fluxo de dados seja melhor aproveitado, com os modelos interagindo diretamente entre si. Fluxo de execução contínua

35 Aplicação Agrícola: O Agritempo da EMBRAPA
Processa e gera informações meteorológicas e agrometeorológicas de todos os municípios e estados brasileiros Disponibiliza o zoneamento agrícola nacional Disponibiliza boletins agroclimatológicos e mapas temáticos Com o SegHidro, a AESA-PB e a UFCG-Meteorologia disponibilizam ao Agritempo previsões de tempo com 15 dias de antecedência O principal produto do SegHidro, é o Portal. É a forma mais geral e prática de utilizar-se dos recursos desenvolvidos no projeto. Modelos atmosféricos, hidrolégicos, de reservatórios. O usuário pode cadastrar seus próprios modelos, esses modelos esse esquema de execução permite que o fluxo de dados seja melhor aproveitado, com os modelos interagindo diretamente entre si. Fluxo de execução contínua

36 Membros da previsão meteorológica
Aplicação Agrícola: previsão de déficit hídrico Membros da previsão meteorológica

37 EMATER - PB Portal para apoio à gestão agrícola
Disponibilização de Previsões de Chuva, Temperatura, Umidade e Vento Rodadas do Modelo de Balanço Hídrico a partir da Previsão Disponibilizada

38 Gestão de Reservatórios – Açudes: previsão do volume armazenado

39 Aqüíferos Aluviais e Barragens Subterrâneas
Níveis da água no final do período seco Níveis da água nos poços Níveis da água no final do período chuvoso

40 Status do Projeto [1] Todas as metas atingidas
SegHidro está plenamente funcional, tanto na infra-estrutura, quanto nas aplicações piloto Desenvolvimento concluído em julho 2006, quando houve a reunião final do projeto Atualmente em manutenção e transferência a usuários, através de reuniões e eventos de capacitação previstos no projeto com este fim O SegHidro tem sido divulgado em vários eventos técnico-científicos nas áreas fins

41 Status do Projeto [2] Testes e homologação das tecnologias desenvolvidas O OurGrid já está em produção desde dezembro de 2004. O portal SegHidro está em produção gradual desde maio de 2005. Nosso processo de desenvolvimento de software é fortemente baseado em testes. Em 2007 iremos implementar no LSD um modelo de qualificação de software que será executado antes da liberação pública de todo software produzido no LSD, incluindo novas versões do OurGrid e, havendo continuidade, novas versões do SegHidro.

42 Disponibilização do conteúdo: A Rede SegHidro [1]
O site do projeto contém todo o software (código) desenvolvido no projeto, com livre acesso contém documentação detalhada em língua portuguesa, tanto da infra-estrutura de grade como das aplicações contém tutoriais, exemplos e dados para referência dos usuários e desenvolvedores (também no portal) é um Wiki, que permite que todos compartilhem informações

43 Disponibilização do conteúdo: A Rede SegHidro [2]
Provedores de dados CPTEC: modelos atmosféricos global e regionais UFCG Meteorologia: modelo atmosférico regional FUNCEME: modelos atmosféricos regionais AESA-PB: modelo atmosférico regional EPAGRI-SC: modelo atmosférico regional

44 Disponibilização do conteúdo: A Rede SegHidro [3]
Provedores de serviço Portal UFCG Meteorologia Portal Ifá (UFCG Recursos Hídricos) Portal AESA-PB Portal EMATER-PB Portal EPAGRI-SC

45 Impactos do Projeto [1] O SegHidro
É uma plataforma de compartilhamento de expertise, dados e poder computacional É uma alternativa ao modelo centralizado de (poucos) produtores e (vários) consumidores de informação Permite que cientistas e usuários integrem, validem e refinem os seus modelos Permite que os tomadores de decisão tenham acesso a um grande número de modelos viabilizando a simulação de múltiplos cenários Aumenta a qualidade da informação para a tomada de decisão

46 Impactos do Projeto [2] O SegHidro
Viabiliza acesso a processamento, modelos e dados aos pequenos centros operacionais e a grupos de pesquisa emergentes, realizando inclusão digital e científica Reduz a demanda por novos equipamentos, particularmente de alto desempenho (clusters) Evita a sobreposição de ações das equipes de TI dos centros operacionais na integração de modelos e dados Oferece, quando da implementação nos centros operacionais, oportunidade de atualização técnica das equipes de TI locais

47 Desafios Futuros [1] Consolidação do SegHidro em produção nos centros operacionais do Nordeste Continuidade do suporte e treinamento, de forma mais dedicada Integração efetiva com os grupos de pesquisa Desenvolvimento, no portal, de ferramentas para comunicação e colaboração entre os centros entre si, os grupos de pesquisa e o CPTEC Este desafio requer capital humano especializado nas áreas de grade e das aplicações Fundamental para que a tecnologia SegHidro sobreviva ao fim do projeto

48 Desafios Futuros [2] Adesão de novos membros à comunidade
Núcleo de Modelagem Climática e Ambiental do MCT/INPA Centro de Informações e Recursos Ambientais de SC (Ciram/EPAGRI) EMBRAPA Algodão Agência Nacional de Águas (ANA) e o Sistema Nacional de Informações em Recursos Hídricos Redes cooperativas de pesquisa, em grande parte fomentadas pelos fundos setoriais …

49 Desafios Futuros [3] Desenvolvimento de novas aplicações
Risco de desabastecimento de cisternas rurais – ABCMAC, P1MC e MDS Bioinformática – EMBRAPA Informática Agropecuária Potencial eólico – FUNCEME Previsão de níveis do rio Negro em Manaus – CPRM Simulação de redes de abastecimento de água – companhias de abastecimento de água …

50 Desafios Futuros [4] Tecnologia de Grade
Resolver a questão de consenso na terminologia dos dados Interoperabilidade com outros padrões de dados (por ex, do Sistema Nacional de Informações em Recursos Hídricos) Interoperabilidade do OurGrid com outros softwares de grade, como o Globus e o gLite Atender a novos desafios técnicos das ciências ambientais Buscador de dados OPeNDAP Busca em paralelo em vários servidores OPeNDAP

51 Executores e Parceiros
CPTEC LMRS/AESA EMATER Informática Agropecuária Tabuleiros Costeiros Financiador MCT CT-INFO