Jornadas de computação científica

Apresentação em tema: "Jornadas de computação científica"— Transcrição da apresentação:

1 Jornadas de computação científica
Navigator Desde 2015 em reinstalação (Lustre, CentOS, bibliotecas, compiladores) 24 cores por nó 96 GB por nó 164 nós 3936 cores 15,7 TB FDR infiniband 2:1 Lustre /home +/scratch 220 TB Jornadas de computação científica

2 Jornadas de computação científica
Em fase final de concurso Cluster 40 cores por nó high-memory nodes com 384 GB 4 nós com 2 GPUs V100 NVIDIA 1 nó SMP (4 sockets) com 3 TB de memória Discos locais SSD Infiniband EDR (100 Gb/s) non-blocking Sistema de armazenamento de alto desempenho - Lustre 1,2 PB úteis expansíveis 18 GB/s IOR MetaData Servers redundantes 8 interfaces externos EDR (4 OSS+ 2x2 MDS) Software de gestão Aplicações pós-processamento Aplicações especiais (ISV…) Metagenómica e Genómica Dinâmica molecular e aplicações que possam ser aceleradas por GPUs Processamento direto de dados Novos workflows – uso de containers AI (testes – Tensor Flow incluído nos benchmarks) Jornadas de computação científica

3 Jornadas de computação científica
“Tape library” para backups persistentes Recursos humanos e formação Recrutamento e formação de recursos humanos qualificados Usar o conhecimento dos atores internacionais relevantes: PRACE, vendedores quando apropriado ERASMUS+ Integração do Navigator na rede PRACE Colaboração com outras infraestruturas do Roteiro Nacional BIN GenomePT Engage/SKA (projeto AENEAS) Colaborações com empresas (Digital Hub da região Centro) Projeto piloto a começar brevemente Jornadas de computação científica

4 Jornadas de computação científica
Jornadas de computação científica

5 Jornadas de computação científica
Jornadas de computação científica

6 Laboratory for Advanced Computing (LCA) Mission
Supply HPC services to scientists and companies Generic and specialized supercomputing services Post-processing, storage Industry 4.0 Training and dissemination Support advanced computer courses (libraries/languages and algorithms) Parallelization and HPC open source software workshops Dissemination and collaboration in promoting of HPC – ex. Jornadas de computação científica

7 Jornadas de computação científica
Activities (Mlipeia) 7 nacional calls for CPU time projects, 20 M core-hours. PI’s from 8 Universities, 3 Associated Laboratories, 1 State Laboratory. Material Science, QCD, CFD, Molecular Dynamics, Astrophysics, Cosmology,etc. Public access rules Users training HPC workshops (Navigator) 26 M core-hours New: fire propagation simulations (report submitted by ADAI to the government) Jornadas de computação científica

8 International connections
PRACE (Partnership for Advanced Computing in Europe) founding member Participation in PRACE preparatory and implementation european projects 1IP-5IP Partners: IST e Univ. Evora RISC - A Network for Supporting the Coordination of Supercomputing Research between Europe and Latin America Member of IDC HPC (now Hyperion) Technical Computing Advisory PaneI MoU – Berlin 2007 PRACE AISBL – Brussels 2010 Jornadas de computação científica

9 PRACE Hosting Members offering of core hours on 7 world-class machines
JUQUEEN: IBM BlueGene/Q GAUSS/FZJ Jülich, Germany NEW ENTRY 2016 SuperMUC: IBM GAUSS/LRZ Garching, Germany MareNostrum: IBM BSC, Barcelona, Spain Hazel Hen: Cray GAUSS/HLRS, Stuttgart, Germany Piz Daint: Cray XC 30 CSCS Lugano, Switzerland MARCONI: Lenovo CINECA Bologna, Italy CURIE: Bull Bullx GENCI/CEA Bruyères-le-Châtel, France

10 International connections
Navigator to be inserted in Tier-1 PRACE network 164 computing nodes 2x Xeon E5-2697v2 -> 24 cores/node ( 3936 total) 96 GB/node Interconnect infiniband FDR 56 Gbit/s 180 TB Lustre central storage Tier-0 European centres Tier-1 National centres Tier-2 Regional/University centres Jornadas de computação científica

11 E-infrastructure for HPC
2014 Type 1 scientific infrastructure included in the national roadmap of FCT Financing Collaborations with other infrastructures INCD and RCTS BIN / Viravector ENgAGE SKA GenomePortugal … Research Centers and entreprises Jornadas de computação científica

12 Jornadas de computação científica
LCA development Equipment Central storage (> 500 TB) with several storage tiers Supplementary cluster with GPU nodes and large memory nodes (post-processing, genome sequencing, GPU accelerated processing) Possibly deep learning hardware for several applications (i.e. medical imaging) Human resources Training Jornadas de computação científica

13 Jornadas de computação científica
PRACE and SKA European HPC ecosystem developments PRACE 2 Centers of Excelence European Data infrastructure (EDI) / EuroHPC for pre-exascale and exascale european systems Jornadas de computação científica

14 Jornadas de computação científica
PRACE and SKA The most recent PRACE document for EDI mentions SKA as a very important HPC use case data-intensive (not much floating point arithmetic) memory and I/O bandwidth requirements are enormous complex job scheduling Continuous operation, need data buffer Exascale processing power needed – which hardware? Jornadas de computação científica

15 Jornadas de computação científica
LCA and SKA in Portugal Hardware Colaboration with University of Evora regarding the aquisition of a new cluster Colaboration with ENgAGE SKA for new investments in HPC hardware (computing and storage) System management Collaboration for job scheduling Data processing workflows Training ? Jornadas de computação científica