Advanced Computing Collaboratory Super Computação e Análise de Dados

Apresentação em tema: "Advanced Computing Collaboratory Super Computação e Análise de Dados"— Transcrição da apresentação:

1 Advanced Computing Collaboratory Super Computação e Análise de Dados
Deucalion Rui Oliveira Universidade do Minho & INESC TEC

2 Enquadramento Iniciativa para a criação de uma estrutura colaborativa, sustentável, de fomento e suporte à ciência aberta em super computação, gestão e análise de dados; Projeto de interesse nacional e europeu; Criação de um centro de computação e dados adequado aos requisitos nacionais e complementaridade internacional; Instalação do IBM Cognitive Computing Research and Knowledge Center.

3 Objetivos Reforço das áreas clássicas das tecnologias de informação e viabilização de domínios emergentes de investigação que dependem da capacidade de cálculo científico e processamento de grandes conjuntos de dados; Participação efetiva no PRACE; Participação efetiva no European Exascale Computer; Reforço da participação no European Cloud Initiative; Criação de emprego científico e qualificado em Portugal, estimulando a formação de recursos humanos nestes domínios; Reforço do desenvolvimento científico, tecnológico e empresarial da área emergente de “ciências dos dados” e aplicações a partir de Portugal. PRACE - Partnership for Advanced Computing in Europe

4 Domínios Científicos High Performance Computing
Promoção da utilização de computação paralela e distribuída para resolver problemas científicos e de engenharia cada vez maiores, em tempo útil.   Desafios constantes no desenvolvimento de novos modelos de programação, algoritmos e ferramentas, que permitam colocar um conjunto crescente de computadores a executar em simultâneo um mesmo problema, minimizando os custos de comunicação e coordenação dos vários computadores. Desafios prementes na disponibilização de serviços de HPC ao tecido empresarial.

5 Domínios Científicos High Performance Computing Data Science
Gestão e extração de conhecimento de grandes conjuntos de dados que apresenta constantes desafios devido ao tamanho, velocidade de geração, falta de estrutura, heterogeneidade, variabilidade e valorização temporal dos dados. Ciclo de vida que envolve a ingestão, curadoria, identificação com garantias de persistência, catalogação e disponibilização eficiente para análise. Combinação de grande capacidade computacional com plataformas, aplicações e serviços de apoio aos vários paradigmas e técnicas de análise, extração de conhecimento e aprendizagem automática.

6 Domínios Científicos High Performance Computing Data Science
Quantum Computing Na ausência de computadores quânticos universais, a simulação de computação quântica em computadores clássicos surge como forma de estudar algoritmos que tiram partido dos fenómenos quânticos. Porém, a simulação da sobreposição de estados e do paralelismo quântico resulta num crescimento exponencial nos requisitos de memória e processamento, obrigando à utilização de infraestruturas de supercomputação para que possam simular sistemas de dimensão relevante.

7 Projetos Estruturantes
AIR Center (Data Foundry) Infraestutura computacional de suporte ao Centro Internacional de Investigação dos Açores. Data Science for the Atlantic, como parte integrante da Azores Maritme Cloud para o armazenamento, processamento e análise de grandes conjuntos de dados. OpenScience Serviços de apoio à Política Nacional de Ciência Aberta para a promoção do acesso aberto a publicações e dados científicos (Open Access e Open Data) como forma de acelerar a difusão do conhecimento e da inovação. RCTS Centro da Rede Ciência, Tecnologia, Sociedade enquadrado no plano para sua extensão, atualização e modernização, com o objectivo de garantir novos desenvolvimentos e actividades de I&D em computação científica. QuantaLab Infraestrutura computacional de suporte ao laboratório de investigação e desenvolvimento de materiais e tecnologias quânticas (QuantaLab) – projecto conjunto entre a UMinho, o INL e outros parceiros internacionais. + Projectos comerciais

8 Tecnologia Três tipos de tecnologias com objectivos funcionais, utilizadores alvo e níveis de serviço distintos: Sistema de computação de muito grande capacidade e desempenho destinado a apoiar a investigação científica e desenvolvimento tecnológico com relevância e impacto nos contextos nacional e internacional; Rede heterogénea e elástica de sistemas computacionais destinada a apoiar a investigação científica e tecnológica, a suportar sistemas de informação académicos, de serviço público e actividade empresarial; Sistema de armazenamento elástico e segmentado destinado a suportar os sistemas anteriores, repositórios de publicações e dados experimentais científicos, programas de fonte aberta, e ainda arquivos de relevância e impacto nacional e internacional.

9 Serviços High Performance Computing Data Science Cloud Computing
Filas tradicionais para submissão de trabalhos Portais por domínios de aplicação Paralelização e optimização de programas Data Science Gestão do ciclo de vida de conjuntos de dados SaaS para estatística, machine learning, deep learning, etc. Portais para computação cognitiva por domínios de aplicação Visualização de dados Jupyter Notebooks Cloud Computing Recursos computacionais persistentes e por solicitação: máquinas virtuais e containers Armazenamento de dados: sistemas de ficheiros, tuple e object stores “Cloudificação” de sistemas e aplicações

10 Modelo Institucional O centro de SCAD deverá ser uma parceria público-privada entre universidades, centros de investigação, a IBM Portugal e outras empresas, com modelo jurídico a definir, aberta à participação de outras entidades públicas ou privadas, podendo vir a configurar o modelo de Laboratório Colaborativo; O IBM Research Center será um centro de I&D com gestão privada e uma relação protocolada com o o SCAD

11 Parceiros internacionais
IBM Research Barcelona Supercomputing Center Texas Advanced Computing Center San Diego Supercomputer Center Pacific Rim Application and Grid Middleware Assembly (PRAGMA) Chinese Academy of Sciences

12 Advanced Computing Collaboratory Super Computação e Análise de Dados