A Linux Foundation apoia computação de alto desempenho. A Linux Foundation está apoiando diversas iniciativas diferentes de computação de alto desempenho com duas novas fundações. A computação de alto desempenho (HPC) usa processamento de dados paralelo para fornecer o desempenho de computação mais rápido possível. Quer se trate de supercomputadores, como o supercomputador Exabyte Fast Frontier HPE Cray, ou clusters de centenas ou milhares de servidores, o que importa é pegar tarefas complexas e executá-las o mais rápido possível.
Agora, a Linux Foundation, uma organização líder em inovação de código aberto, anunciou duas novas fundações para o avanço de soluções de HPC e armazenamento: a High-Performance Software Foundation (HPSF) e a DAOS Foundation.
Mais informações
O HPSF visa construir, promover e desenvolver uma pilha de software central portátil para computação de alto desempenho. A pilha consiste em 10 programas diferentes. Estes são:
- Spack: o gerenciador de pacotes HPC
- Kokkos: um modelo de programação portátil de desempenho para escrever aplicativos C++ modernos de maneira independente de hardware.
- AMReX: uma estrutura de software portátil de desempenho projetada para acelerar a resolução de equações diferenciais parciais em malhas estruturadas em blocos e refinadas de forma adaptativa.
- WarpX: um código Particle-in-Cell portátil de desempenho com algoritmos avançados que ganhou o Prêmio Gordon Bell de 2022
- Trilinos: uma coleção de bibliotecas de software científico reutilizáveis, conhecidas em particular por solucionadores lineares, não lineares e transitórios, bem como otimização e quantificação de incertezas.
- Apptainer: um sistema de contêiner e formato de imagem projetado especificamente para computação segura e de alto desempenho.
- VTK-m: um kit de ferramentas de algoritmos de visualização científica para arquiteturas de aceleradores.
- HPCToolkit: ferramentas de medição e análise de desempenho para computadores que vão desde laptops até os maiores supercomputadores acelerados por GPU do mundo.
- E4S: a pilha de software científico em escala extrema
- Charliecloud: implementação de contêiner leve, totalmente sem privilégios e personalizada para HPC.
Eles também foram projetados para simplificar a vida dos desenvolvedores de software de alto desempenho. Com eles, os programadores podem obter integração contínua, pilhas de software prontas para uso e testes de desempenho. Isso tornará suas vidas muito mais fáceis.
Esta nova base aborda a crescente onipresença da HPC na computação científica, na engenharia digital e nas aplicações de IA. A fundação planeja alavancar investimentos do Projeto de Computação Exascale do Departamento de Energia dos EUA, da Empresa Comum EuroHPC e de outros projetos internacionais para melhorar o desempenho em diversas arquiteturas de computação.
Linux Foundation apoia computação de alto desempenho
Os principais apoiadores do HPSF incluem Amazon Web Services, Argonne National Laboratory, CEA, CIQ, Hewlett Packard Enterprise, Intel e NVIDIA, entre outros. A fundação estabelecerá um comitê consultivo técnico para gerenciar grupos de trabalho sobre vários tópicos de HPC, seguindo um modelo de governança inspirado na Cloud Native Computing Foundation (CNCF).
Resumindo, Rick Stevens, diretor associado do laboratório nacional de Argonne para computação, meio ambiente e ciências da vida, explicou: “O HPSF fornecerá um ambiente colaborativo e acesso a recursos que permitirão à comunidade desenvolver coletivamente o software necessário para impulsionar os atuais e sistemas HPC de geração futura, e Argonne tem a honra de ingressar como membro fundador.”
A DAOS Foundation concentra-se na governança e no desenvolvimento do projeto Distributed Asynchronous Object Storage (DAOS). Pronunciado para rimar com “chefe”, DAOS é um sistema de armazenamento de código aberto de alto desempenho que revolucionou o desempenho para cargas de trabalho de HPC e IA. Ele oferece uma arquitetura de armazenamento de valor-chave totalmente distribuída, superando as limitações dos sistemas tradicionais de armazenamento HPC baseados em POSIX.
DAOS suporta alta largura de banda, baixa latência e altas operações de E/S por segundo (IOPS). Novamente, o nome do jogo é velocidade, velocidade, velocidade. Este é um projeto maduro no qual a Intel começou a trabalhar em 2012. A Intel doará o código-fonte do DAOS para a fundação e continuará como uma grande contribuidora.
Assim como o HPFS, o DAOS vem com o suporte de uma longa lista de movimentadores e agitadores de HPC, como Argonne National Laboratory, Enakta Labs, Google Cloud, Hewlett Packard Enterprise e Intel.
Sob a égide da Linux Foundation, essas duas fundações representam um grande salto nos esforços colaborativos para o avanço de soluções de código aberto em computação e armazenamento de alto desempenho. Eles promoverão a inovação, reduzirão as barreiras à entrada e apoiarão o desenvolvimento de tecnologias críticas em HPC e IA/ML.