A DeepSeek, empresa de IA chinesa, anunciou o 3FS, um sistema de arquivos baseado em FUSE para Linux, voltado ao treinamento e inferência de IA. Este sistema distribuído utiliza SSDs modernos e redes RDMA, oferecendo armazenamento compartilhado eficiente para clusters de IA de grande escala.
Arquitetura avançada para desempenho superior
O 3FS adota uma arquitetura desagregada, permitindo o uso da largura de banda de centenas de nós de armazenamento e milhares de SSDs, sem necessidade de localização específica. A implementação do CRAQ garante consistência forte, simplificando o desenvolvimento de aplicativos.
Tecnologias modernas em destaque
Construído em Rust e integrando o FoundationDB da Apple, o 3FS utiliza tecnologia de ponta. Com suporte ao FUSE, proporciona fácil implementação em sistemas baseados em Linux e é licenciado sob MIT, garantindo acessibilidade e inovação aberta.
Principais funcionalidades e benefícios
- Preparação de Dados: Gerencia grandes volumes de saídas intermediárias de pipelines de análise de dados.
- Dataloaders: Oferece acesso aleatório a amostras de treinamento sem necessidade de pré-carregamento.
- Checkpointing: Suporta checkpointing paralelo de alto desempenho para treinamento em grande escala.
- KVCache para Inferência: Alternativa eficiente ao DRAM, com maior capacidade e alto desempenho.
Notícias Relacionadas
Ciberameaças
Golpistas usam Gamma AI para enganar logins do SharePoint em ataque sofisticado
Criminosos estão usando a IA da Gamma para criar páginas falsas do SharePoint e roubar credenciais, driblando ferramentas de segurança com múltiplos redirecionamentos e verificações falsas.
Segurança digital
Google intensifica combate a anúncios nocivos com uso de inteligência artificial
Google removeu mais de 5 bilhões de anúncios e suspendeu 39 milhões de contas em 2024, reforçando sua política de segurança com inteligência artificial e verificação global.
Desempenho excepcional em testes
O 3FS demonstrou throughput impressionante em testes com clusters de até 180 nós de armazenamento, atingindo até 6.6 TiB/s. Além disso, apresentou excelentes resultados no benchmark GraySort, processando 110.5 TiB em apenas 30 minutos.
Flexibilidade e documentação completa
Para interessados, o código e a documentação do 3FS estão disponíveis no GitHub, incluindo guias de instalação, notas de design e referências API. Basta acessar o repositório oficial.
Conclusão
Com o 3FS, a DeepSeek redefine o treinamento e a inferência de IA, oferecendo um sistema de arquivos robusto, flexível e de alto desempenho. Ele é ideal para atender às crescentes demandas dos ambientes de desenvolvimento de IA modernos.
