PyTorch 2.5 lançado com suporte aprimorado para GPU Intel e novas funcionalidades Beta e Prototype

PyTorch 2.5 foi lançado como a mais recente grande atualização desta popular biblioteca de aprendizado de máquina. A nova versão traz melhorias significativas no suporte para GPUs da Intel, tanto para produtos voltados para o consumidor quanto para data centers. Agora, PyTorch 2.5 possui suporte inicial para GPUs de cliente Intel no Windows, além de melhorias no suporte existente para Linux.

Entre os destaques dessa versão estão:

• Expansão da matriz de suporte ao backend de hardware do PyTorch para incluir GPUs Intel, tanto de data centers quanto de cliente.
• Implementação de kernels SYCL para aumentar a cobertura e a execução dos operadores Aten em GPUs Intel, melhorando o desempenho no modo eager do PyTorch.
• Backend da Intel para a função torch.compile aprimorado, o que melhora o desempenho de inferência e treinamento em uma ampla gama de workloads de aprendizado profundo.
• Novo backend cuDNN para SDPA, que proporciona aceleração de até 75% para usuários do SDPA em GPUs NVIDIA H100 ou mais recentes, habilitado por padrão.
• Compilação regional com torch.compile sem recompilações para reduzir o tempo de inicialização em módulos repetidos (como camadas de transformador em modelos de linguagem).
• Backend TorchInductor com suporte para Windows, incluindo compatibilidade com compiladores MSVC, clang e Intel.
• Suporte para FP16 no caminho da CPU, tanto para o modo eager quanto para o backend TorchInductor CPP, para melhorar o desempenho de inferência e treinamento.
• Introdução da funcionalidade FlexAttention, permitindo a implementação de diversos mecanismos de atenção, como Sliding Window e Causal Mask, de forma mais simples e eficiente.
• Extensão de autoload de dispositivos, facilitando a integração de extensões fora do core da biblioteca.
• Novo recurso de Flight Recorder para facilitar a depuração de jobs travados, capturando informações contínuas sobre coleções enquanto elas são executadas.