Uma unidade de processamento e RAM são normalmente coisas separadas construídas em chips separados. No entanto, a Samsung quer mudar isso. A empresa criou a primeira High Bandwidth Memory (HBM) do mundo, com hardware de processamento de IA integrado chamado HBM-PIM (para processamento na memória).
Criação da RAM com hardware de processamento AI integrado
A Samsung pegou seus chips HBM2 Aquabolt e adicionou Unidades de computação programáveis entre os bancos de memória. Eles são relativamente simples e operam em valores de ponto flutuante de 16 bits com um conjunto de instruções limitado. Além disso, eles podem mover dados e realizar multiplicações e adições.
Mas existem muitas PCUs e elas literalmente ficam próximas aos dados nos quais estão trabalhando. A Samsung conseguiu fazer com que as PCUs funcionassem a 300 MHz, o que equivale a 1,2 TFLOPS de potência de processamento por chip. E manteve o uso de energia (por chip) o mesmo ao transferir dados a 2,4 Gbps por pino.
O uso de energia por chip pode ser o mesmo, mas o consumo geral de energia do sistema cai 71%. Isso ocorre porque uma CPU típica precisaria mover os dados duas vezes. Com o HBM-PIM, os dados não vão a lugar nenhum.
Não se trata apenas de economia de energia, usando o PIM para aprendizado de máquina e tarefas de inferência, os pesquisadores viram o desempenho do sistema mais que dobrar. Isso é fantástico!
O HBM-PIM
O design do HBM-PIM é compatível com os chips regulares HBM2, então nenhum novo hardware precisa ser desenvolvido. O software só precisa dizer ao sistema PIM para mudar do modo normal para o modo de processamento na memória.
No entanto, há um problema. As PCUs ocupam espaço anteriormente ocupado por bancos de memória. Isso corta a capacidade total pela metade, até 4 gigabits. A Samsung decidiu dividir a diferença e combinar chips PIM de 4 gigabit com matrizes HBM2 regulares de 8 gigabit. Usando quatro de cada, ele criou pilhas de 6 gigabytes.
Notícias não muito agradáveis
Vai demorar um pouco até que o HBM-PIM chegue ao hardware de consumidor. Por enquanto, a Samsung enviou chips para serem testados por parceiros que desenvolvem aceleradores de IA e espera que o design seja validado até julho.
Além disso, como o HBM-PIM será apresentado na Conferência Virtual Internacional de Circuitos de Estado Sólido esta semana, então podemos esperar mais detalhes. Mas não podemos esperar só notícias boas, entretanto.
