A Samsung publicou um conjunto de patches do kernel Linux para habilitar o hardware da unidade de processamento neural Trinity (NPU) como aceleradores encontrados em alguns de seus sistemas embarcados. As NPUs Samsung Trinity estão em uso desde 2018 e seu mais novo acelerador Trinity “TRIV2” é encontrado nas mais recentes TVs Samsung que se utilizam da Inteligência Artificial (IA). A Samsung espera fazer o upstream deste novo driver Linux chamado simplesmente de “trinity” no kernel principal. Sendo assim, a Samsung publica patches do Linux para o driver do acelerador Trinity NPU.
O driver “trinity” da Samsung em sua forma atual tem como alvo o hardware Trinity Vision 2 “TRIV2”. O Trinity Vision 2 suporta a aceleração da inferência de imagem para CNNs usando um acelerador de aprendizado profundo, enquanto as camadas gerais da rede neural são executadas por um DSP.
O Trinity é composto pelo acelerador de aprendizado profundo, DSP e um processador de controle. Da perspectiva do kernel Linux, trata-se principalmente de gerenciar o processador de controle (CP) para depois lidar com os outros blocos de hardware. Trinity faz uso do padrão Advanced Micro-controller Bus Architecture (AMBA) da Arm.
Samsung publica patches do Linux para o driver do acelerador Trinity NPU
Com as TVs Samsung 2022, o Trinity TRIV2 pode ser usado por aplicativos baseados em IA para reconhecimento de imagem, melhorias na qualidade da imagem e tarefas semelhantes. O espaço de usuário do Linux pode acessar o TRIV2 com o driver do kernel via GStreamer e seus plug-ins de rede neural NNStreamer.
“A série Trinity Neural Processing Unit (NPU) são aceleradores de hardware para processamento de redes neurais em sistemas embarcados, que são integrados em processadores de aplicativos ou SoCs. Trinity NPU é compatível com AMBA arquitetura de ônibus e lançado pela primeira vez em 2018 com sua primeira versão para processamento de visão, Trinity Versão1 (TRIV1). Sua segunda versão, TRIV2, é lançado em dezembro de 2021. Outra Trinity NPU para processamento de áudio é conhecido como TRIA”.
“O TRIV2 é fornecido para muitos modelos de TVs Samsung 2022, fornecendo aceleração para vários aplicativos baseados em IA, que incluem imagem melhorias e reconhecimento e qualidade de imagem para streaming de vídeo, que pode ser acessado via GStreamer e seus plugins de rede neural, NNStreamer”.
Os interessados no trabalho da Samsung neste driver de kernel Trinity NPU Linux podem conferir a lista de discussão do kernel para obter os detalhes iniciais sobre este novo driver de linha de ~8,6k proposto.
