A AMD anunciou o GAIA (“Generative AI Is Awesome”), uma ferramenta de código aberto que permite executar modelos de linguagem grandes (LLMs) localmente em PCs Ryzen AI equipados com a NPU XDNA. O GAIA, embora promissor, está inicialmente limitado à plataforma Microsoft Windows.
Em um movimento para fornecer aos usuários de PCs Ryzen AI uma demonstração de software fácil para executar LLMs locais e privados, a AMD lançou o GAIA. A ferramenta utiliza a NPU e/ou a GPU Radeon integrada para acelerar o processamento de IA. O GAIA também oferece a opção de funcionar sem aceleração AMD, utilizando o backend ollama, tornando-o compatível com qualquer PC. O GAIA é construído sobre o ONNX TurnkeyML Lemonade SDK, permitindo a execução de modelos como Llama e Phi.
O projeto GAIA, detalhado em um post no blog da AMD, é de código aberto sob a licença MIT e está disponível no GitHub. No entanto, a ferramenta está atualmente restrita ao Windows 11. A documentação da AMD sugere que o suporte para outras plataformas, como macOS e Linux, pode ser considerado no futuro, dependendo da demanda.
Apesar da limitação inicial ao Windows, o GAIA representa um passo significativo da AMD no fornecimento de ferramentas de IA acessíveis e eficientes para seus processadores Ryzen AI. A capacidade de executar LLMs localmente oferece benefícios como maior privacidade, menor latência e desempenho otimizado.
Principais Características do GAIA:
- Execução local de LLMs em PCs Ryzen AI.
- Otimizado para a NPU XDNA e GPUs Radeon integradas.
- Suporte para modelos populares como Llama e Phi.
- Pipeline de agente RAG (Retrieval-Augmented Generation) para respostas contextuais.
- Opção de backend ollama para execução em qualquer PC.
- Código aberto sob licença MIT.
Benefícios da Execução Local de LLMs:
- Maior privacidade dos dados.
- Menor latência nas respostas.
- Desempenho otimizado com a NPU.
Vídeo de apresentação do AMD GAIA
Links relevantes:
- Para mais informações sobre o projeto GAIA, visite o blog da AMD.
- Acesse o repositório GAIA no GitHub.