OpenVINO 2023.3: Uma ferramenta poderosa para a inferência de IA

O OpenVINO é uma ferramenta de código aberto que permite otimizar e implantar modelos de inteligência artificial (IA) em diversos dispositivos, como CPUs, GPUs, FPGAs e VPUs. A versão mais recente, OpenVINO 2023.3, traz novidades importantes para os desenvolvedores e usuários de IA, como o suporte completo para os novos processadores Intel Emerald Rapids e Meteor Lake, melhorias no suporte a modelos generativos de IA (GenAI) e modelos de linguagem de grande porte (LLMs), e uma nova API JavaScript em versão prévia.

Neste post, vamos explorar alguns dos principais recursos e benefícios do OpenVINO 2023.3, e mostrar como você pode usá-lo para acelerar e simplificar seus projetos de IA.

O que é OpenVINO?

O OpenVINO é uma ferramenta de código aberto que permite otimizar e implantar modelos de inteligência artificial (IA) em diversos dispositivos, como CPUs, GPUs, FPGAs e VPUs. O OpenVINO facilita o desenvolvimento e a execução de aplicações de IA, como reconhecimento facial, detecção de objetos, análise de sentimentos, tradução automática, entre outras.

O OpenVINO funciona como uma ponte entre os frameworks de treinamento de IA, como TensorFlow, PyTorch, ONNX e outros, e os dispositivos de inferência de IA, como os processadores Intel Emerald Rapids e Meteor Lake. O OpenVINO converte os modelos treinados em um formato intermediário chamado Intermediate Representation (IR), que pode ser executado em qualquer dispositivo compatível com o OpenVINO. O OpenVINO também aplica otimizações específicas para cada dispositivo, melhorando o desempenho e a precisão dos modelos.

Além disso, o OpenVINO oferece uma série de recursos e benefícios para os desenvolvedores e usuários de IA, como:

Suporte a modelos generativos de IA (GenAI) e modelos de linguagem de grande porte (LLMs), que podem gerar conteúdo novo e original, como textos, imagens, áudios e vídeos.
Integração com outras bibliotecas e frameworks da Intel, como o oneAPI, o oneDNN e o oneTBB.
Uma nova API JavaScript em versão prévia, que permite usar o OpenVINO em aplicações web ou Node.js.
Exemplos de código e modelos pré-treinados para testar e inspirar seus projetos.

Se você quer saber mais sobre o OpenVINO, visite o site oficial do OpenVINO ou o repositório do GitHub. Você também pode entrar em contato com a equipe do OpenVINO através dos canais de comunicação disponíveis no site.

Suporte completo para os novos processadores Intel Emerald Rapids e Meteor Lake

O OpenVINO 2023.3 oferece suporte completo para os novos processadores Intel Emerald Rapids e Meteor Lake, que são as próximas gerações de processadores escaláveis Xeon e Core Ultra, respectivamente. Esses processadores trazem avanços significativos em desempenho, eficiência energética e recursos de IA, como a arquitetura híbrida, a tecnologia Foveros 3D e o novo núcleo Golden Cove.

Com o OpenVINO 2023.3, você pode aproveitar ao máximo esses processadores para executar seus modelos de IA com alta velocidade e precisão, usando as instruções vetoriais AVX-512, as extensões DL Boost e as otimizações específicas do OpenVINO. Além disso, você pode integrar facilmente seus modelos com outras bibliotecas e frameworks da Intel, como o oneAPI, o oneDNN e o oneTBB.

Melhorias no suporte a modelos generativos de IA (GenAI) e modelos de linguagem de grande porte (LLMs)

O OpenVINO 2023.3 também traz melhorias no suporte a modelos generativos de IA (GenAI) e modelos de linguagem de grande porte (LLMs), que são tipos de modelos que podem gerar conteúdo novo e original, como textos, imagens, áudios e vídeos. Esses modelos têm diversas aplicações práticas, como geração de legendas, síntese de voz, tradução automática, criação de arte e entretenimento, entre outras.

O OpenVINO 2023.3 lança o repositório OpenVINO Gen AI, que contém exemplos de pipelines nativos em C/C++ para LLMs. O OpenVINO também validou modelos adicionais, como Mistral, Zephyr, ChatGLM3 e outros. Além disso, o Torch.compile está totalmente integrado com o OpenVINO, permitindo que você compile seus modelos PyTorch para executá-los com o OpenVINO sem conversão prévia.

Para expandir o suporte aos LLMs, o OpenVINO 2023.3 agora tem suporte ao formato de compressão de peso INT4 em CPUs Intel Xeon e Intel Core e iGPUs Intel. Há também melhoria no desempenho para LLMs baseados em transformadores em CPUs e GPUs, otimizações mais fáceis para modelos Hugging Face e mais.

Nova API JavaScript em versão prévia

O OpenVINO 2023.3 também apresenta uma nova API JavaScript em versão prévia, que permite que você use o OpenVINO em aplicações web ou Node.js. Com essa API, você pode carregar e executar seus modelos de IA diretamente no navegador ou no servidor, sem depender de plugins ou extensões. Isso abre novas possibilidades para criar experiências interativas e personalizadas para seus usuários finais.

A API JavaScript do OpenVINO é baseada no WebAssembly e no WebNN API, que são padrões abertos para executar código nativo e operações de redes neurais na web. A API JavaScript do OpenVINO oferece uma interface simples e consistente com a API C++ do OpenVINO, facilitando a portabilidade dos seus códigos.

Como usar o OpenVINO 2023.3

Para usar o OpenVINO 2023.3, você pode baixar o pacote de instalação para o seu sistema operacional (Windows, Linux ou macOS) no site oficial do OpenVINO. Você também pode encontrar o código-fonte do OpenVINO no GitHub, onde você pode contribuir com o projeto ou reportar problemas.

Após instalar o OpenVINO, você pode seguir os tutoriais e a documentação disponíveis no site do OpenVINO para aprender como usar a ferramenta. Você também pode acessar os exemplos de código e os modelos pré-treinados que o OpenVINO oferece para testar e inspirar seus projetos.

Conclusão

O OpenVINO 2023.3 é uma ferramenta poderosa para a inferência de IA, que traz suporte completo para os novos processadores Intel Emerald Rapids e Meteor Lake, melhorias no suporte a modelos generativos de IA (GenAI) e modelos de linguagem de grande porte (LLMs), e uma nova API JavaScript em versão prévia. Com o OpenVINO 2023.3, você pode otimizar e implantar seus modelos de IA em diversos dispositivos, com alta velocidade e precisão, e criar aplicações web ou Node.js com IA integrada.

Se você quer saber mais sobre o OpenVINO 2023.3, visite o site oficial do OpenVINO ou o repositório do GitHub. Você também pode entrar em contato com a equipe do OpenVINO através dos canais de comunicação disponíveis no site.

Assuntos