O mundo das IAs está se desenvolvendo mais a cada dia. No entanto, há muitas preocupações. Recentemente, inclusive, um grupo de especialistas pediram que o desenvolvimento desenfreado da IA fosse interrompido. Além disso, já há grandes preocupações com a segurança, ao usar o ChatGPT, por exemplo, com dados confidenciais sendo compartilhados com a ferramenta. No entanto, a Nvidia quer mudar esse cenário. Ferramentas de código aberto da Nvidia trarão mais segurança para os chatbots!
Ferramentas de código aberto da Nvidia: mais segurança para os chatbots
“NeMo Guardrails” é o nome do kit de ferramentas da Nvidia que o especialista em gráficos lançou sob uma licença de código aberto. Isso deve tornar os chatbots mais seguros. Esperamos que essas ferramentas tragam realmente mais segurança para os chatbots, já que essa parece ser a maior preocupação dos especialistas nesse momento.
A Nvidia anunciou que o NeMo Guardrails deve provar seu valor no desenvolvimento de sistemas de conversação LLM seguros e confiáveis. A segurança em IA generativa é uma preocupação do setor e o NeMo Guardrails foi projetado para funcionar com todos os LLMs, incluindo o ChatGPT da OpenAI. Mas, outras ferramentas devem surgir em breve.
O kit de ferramentas
Este kit de ferramentas de proteção depende de ferramentas criadas pela comunidade, como LangChain. Os kits de ferramentas forneceriam modelos e padrões combináveis ??e fáceis de usar para criar aplicativos baseados em LLM. LLMs, APIs e outros pacotes de software podem ser montados no processo, de acordo com a Nvidia em um post de blog.
Com o kit de ferramentas, as regras podem ser definidas para definir o comportamento dos chatbots em resposta à entrada do usuário. Atualmente, existem três conjuntos de regras: tópico, segurança e proteção. Tópico instrui o chatbot a manter o foco em um tópico específico e não se desviar para áreas indesejadas. Os trilhos de segurança garantiriam que as interações com um LLM não levassem a desinformação, reações tóxicas ou conteúdo impróprio.
As regras de segurança impediram que um LLM executasse um código mal-intencionado ou chamasse um aplicativo externo de uma forma que representasse um risco à segurança.
Esperamos que mais ferramentas auxiliem a IA na segurança, para que as pessoas possam usá-la sem ressalvas. Claro, no mundo digital nunca estamos totalmente seguros. No entanto, no estado atual, a segurança está ainda mais vulnerável e os chatbots precisam realmente de mais ferramentas de segurança. A Nvidia está dando o primeiro passo. Outras empresas devem fazer o mesmo em breve.