O mundo das IAs está se desenvolvendo mais a cada dia. No entanto, há muitas preocupações. Recentemente, inclusive, um grupo de especialistas pediram que o desenvolvimento desenfreado da IA fosse interrompido. Além disso, já há grandes preocupações com a segurança, ao usar o ChatGPT, por exemplo, com dados confidenciais sendo compartilhados com a ferramenta. No entanto, a Nvidia quer mudar esse cenário. Ferramentas de código aberto da Nvidia trarão mais segurança para os chatbots!
Ferramentas de código aberto da Nvidia: mais segurança para os chatbots
“NeMo Guardrails” é o nome do kit de ferramentas da Nvidia que o especialista em gráficos lançou sob uma licença de código aberto. Isso deve tornar os chatbots mais seguros. Esperamos que essas ferramentas tragam realmente mais segurança para os chatbots, já que essa parece ser a maior preocupação dos especialistas nesse momento.
A Nvidia anunciou que o NeMo Guardrails deve provar seu valor no desenvolvimento de sistemas de conversação LLM seguros e confiáveis. A segurança em IA generativa é uma preocupação do setor e o NeMo Guardrails foi projetado para funcionar com todos os LLMs, incluindo o ChatGPT da OpenAI. Mas, outras ferramentas devem surgir em breve.
O kit de ferramentas
Este kit de ferramentas de proteção depende de ferramentas criadas pela comunidade, como LangChain. Os kits de ferramentas forneceriam modelos e padrões combináveis ??e fáceis de usar para criar aplicativos baseados em LLM. LLMs, APIs e outros pacotes de software podem ser montados no processo, de acordo com a Nvidia em um post de blog.
Notícias Relacionadas
Inteligência contextual
Pixel Phone apresenta respostas de IA contextual para chamadas
Google expande a função Call Screen do Pixel Phone com “AI Replies”, respostas inteligentes personalizadas para atender chamadas sem interação direta, usando IA para otimizar a comunicação.
Contribuições brasileiras
Contribuições brasileiras para IA generativa aumentam 55% no GitHub em 2024
O Brasil obteve um crescimento notável em suas contribuições a projetos de inteligência artificial generativa no GitHub em 2024, registrando um aumento de 55%. Esses dados, apresentados no relatório anual State of the Octoverse da plataforma, mostram que o país não só expandiu em número de desenvolvedores, como também avançou em sua participação na criação […]
Com o kit de ferramentas, as regras podem ser definidas para definir o comportamento dos chatbots em resposta à entrada do usuário. Atualmente, existem três conjuntos de regras: tópico, segurança e proteção. Tópico instrui o chatbot a manter o foco em um tópico específico e não se desviar para áreas indesejadas. Os trilhos de segurança garantiriam que as interações com um LLM não levassem a desinformação, reações tóxicas ou conteúdo impróprio.
As regras de segurança impediram que um LLM executasse um código mal-intencionado ou chamasse um aplicativo externo de uma forma que representasse um risco à segurança.
Esperamos que mais ferramentas auxiliem a IA na segurança, para que as pessoas possam usá-la sem ressalvas. Claro, no mundo digital nunca estamos totalmente seguros. No entanto, no estado atual, a segurança está ainda mais vulnerável e os chatbots precisam realmente de mais ferramentas de segurança. A Nvidia está dando o primeiro passo. Outras empresas devem fazer o mesmo em breve.
