Os Grandes Modelos de Linguagem (LLMs) estão revolucionando a forma como interagimos com a tecnologia. Como resultado, fornecedores de Software as a Service (SaaS) estão competindo para integrar recursos de IA, oferecendo às empresas ferramentas como insights de vendas baseados em IA ou assistentes de codificação.
Tradicionalmente, os modelos de segurança Zero Trust se baseiam em uma distinção clara entre usuários e aplicações. No entanto, as aplicações integradas a LLMs perturbam essa distinção, funcionando simultaneamente como ambos.
Essa realidade introduz um novo conjunto de vulnerabilidades de segurança, como vazamento de dados, injeção de prompts, acesso arriscado a recursos online e até mesmo acesso a recursos corporativos em nome dos funcionários.
Para enfrentar esses desafios na implantação de LLMs, é necessário um conjunto único de medidas de Zero Trust.
A seguir, alguns exemplos do que pode dar errado ao adotar serviços GenAI e porque as organizações devem começar a considerar uma abordagem de Zero Trust AI Access (ZTAI).
Risco GenAI #1 – Injeção de Prompt – Quando você contrata o Harry Potter
Os atacantes abusam das capacidades dos LLMs criando entradas para manipular o comportamento de um LLM, seja direta ou indiretamente, com o objetivo de induzir comportamentos prejudiciais ou antiéticos.
Os prompts podem ser injetados diretamente por um atacante ou indiretamente por um usuário desavisado ao utilizar uma aplicação baseada em LLM para seu caso de uso prescrito.
Quatro tipos de injeções de prompt são:
- Injeção de Prompt Direta, que envolve atacantes inserindo prompts específicos para alterar o comportamento ou a saída do LLM de forma prejudicial. Um atacante pode instruir diretamente um LLM a se passar por um modelo antiético, vazar informações sensíveis ou fazer com que o modelo execute código prejudicial.
- Injeção de Prompt Indireta é mais sutil, envolvendo a manipulação de fontes de dados que o LLM utiliza, tornando-a muito mais perigosa e difícil de detectar dentro de ambientes organizacionais.
- Injeções de Prompt Multimodais permitem que LLMs recebam formatos como imagens, vídeos e sons como entradas, com instruções ocultas misturadas na entrada de mídia para alterar o comportamento do bot da aplicação, fazendo-o conversar como o Harry Potter.
- Ataques de Negação de Serviço (DoS) também podem ser perpetrados usando injeções de prompt, levando a operações pesadas em LLMs ao ponto de sobrecarga, resultando em degradação do serviço ou altos custos.
Risco GenAI #2 – Vazamento de dados confidenciais – Sua IA pode guardar um segredo?
Os modelos podem ser ajustados ou aprimorados com acesso a dados para obter melhores resultados específicos do domínio. Por exemplo, para o seu bot de suporte ao cliente, seria ótimo ajustar o modelo com tickets de problemas passados. Mas sua IA pode guardar um segredo?
Em um estudo, pesquisadores usaram o mecanismo de ajuste fino do ChatGPT para extrair nomes e endereços de e-mail de mais de 30 funcionários do New York Times. Este exemplo mostra como dados sensíveis usados para pré-treinar ou ajustar um LLM podem ser vazados – criando riscos regulatórios. Como resultado, modelos LLM não podem ser confiáveis para proteger dados sensíveis contra vazamentos.
Risco GenAI #3 – Um estudante impressionável – Riscos associados ao treinamento
Modelos de IA generativa passam por treinamento extensivo em conjuntos de dados diversificados, muitas vezes abrangendo a maior parte do conteúdo da internet. O processo de treinamento envolve pré-treinamento em grandes conjuntos de dados para compreensão geral da linguagem e do mundo, seguido de ajuste fino para objetivos específicos usando conjuntos de dados curados.
No envenenamento de dados, os atacantes podem comprometer a segurança desses modelos manipulando uma pequena fração, tão pequena quanto 0,01%, dos dados de treinamento. Como modelos e usuários não podem ser confiados cegamente, a integridade e a segurança dos dados de treinamento também não podem ser consideradas credíveis.
Risco GenAI #4 – Controle de acesso – Bem-vindo ao Velho Oeste
Um número crescente de organizações está integrando LLMs em aplicações multicomponentes, ou “agentes”. Essas integrações aumentam o LLM com capacidades como acesso à internet, recuperação de recursos corporativos e execução de várias ações sobre eles. Notavelmente, o lançamento recente da OpenAI de sua loja de plugins facilita o acesso generalizado a essas ampliações de LLM.
Acesso à internet
Obter dados em tempo real da internet pode ser imensamente valioso para os usuários. Essas ampliações permitem que LLMs forneçam melhores respostas às consultas dos usuários com base em informações atualizadas. No entanto, aumentar os LLMs para acessar a internet apresenta um desafio dramático, especificamente no contexto de injeção de prompts. Em exemplos recentes, inserir instruções maliciosas em URLs fez com que o Bing chat persuadisse os usuários a visitar um site malicioso ou revelasse informações sensíveis que foram enviadas para um servidor externo.
Acesso a recursos corporativos
Aplicações integradas a LLMs podem ser projetadas para interagir com recursos corporativos, como bancos de dados ou aplicações. No entanto, esse tipo de acesso representa um risco, mesmo quando usuários não mal-intencionados estão envolvidos, pois eles podem inadvertidamente ganhar acesso a dados e recursos sensíveis ao interagir com a aplicação integrada ao LLM.
Em um framework de acesso Zero Trust AI, o comportamento da aplicação integrada ao LLM não é confiável, nem é confiável sua tomada de decisão relacionada ao acesso a recursos corporativos, incluindo quais e quando recursos são acessados, quais dados são exportados para qual usuário e quais operações são realizadas nesses recursos.
Adotando Zero Trust AI Access para uso seguro de GenAI
Com a produtividade exponencial vem o risco exponencial.
Para proteger efetivamente os LLMs, eles não devem ser tratados puramente como usuários ou aplicações, mas sim como um pouco de ambos.
Uma abordagem de acesso zero trust AI (ZTAI) propõe ver as aplicações integradas ao LLM como entidades que precisam de controle de acesso estrito, proteção de dados e políticas de prevenção de ameaças – criando uma linha de defesa mais rigorosa do que seria necessário para proteger o funcionário médio. Fique atento para mais detalhes.
Segurança GenAI – Participe do Programa de Prévia
Com sua Plataforma Infinity, a Check Point está liderando o caminho na eficácia da segurança Zero Trust, oferecendo gerenciamento de segurança impulsionado por IA, bem como soluções para ajudá-lo a gerenciar shadow SaaS e shadow GenAI na empresa.
