Pesquisadores de segurança identificaram mais de três dezenas de vulnerabilidades em modelos de inteligência artificial (IA) e aprendizado de máquina (ML) de código aberto. Essas falhas, presentes em ferramentas como ChuanhuChatGPT, Lunary e LocalAI, representam sérios riscos, incluindo a possibilidade de execução remota de código e roubo de informações.
Pesquisadores descobrem falhas de segurança afetam IA e ML de código aberto
As descobertas foram feitas através da plataforma de caça a bugs da Protect AI, chamada Huntr, que detectou falhas em diversas ferramentas usadas para grandes modelos de linguagem (LLMs). Entre as vulnerabilidades mais graves estão:
- Lunary: Vulnerável a duas falhas críticas (CVE-2024-7474 e CVE-2024-7475), ambas com pontuação CVSS de 9.1. A primeira falha permite que usuários autenticados acessem ou apaguem dados de outros usuários, enquanto a segunda possibilita a modificação de configurações de SAML, permitindo o acesso a dados sensíveis sem autorização.
Além dessas, uma terceira vulnerabilidade no Lunary (CVE-2024-7473) permite que atacantes atualizem comandos de outros usuários manipulando parâmetros de controle.
Notícias Relacionadas
Outras Ferramentas Afetadas e Ameaças Identificadas
- ChuanhuChatGPT: Um grave erro de travessia de diretório (CVE-2024-5982) foi encontrado na função de upload do usuário, com pontuação CVSS de 9.1. Esse erro permite a criação de diretórios arbitrários e pode expor dados sensíveis, facilitando invasões.
- LocalAI: Dois problemas de segurança graves foram detectados (CVE-2024-6983 e CVE-2024-7010). No primeiro, arquivos de configuração maliciosos podem ser carregados, facilitando a execução de códigos arbitrários. Já o segundo permite que invasores deduzam chaves de API válidas ao medir o tempo de resposta do servidor, técnica conhecida como ataque de temporização.
- Deep Java Library (DJL): Outra vulnerabilidade crítica envolve uma função de descompactação no DJL (CVE-2024-8396), com pontuação CVSS de 7.8. Essa falha permite que invasores sobrescrevam arquivos de forma arbitrária, colocando em risco a integridade dos dados.
Recomendações e Medidas de Proteção
Para prevenir ataques e garantir a integridade das operações, os pesquisadores recomendam que os usuários desses modelos de IA e ML atualizem imediatamente suas instalações. A Protect AI também anunciou recentemente a ferramenta Vulnhuntr, um analisador de código Python de código aberto que usa LLMs para identificar vulnerabilidades desconhecidas em bases de código Python.
Novo Método de Jailbreak em Modelos de Linguagem
Além das vulnerabilidades estruturais, a Mozilla publicou um método de jailbreak que explora falhas linguísticas em modelos de IA, como o ChatGPT da OpenAI. Usando prompts disfarçados em hexadecimal e emojis, pesquisadores descobriram que é possível contornar as salvaguardas desses modelos, criando ataques maliciosos. Essa técnica utiliza uma “lacuna linguística” que permite ao modelo realizar tarefas aparentemente inofensivas, como a conversão de hexadecimais, mas que acabam gerando resultados potencialmente perigosos.
Conclusão
Com a evolução constante da IA e dos modelos de código aberto, novas ameaças surgem e reforçam a importância da segurança em toda a cadeia de suprimentos de IA. Implementar as atualizações recomendadas e utilizar ferramentas de análise de segurança podem mitigar os riscos e proteger melhor os dados e sistemas dos usuários.
