Informações apontam que houve um aumento nos ataques a plataformas de conversação de IA, visando chatbots que usam PNL e ML para permitir interações automatizadas e semelhantes às humanas com os consumidores. O relatório é da Resecurity (Via: Security Affairs), que observou um aumento expressivo nessa prática.
Aumento nos ataques a plataformas de conversação de IA
A Resecurity observou um pico em campanhas maliciosas visando agentes de IA e plataformas de IA conversacional que alavancam chatbots para fornecer interações automatizadas e semelhantes às humanas para os consumidores.
As plataformas de IA conversacional são projetadas para facilitar interações naturais entre humanos e máquinas usando tecnologias como Processamento de Linguagem Natural (PNL) e Aprendizado de Máquina (ML). Essas plataformas permitem que aplicativos como chatbots e agentes virtuais se envolvam em conversas significativas, tornando-os ferramentas valiosas em vários setores.
Os chatbots são uma parte fundamental das plataformas de IA conversacional, projetadas para simular conversas humanas e aprimorar as experiências do usuário. Esses componentes podem ser interpretados como uma subclasse de agentes de IA responsáveis ??por orquestrar o fluxo de trabalho de comunicação entre o usuário final (consumidor) e a IA.
O uso dessa tecnologia
As instituições financeiras (IFs) estão implementando amplamente essas tecnologias para acelerar o suporte ao cliente e os fluxos de trabalho internos, o que também pode desencadear riscos de conformidade e cadeia de suprimentos.
Ao contrário dos chatbots tradicionais, os chatbots de IA conversacional podem oferecer dicas e recomendações personalizadas com base nas interações do usuário. Esse recurso aprimora a experiência do usuário ao fornecer respostas personalizadas que atendem às necessidades individuais.
Os bots podem coletar dados valiosos das interações do usuário, que podem ser analisados ??para obter insights sobre as preferências e comportamentos do cliente. Essas informações podem informar estratégias de negócios e melhorar as ofertas de serviços. Ao mesmo tempo, isso cria um grande risco em termos de proteção de dados, pois os dados coletados dos usuários podem revelar informações confidenciais devido a interações personalizadas.
Em algum momento, as plataformas de IA conversacional começam a substituir os canais de comunicação tradicionais. Em vez de mensagens de e-mail “antigas”, essas plataformas permitem a interação por meio de agentes de IA que fornecem respostas rápidas e fornecem navegação multinível em serviços de interesse quase em tempo real. A evolução da tecnologia também levou a ajustes nas táticas por adversários que buscam explorar as últimas tendências e dinâmicas no mercado global de TIC para seu próprio benefício.
A Resecurity detectou um interesse notável da comunidade cibercriminosa e de atores estatais em relação às plataformas de IA conversacional. Além disso, em 8 de outubro de 2024, a Resecurity identificou uma publicação na Dark Web relacionada à monetização de dados roubados de uma das principais soluções de call center em nuvem com tecnologia de IA no Oriente Médio. O agente da ameaça obteve acesso não autorizado ao painel de gerenciamento da plataforma, que contém mais de 10.210.800 conversas entre consumidores e agentes de IA (bots).
Notícias Relacionadas
Tecnologia móvel
OpenAI busca parceria com Samsung para integrar ChatGPT no Galaxy AI
OpenAI negocia com Samsung para usar sua tecnologia no Galaxy AI. A parceria pode integrar recursos do ChatGPT em mais de 200 milhões de dispositivos da Samsung em 2024.
Samsung apresenta Gauss2: o novo modelo de IA com operação local
Samsung lança o Gauss2, sua nova geração de IA com três modelos: Compact, Balanced e Supreme, prometendo maior eficiência, velocidade e personalização.
Dados roubados podem ser usados ??para orquestrar atividades fraudulentas avançadas, bem como para fins cibercriminosos usando IA. Comunicações violadas entre agentes de IA e consumidores também revelaram informações de identificação pessoal (PII), incluindo documentos de identidade nacionais e outros detalhes confidenciais fornecidos para atender a solicitações específicas.
O adversário pode aplicar técnicas de mineração e extração de dados para adquirir registros de interesse e usá-los em cenários avançados de phishing e outros fins ciberofensivos.
Explorando a confiança do usuário, os malfeitores poderiam solicitar que as vítimas fornecessem informações confidenciais ou organizassem certas ações (por exemplo, confirmar um OTP) que poderiam ser usadas em esquemas fraudulentos. A Resecurity prevê uma variedade de esquemas de engenharia social que poderiam ser orquestrados abusando e obtendo acesso a plataformas de IA conversacional confiáveis.
Além do problema de PII retido armazenado em comunicações entre o agente de IA e os usuários finais, os malfeitores também conseguiram atingir tokens de acesso, que poderiam ser usados ??por empresas para a implementação do serviço com APIs de serviços e aplicativos externos.
De acordo com a Resecurity, devido à penetração significativa de sistemas de IA externos na infraestrutura empresarial e ao processamento de grandes volumes de dados, sua implementação sem a avaliação de risco adequada deve ser considerada um risco emergente de segurança cibernética da cadeia de suprimentos de TI.
Os especialistas da Resecurity destacaram a necessidade de gerenciamento de confiança, risco e segurança de IA (TRiSM), bem como avaliações de impacto de privacidade (PIAs) para identificar e mitigar impactos potenciais ou conhecidos que um sistema de IA pode ter na privacidade, bem como maior atenção à segurança cibernética da cadeia de suprimentos.
As empresas precisam garantir que os sistemas de IA sejam confiáveis, fornecendo assim aos consumidores confiança em como seus dados pessoais são usados.
Via: Security Affairs
