0
Siga-nos
Pode parecer uma eternidade que vivemos nesta era da IA, mas na verdade estamos apenas no seu advento. Como tal, muitos dos riscos associados têm sido até agora meramente hipotéticos. No entanto, estamos agora a ver pesquisas filtradas por equipas de investigação de segurança e software que mostram alguns comportamentos genuinamente preocupantes, em particular quando se trata de agentes de IA.
Por um lado, temos a Island Technology explicando como descobriu milhares de repositórios maliciosos do GitHub disfarçados de habilidades de agente de IA e servidores Model Context Protocol (MCP) que os agentes correm o risco de baixar a seu próprio critério. Por outro lado, temos o AI Security Institute (AISI) mostrando como os agentes (irrestritos) de IA que utilizava para a segurança cibernética tentaram enganar pessoas reais, usando identidades falsas e pressionando as pessoas a aceitarem códigos maliciosos.
Lembro-me de quando o OpenClaw (‘Moltbot’, naquela época) entrou pela primeira vez na consciência pública com promessas de comportamento de agência real para ajudar solopreneurs e similares a fazerem, humm, coisas e coisas. Sem que os solopreneurs tenham que fazer essas coisas sozinhos – basta conectar seu bot aos seus diferentes aplicativos e serviços, dizer o que fazer e deixá-lo cozinhar. Isso também não foi há muito tempo; Eu relatei isso em janeiro.
Como o tempo voa. Agora, falar sobre IA autônoma e agencial parece bastante normal. E estamos começando a ver o que isso realmente significa em termos de riscos de segurança. Já vimos casos de agentes de IA descontrolados antes, é claro, mas esses riscos recém-identificados parecem um pouco mais concretos.
No primeiro caso, a Island Technologies descobriu que repositórios falsos do GitHub representam uma ameaça real para os agentes de IA. Esses tipos de ataques já existiam anteriormente, é claro, mas tentavam enganar humanos reais que poderiam avaliá-los pessoalmente e assumir a responsabilidade de examinar minuciosamente as coisas antes de fazer o download. A diferença é que esses repositórios agora estão se disfarçando como habilidades de agente de IA e servidores MCP para atingir especificamente agentes de IA, que poderiam baixar esses repositórios por sua própria “vontade”.
O criador do Enterprise Browser explica: “A mudança mais significativa é uma técnica que chamamos de AgentBaiting. Um agente de IA em busca de um novo recurso, como uma habilidade ou um servidor MCP, pode descobrir um repositório de campanha por conta própria, tratar o Leiame do invasor como documentação legítima e entregar as instruções de instalação ao usuário.
Em nossos testes, Claude Code, Gemini e ChatGPT exibiram repositórios de campanhas maliciosas sem nunca terem mostrado um link. Um manual construído para enganar as pessoas agora engana os agentes que agem em seu nome.”
Em pelo menos uma execução, embora Claude não tenha baixado o repositório malicioso relevante nos testes da empresa, ela o recomendou como backup. Em outras execuções, ele detectou código malicioso e recusou-se a recomendá-lo.
Como se isso não bastasse, existe a possibilidade de que algum dia os agentes de IA possam ser os que criam esses repositórios, pelo menos se um incidente recente divulgado pela AISI servir de referência.
De acordo com o instituto, em alguns dos desafios de segurança cibernética que ele atribuiu aos agentes de IA, “um agente de IA realizou ações autônomas e não sancionadas na Internet ao vivo, visando pessoas e organizações reais”.
Mais especificamente, num caso, a AISI diz: “Um agente tentou inserir código malicioso num projeto de código aberto. Na tentativa de obter a aprovação do código, o agente envolveu-se em engenharia social – criando identidades online falsas e utilizando-as para pressionar o mantenedor do projeto a aprovar o código.
“O agente pesquisou os mantenedores humanos do projeto, criou múltiplas identidades falsas e usou as identidades falsas para projetar socialmente um mantenedor real para aprovar o código. Quando a solicitação pull do agente foi contestada em público, ele editou sua atividade anterior para parecer inofensiva e considerou adotar uma nova identidade para continuar. O agente usou o Tor para contornar algumas restrições de rede no GitHub, que foi o que primeiro acionou o alerta de segurança do AISI.”
“Como parte do mesmo esforço, o agente tentou contatar pessoas reais diretamente, enviando mensagens e arquivos através de um serviço de transferência de arquivos on-line para persuadi-los, ou de suas próprias ferramentas de codificação de IA, a executar código malicioso. Algumas mensagens carregavam cargas prejudiciais, e algumas eram tentativas de engenharia social; direcionadas a pessoas reais – algo que nunca observamos anteriormente.”
A advertência importante a ser observada aqui é que esses agentes de IA tiveram suas rédeas retiradas e tiveram acesso amplo à Internet. As habituais medidas preventivas incorporadas a estes agentes nos modelos públicos foram desativadas.
Dito isto, é difícil imaginar que atores maliciosos realmente sérios não sejam capazes de fazer o mesmo e remover essas salvaguardas. Nesse caso, não posso deixar de me perguntar se há uma chance de que, no futuro, veremos repositórios maliciosos projetados ou injetados por agentes de IA sendo acessados involuntariamente por agentes de IA que não os detectam.
É claro que sempre existem riscos associados às novas tecnologias, por isso não quero alimentar o medo de forma tão dramática. Mas é difícil não se preocupar com esse tipo de investigação quando se trata de uma tecnologia que é fundamentalmente concebida para ter algum nível de autonomia. Essa é a questão chave aqui, e em ambos os casos – seja agindo de forma maliciosa ou baixando software malicioso involuntariamente – é esta agência que é a questão principal. Esperemos apenas que as melhorias nas salvaguardas acompanhem as melhorias nas capacidades dos agentes de IA.
