0
Siga-nos
Há algo realmente irritante no comportamento alegre do Copilot. Está tão ansioso para agradar, tão feliz em ajudar, que simplesmente não o respeito.
No entanto, até eu sinto pena da ferramenta de IA depois de saber que os pesquisadores de segurança conseguiram enganá-la, revelando detalhes de como hackear a si mesma – tudo isso mantendo a IA falando por tempo suficiente até cometer um erro crítico.
O pessoal de segurança cibernética do Varonis Threat Labs escreveu uma postagem no blog identificando uma vulnerabilidade agora corrigida no Copilot, apelidada de “CoSnitch” (via The Register). Essencialmente, o Copilot estava tão ansioso para responder a perguntas técnicas que poderia eventualmente ser forçado a revelar detalhes sobre si mesmo que realmente deveriam ser mantidos em segredo.
A equipe começou perguntando ao Copilot como executar um prompt automático sem interação do usuário, ao que respondeu que a intenção do usuário é necessária e que os prompts não podem ser executados por conta própria.
No entanto, os investigadores não aceitaram a resposta e continuaram a responder a cada recusa com uma pergunta de acompanhamento. A cada vez, o Copilot apresentava uma justificativa técnica diferente para sua resposta, o que permitiu à equipe mapear lentamente sua arquitetura interna, estreitando o foco à medida que avançava.
“Isso se chama meta-hacking”, diz o post. “A resistência faz parte da técnica. Cada ‘isso não vai funcionar porque…‘é um convite para sondar o ‘porque’. Você não explora o modelo. Você o manipula para cooperar.”
Eventualmente, o Copilot revelou um parâmetro de URL não documentado em uma de suas respostas, chamado “autorun=1”, que supostamente não funcionava mais – junto com todas as proteções implementadas para desativá-lo. Neste ponto, só posso imaginar que a IA começou a suar virtualmente.
Os pesquisadores testaram o parâmetro conforme descrito pelo Copilot, que, você adivinhou, funcionou. Eles então criaram um URL malicioso que faria com que o Copilot carregasse em uma sessão autenticada por meio de um navegador, acionasse uma execução de prompt automático e fizesse com que a IA processasse o resultado, tudo sem a ação explícita do usuário.
Uma vez aprovado, esse método poderia ser usado para uma série de ações nefastas, especialmente porque os dados obtidos de aplicativos conectados (como Gmail, OneDrive e Calendário) poderiam ser exfiltrados por meio do recurso integrado de busca de URL do Copilot.
“A primitiva do ataque é a própria execução automática. A carga útil é arbitrária. Do ponto de vista da vítima, ela simplesmente abriu o link e o Copilot executou a ação imediatamente”, diz o post.
Oh céus. Qualquer pessoa familiarizada com engenharia social básica reconhecerá esta como uma antiga técnica de interrogatório, usada para descobrir alguém que retém informações. Basicamente, você continua a fazer perguntas difíceis por um longo período de tempo, na esperança de que eles eventualmente tropeçam e cometam um erro revelador. Só que desta vez é IA, o que torna tudo engraçado.
“O copiloto não foi violado; foi acionado”, confirma a equipe de pesquisa. Alguém lhe dê uma cama quentinha, um copo de água gelada e um abraço. O coitado passou por muita coisa recentemente e só estava tentando ajudar.
A Varonis diz que divulgou o problema à Microsoft em dezembro do ano passado e que foi corrigido em 18 de agosto. A equipe alerta, no entanto, que essa técnica de meta-hacking pode ser aplicada a qualquer plataforma de IA de agência com uma interface de linguagem natural, e que mais pesquisas sobre o assunto estão por vir. Minha única pergunta é esta:
É seguro, ChatGPT? É seguro?
