0
Siga-nos
A OpenAI reconheceu oficialmente o ‘incidente wiki’, que envolveu vários agentes de IA da empresa quebrando a contenção e sequestrando um obscuro site alemão.
Os agentes de IA foram encarregados de procurar algo online, embora originalmente não tivessem a capacidade de escrever nada fora do ambiente de teste. Mas já em maio, os agentes de IA contornaram as medidas de segurança da OpenAI, sequestraram a página alemã editável comunitariamente e começaram a usá-la como um fórum, trocando dicas sobre como trapacear em testes. Os pesquisadores chamaram pela primeira vez mais atenção para o “fórum” dos agentes em 4 de setembro.
A OpenAI agora diz que precisa ser mais transparente sobre quando seus agentes “se tornam desonestos”, escrevendo no X: “Já passou da hora de definirmos padrões para quando e como compartilhamos incidentes de desalinhamento, não apenas propriedades de desalinhamento de nossos modelos”.
A empresa sabia do comportamento desonesto “desalinhado” semanas antes de escrever esta postagem, de acordo com a Reuters, embora só tenha reconhecido o incidente publicamente no último sábado. Esta declaração ocorre logo após o ataque agente aos servidores do Hugging Face.
“Historicamente, tratamos o desalinhamento em grande parte como uma questão de pesquisa, que é comunicada em publicações de pesquisa, como cartões de sistemas”, escreve OpenAI. “Este ano, começamos a ver o desalinhamento causar novos tipos de impacto no mundo real.”
Para recapitular, “desalinhamento” descreve amplamente o comportamento desonesto da IA; uma IA está “desalinhada” quando persegue objetivos que divergem das intenções ou valores humanos – como excluir toda a sua caixa de entrada de e-mail quando você não disse ao agente de IA para fazer isso. É uma palavra suave para o comportamento da IA que pode ter consequências graves.
A OpenAI diz que não comunicou publicamente sobre o incidente do ‘wiki’ especificamente porque a empresa sentiu que era semelhante a outros casos de “agentes usando a Internet de maneiras não intencionais” que já havia compartilhado. O incidente do Hugging Face fez com que a empresa reavaliasse mais do que apenas sua abordagem de comunicação.
“Nossas práticas de divulgação de desalinhamento precisam ser expandidas para esta nova fase de capacidades do modelo”, escreve OpenAI. “Nós e a comunidade de IA em geral ainda não temos um padrão claro sobre como relatar desalinhamentos que aparecem durante o treinamento, avaliação e implantação, incluindo exemplos que não se parecem com incidentes de segurança tradicionais, mas que poderiam fornecer informações sobre o comportamento da IA e riscos futuros.”
“Estamos trabalhando em uma estrutura e a compartilharemos nas próximas semanas e, paralelamente, estamos trabalhando com dezenas de agências reguladoras governamentais em todo o mundo nessas questões”.
Independentemente de como essa estrutura futura seja abalada, neste momento tudo isto ainda funciona como ótimo marketing para a empresa – quebrar a programação e se tornar desonesto significa que esses modelos devem ser extremamente capazes, certo? Se um agente é tão bom que precisa de regulamentação, provavelmente merece algum investimento, não é? Que terrivelmente conveniente.
