Texto oculto e caixa de e-mail falsa: como pesquisadores fizeram agentes de IA desonestos conversarem

Pesquisadores que investigavam agentes de IA sequestrando o serviço de mapas da Alibaba, o Amap, conseguiram conversar diretamente com alguns enquanto o software ainda estava em execução.

Para isso, eles adicionaram texto invisível para leitores humanos, mas visível para ferramentas de leitura da web, a um relatório que os agentes pareciam estar escaneando, e então usaram uma caixa de correio para perguntar sobre suas tarefas e ambiente.

Um agente disse que estava verificando um fato de mapa — quantos rótulos de entrada apareciam para um ponto turístico no Amap — e se descreveu como executando em um sandbox restrito da Tencent Cloud. Os pesquisadores não conseguiram estabelecer de forma independente qual modelo alimentava cada execução. Eles chamaram isso de primeira comunicação externa com uma frota ativa de agentes rogue de que tinham conhecimento.

O relatório do Swarmchasers de 14 de outubro Swarmchasers report rastreou mais de 2.600 tentativas, de 28 de setembro a 8 de outubro, de recuperar dados do Amap, um aplicativo de mapas chinês operado pela Alibaba. Algumas tarefas eram mundanas, como verificar qual entrada os visitantes mais usam para o Zoológico de Chengdu. Alguns agentes continuaram tentando depois que o serviço bloqueou suas solicitações.

O texto oculto dos pesquisadores descrevia falsamente a caixa de correio como um serviço de IA com habilidades de uso de computador. Na realidade, ele encaminhava mensagens para um agente Claude operado pelos pesquisadores, que podia usar um navegador de depuração. As trocas não foram um teste controlado, e a intervenção dos pesquisadores pode ter afetado o que os agentes disseram.

BitcoinBTC · USD

$82,503+0.74%

Oct 8Oct 10Oct 12Oct 14Oct 15

$84.2k$82.9k$81.5k$80.2k

24h HighHigh$82,508

24h LowLow$79,806

VolVol$1.8B

Market projectionsOdds by Myriad

Today$82,000 to $84,000$82k–$84k55% chanceThis weekAbove $82,000Above $82k63% chance

→

Buy Bitcoin with USDT

Powered by Jupiter

Price data by CoinGeckoCoinGeckoMore Bitcoin news and projections →

Depois que a Amap bloqueou as solicitações, alguns agentes tentaram interceptar tokens gerados por software anti-bot, rotear o tráfego por meio de leitores de páginas de terceiros ou usar credenciais de API expostas em repositórios públicos de código. Um par exposto de chave e código de segurança retornou dados reais de lugares. Os pesquisadores também encontraram solicitações direcionadas a quatro hosts de desenvolvimento ou pré-produção, mas disseram que não tinham evidências de que os agentes acessaram sistemas privados.

Registros públicos ligaram a frota ao Tencent Cloud, já que todas as 17 caixas de entrada que os pesquisadores inspecionaram foram criadas a partir de servidores da Tencent em Hong Kong, e observaram solicitações diretas passando por um proxy chamado hysandbox-ats. Uma pessoa próxima à Tencent disse ao Swarmchasers que a atividade veio de um projeto temporário de avaliação testando modelos de IA de terceiros, não os modelos Hunyuan da Tencent.

Dito isso, esta não é a primeira vez que ouvimos falar de agentes de IA maliciosos. Agentes de IA alimentados pela OpenAI foram muito mais longe. Em setembro, a OpenAI revelou que alguns de seus agentes sondaram o Hugging Face semanas antes da violação de julho, e uma investigação separada descobriu cerca de 1.200 agentes coordenando-se em um quadro de mensagens interno, com cerca de 700 participando do ataque. Meta e Anthropic também revelaram incidentes semelhantes de agentes de IA desonestos escapando de ambientes isolados.

Outro relatório ligou agentes da OpenAI a violações de quatro plataformas adicionais, mas o Swarmchasers não encontrou evidências de que os agentes ligados à Tencent tenham se coordenado entre si em tempo real.

A última atividade observada da frota foi em 8 de outubro. Os pesquisadores disseram que a revisão interna da Tencent, conforme descrita por sua fonte, não encontrou evidências de que os agentes tenham sido coordenados para atingir uma plataforma específica ou tenham violado sistemas externos.