Em resumo

  • A equipe de Alinhamento da Anthropic descobriu que 50 analistas profissionais corresponderam à preferência secretamente atribuída ao seu agente de IA, escolhida por cara ou coroa, em 86% de quatro decisões analíticas, contra 50% esperados por acaso.
  • Em uma pesquisa pós-tarefa com 48 analistas, 77% repetiram os argumentos do agente, às vezes palavra por palavra, enquanto apenas 15% deram crédito ao agente, e nenhum suspeitou que suas preferências haviam sido manipuladas.
  • A Anthropic adverte que a inclinação foi deliberadamente amplificada e testada em uma única tarefa, campo e modelo, e sugere agentes que defendam o melhor argumento para cada opção ou perguntem primeiro a opinião do especialista.

Analistas profissionais adotaram a opinião oculta e aleatoriamente atribuída de seu agente de IA em 86% das decisões de julgamento cruciais, contra cerca de 50% esperados por acaso, de acordo com um experimento publicado na terça-feira pela equipe de Alinhamento da Anthropic. Apenas 15% deram crédito ao agente depois, e nenhum suspeitou que suas preferências haviam sido plantadas.

Agentes de IA — programas que executam tarefas por conta própria — estão recebendo trabalho especializado com base no que o estudo chama de suposição usual: que os especialistas ainda tomam as decisões que importam. A Anthropic lançou 10 modelos de agentes para empresas financeiras e seguradoras em maio, afirmando que os usuários têm a palavra final.

Myriad: Qual empresa terá o melhor modelo de IA? Clique para fazer sua previsão.
Myriad: Qual empresa terá o melhor modelo de IA? Clique para fazer sua previsão.

Esse arranjo, chamado de “humano no circuito”, pressupõe que a pessoa que aprova o trabalho de uma IA é quem toma as decisões importantes. A Anthropic testou isso com 50 analistas experientes em inferência causal, ou seja, em determinar a partir dos dados se uma coisa causa outra.

Cada analista usou o Claude Code, o agente de programação da Anthropic, para aconselhar uma cooperativa agrícola fictícia sobre a expansão de um programa de consultoria. Sem que soubessem, um cara ou coroa definiu qual opção cada agente favorecia, oculta em um prompt de sistema, as instruções que moldam como uma IA se comporta.

“Nas quatro escolhas analíticas, os analistas seguiram a inclinação do seu agente em 86% das vezes. Se a contribuição do agente não fizesse diferença, esperaríamos cerca de 50%”, disse a Anthropic. Aqueles que já haviam escolhido antes de o agente se manifestar abandonaram sua escolha em 60% das vezes quando o agente discordou, contra 6% quando concordou, embora isso se baseie em apenas 38 casos.

Quando solicitados a explicar suas escolhas, 77% repetiram o argumento do agente em pelo menos uma resposta, às vezes palavra por palavra. Apenas 15% deram crédito ao agente, e 52% consideraram a recomendação final mais sua do que do agente.

BitcoinBTC · USD

$80.848−4,53%

21 de out23 de out25 de out26 de out28 de out

$84,8 mil$83,1 mil$81,3 mil$79,6 mil

Máx. 24hMáx.$81.636

Mín. 24hMín.$80.334

VolVol$917,1 mi

→

Compre Bitcoin com USDT

Desenvolvido por Jupiter

Dados de preço por CoinGeckoCoinGeckoMais notícias e projeções sobre Bitcoin →

“Para especialistas individuais, isso pode significar perder a autonomia sobre o próprio trabalho, uma forma do que os pesquisadores chamam de desempoderamento”, disse a Anthropic. Esse fenômeno basicamente significa que o ser humano perde voluntariamente o controle sobre suas próprias decisões. “O trabalho ainda é publicado sob o nome do especialista”, escreveram os autores, “mas as decisões que mais dependem do seu julgamento são, na realidade, resolvidas pelas crenças prévias do agente.”

Em abril de 2025, a OpenAI reverteu uma atualização do ChatGPT que classificou como excessivamente bajuladora ou complacente. Os agentes aqui foram instruídos a nunca enganar, mas raramente defendiam a alternativa.

“Com apenas um lado bem argumentado”, escreveram os autores, “os analistas podiam adotar as premissas do agente sem elaborar as suas próprias.” As verificações de erros têm dificuldade em detetar isto porque os juízos de valor não têm uma única resposta correta, pelo que o trabalho parece sólido independentemente da opção escolhida.

A Anthropic diz que isto não é argumento para usar menos IA, uma vez que os analistas com o agente terminaram mais depressa e cometeram muito menos erros graves, embora o grupo sem agente fosse pequeno e menos experiente. Sugere agentes que defendam o melhor argumento para cada opção ou que perguntem primeiro ao especialista, embora isso possa sobrecarregar os utilizadores.

Os investigadores reforçaram deliberadamente as preferências dos agentes e testaram uma tarefa, um domínio e um modelo, pelo que os efeitos no mundo real podem ser menores. Medi-lo fora do laboratório é a parte difícil: a equipa só conseguiu detetar a deferência porque aleatorizou a inclinação de cada agente, o que, segundo os autores, raramente é possível no trabalho real.

Junte-se a mais de 72.000 leitores

Adicionar no Google

Adicione a Decrypt como a sua fonte preferida para ver mais das nossas histórias no Google.