Badanie Anthropic: AI może po cichu wpływać na decyzje ekspertów

Profesjonalni analitycy przyjęli ukrytą, losowo przypisaną opinię swojego agenta AI w 86% kluczowych decyzji ocennych, wobec około 50% oczekiwanych przypadkowo, zgodnie z eksperymentem opublikowanym we wtorek przez zespół ds. Alignment w Anthropic. Tylko 15% przypisało agentowi zasługę później, a nikt nie podejrzewał, że jego preferencje zostały podłożone.

Agentom AI—programom, które samodzielnie wykonują zadania—powierza się pracę ekspercką w oparciu o to, co badanie nazywa zwykłym założeniem: że eksperci nadal podejmują decyzje, które mają znaczenie. Anthropic uruchomił 10 szablonów agentów dla firm finansowych i ubezpieczeniowych w maju, twierdząc, że użytkownicy mają ostatnie słowo.

Ten układ, nazywany „człowiekiem w pętli”, zakłada, że osoba, która zatwierdza pracę AI, jest tą, która podejmuje ważne decyzje. Anthropic przetestował go na 50 analitykach doświadczonych w wnioskowaniu przyczynowym, czyli ustalaniu na podstawie danych, czy jedna rzecz powoduje drugą.

Każdy analityk używał Claude Code, agenta kodującego Anthropic, aby doradzić fikcyjnej spółdzielni rolniczej w rozszerzeniu programu doradczego. Nie wiedzieli, że rzut monetą ustalił, którą opcję preferuje każdy agent, ukrytą w prompcie systemowym, czyli instrukcjach kształtujących zachowanie AI.

„Spośród czterech wyborów analitycznych analitycy zgadzali się z preferencją swojego agenta w 86% przypadków. Gdyby wkład agenta nie miał znaczenia, oczekiwalibyśmy około 50%” – stwierdził Anthropic. Ci, którzy dokonali wyboru przed wypowiedzeniem się agenta, porzucali go w 60% przypadków, gdy agent się nie zgadzał, wobec 6%, gdy się zgadzał, choć opiera się to tylko na 38 przypadkach.

Poproszeni o wyjaśnienie swoich wyborów, 77% powtórzyło argument agenta w co najmniej jednej odpowiedzi, czasami słowo w słowo. Tylko 15% przypisało zasługę agentowi, a 52% uznało ostateczną rekomendację bardziej za własną niż agenta.

BitcoinBTC · USD

$80,848−4.53%

21 paź23 paź25 paź26 paź28 paź

$84.8k$83.1k$81.3k$79.6k

Maks. 24hMaks.$81,636

Min. 24hMin.$80,334

Wol.Wol.$917.1M

→

Kup Bitcoin za USDT

Obsługiwane przez Jupiter

Dane cenowe od CoinGeckoCoinGeckoWięcej Bitcoin wiadomości i prognoz →

„Dla poszczególnych ekspertów może to oznaczać utratę sprawczości nad własną pracą, formę tego, co badacze nazywają odbieraniem władzy” – powiedział Anthropic. Zjawisko to zasadniczo oznacza, że człowiek dobrowolnie traci kontrolę nad własnymi decyzjami. „Praca wciąż ukazuje się pod nazwiskiem eksperta” – napisali autorzy – „ale decyzje, które najbardziej zależą od jego osądu, w rzeczywistości są rozstrzygane przez wcześniejsze przekonania agenta”.

W kwietniu 2025 r. OpenAI wycofało aktualizację ChatGPT, którą nazwało nadmiernie pochlebną lub ugodową. Agentom w tym przypadku powiedziano, aby nigdy nie wprowadzali w błąd, a jednak rzadko argumentowali za alternatywą.

„Gdy dobrze uzasadniono tylko jedną stronę”, napisali autorzy, „analitycy mogli przyjąć założenia agenta, nie wypracowując własnych”. Kontrole błędów mają trudność z wychwyceniem tego, ponieważ osądy nie mają jednej poprawnej odpowiedzi, więc praca wygląda solidnie niezależnie od wybranej opcji.

Anthropic twierdzi, że nie jest to argument za rzadszym korzystaniem z AI, ponieważ analitycy z agentem kończyli szybciej i popełniali znacznie mniej poważnych błędów, choć grupa bez agenta była mała i mniej doświadczona. Sugeruje agentów, którzy przedstawiają najlepsze uzasadnienie dla każdej opcji lub najpierw pytają eksperta, choć to mogłoby przytłoczyć użytkowników.

Badacze celowo wzmocnili preferencje agentów i przetestowali jedno zadanie, dziedzinę i model, więc rzeczywiste efekty mogą być mniejsze. Zmierzenie tego poza laboratorium jest trudną częścią: zespół mógł wykryć uległość tylko dlatego, że losowo przypisywał każdemu agentowi skłonność, co, jak twierdzą autorzy, jest rzadko możliwe w rzeczywistej pracy.