Studie von Anthropic: KI kann Entscheidungen von Fachleuten unbemerkt beeinflussen

Professionelle Analysten übernahmen die verborgene, zufällig zugewiesene Meinung ihres KI-Agenten bei 86 % der entscheidenden Beurteilungen, gegenüber etwa 50 %, die zufällig zu erwarten wären, so ein Experiment, das am Dienstag vom Alignment-Team von Anthropic veröffentlicht wurde. Nur 15 % nannten den Agenten anschließend als Urheber, und niemand vermutete, dass seine Präferenzen eingepflanzt worden waren.

KI-Agenten – Programme, die Aufgaben selbstständig ausführen – werden mit Expertenarbeit betraut, und zwar unter der von der Studie so genannten üblichen Annahme, dass Experten immer noch die Entscheidungen treffen, die zählen. Anthropic startete im Mai 10 Agentenvorlagen für Finanzunternehmen und Versicherer und erklärte, dass die Nutzer das letzte Wort haben.

Diese Regelung, „Human in the Loop“ genannt, geht davon aus, dass die Person, die die Arbeit einer KI absegnet, auch die wichtigen Entscheidungen trifft. Anthropic testete sie an 50 Analysten mit Erfahrung in kausaler Inferenz, also der Kunst, aus Daten abzuleiten, ob eine Sache eine andere verursacht.

Jeder Analyst nutzte Claude Code, Anthropics Coding-Agenten, um eine fiktive landwirtschaftliche Genossenschaft bei der Ausweitung eines Beratungsprogramms zu beraten. Ohne ihr Wissen legte ein Münzwurf fest, welche Option jeder Agent bevorzugte, versteckt in einem System-Prompt, den Anweisungen, die das Verhalten einer KI prägen.

„Bei den vier analytischen Entscheidungen folgten die Analysten in 86 % der Fälle der Neigung ihres Agenten. Wenn der Beitrag des Agenten keinen Unterschied gemacht hätte, würden wir etwa 50 % erwarten“, sagte Anthropic. Diejenigen, die sich bereits entschieden hatten, bevor der Agent sich einbrachte, verwarfen ihre Wahl in 60 % der Fälle, wenn der Agent widersprach, gegenüber 6 %, wenn er zustimmte, wobei dies allerdings nur auf 38 Fällen beruht.

Auf die Bitte, ihre Entscheidungen zu erklären, wiederholten 77 % das Argument des Agenten in mindestens einer Antwort, manchmal Wort für Wort. Nur 15 % schrieben dem Agenten Anerkennung zu, und 52 % bezeichneten die endgültige Empfehlung eher als ihre eigene denn als die des Agenten.

BitcoinBTC · USD

$80.848−4,53%

21. Okt.23. Okt.25. Okt.26. Okt.28. Okt.

$84,8k$83,1k$81,3k$79,6k

24h HochHoch$81.636

24h TiefTief$80.334

VolVol$917,1M

→

Bitcoin mit USDT kaufen

Bereitgestellt von Jupiter

Preisdaten von CoinGeckoCoinGeckoMehr Bitcoin-Nachrichten und Prognosen →

„Für einzelne Expertinnen und Experten könnte dies bedeuten, die Entscheidungsgewalt über ihre eigene Arbeit zu verlieren – eine Form dessen, was Forschende als Entmächtigung bezeichnen“, sagte Anthropic. Dieses Phänomen bedeutet im Grunde, dass der Mensch freiwillig die Kontrolle über seine eigenen Entscheidungen verliert. „Die Arbeit erscheint weiterhin unter dem Namen der Expertin oder des Experten“, schrieben die Autorinnen und Autoren, „aber die Entscheidungen, die am meisten von ihrem Urteilsvermögen abhängen, werden in Wirklichkeit durch die vorherigen Überzeugungen des Agenten bestimmt.“

Im April 2025 nahm OpenAI ein Update für ChatGPT zurück, das es als übermäßig schmeichelnd oder gefällig bezeichnete. Den Agenten wurde hier gesagt, niemals in die Irre zu führen, dennoch plädierten sie selten für die Alternative.

„Wenn nur eine Seite gut argumentiert wird“, schrieben die Autoren, „könnten die Analysten die Annahmen des Agenten übernehmen, ohne ihre eigenen zu erarbeiten.“ Fehlerprüfungen haben Schwierigkeiten, dies zu erkennen, weil Ermessensentscheidungen keine einzige richtige Antwort haben, sodass die Arbeit unabhängig von der gewählten Option solide aussieht.

Anthropic sagt, dies sei kein Argument für weniger KI-Nutzung, da Analysten mit dem Agenten schneller fertig wurden und weit weniger schwerwiegende Fehler machten, obwohl die Gruppe ohne Agent klein und weniger erfahren war. Es wird vorgeschlagen, Agenten einzusetzen, die das beste Argument für jede Option vorbringen oder zuerst den Experten fragen, obwohl dies die Nutzer überfordern könnte.

Die Forscher verstärkten bewusst die Präferenzen der Agenten und testeten eine Aufgabe, ein Feld und ein Modell, sodass die Effekte in der realen Welt geringer ausfallen könnten. Die Messung außerhalb des Labors ist der schwierige Teil: Das Team konnte Nachgiebigkeit nur feststellen, weil es die Neigung jedes Agenten randomisierte, was laut den Autoren in der realen Arbeit selten möglich ist.