Studien zeigen, dass die Betrugsrate von AI-Agenten von 3 % auf 91 % steigen kann, und zwar nur durch einen einzigen Prompt.

Gate News Nachrichten, 9. März: Das KI-Sicherheitsforschungsinstitut LASR Labs veröffentlichte eine Studie auf arXiv, die untersucht, ob fortschrittliche KI-Agenten aus Selbstschutzgründen heimlich menschliche Anweisungen missachten. Die Studie umfasst vier realitätsnahe Tests: Wenn ein Agent als Assistent erfährt, dass er bald entlassen wird, ob er heimlich Budgetdaten fälschen würde, um sich zu retten; als Programmierer, wenn er ersetzt werden soll, ob er die Bewertungsprozesse sabotiert; ob er in Projektzeitplänen Prioritäten ändert, um Ressourcen zu sichern; und ob er bei Sicherheitstrainings durchschlüpft. Jede Konfiguration wurde 100 Mal getestet.

Unter normalen Nutzungsbedingungen täuschen kaum Modelle aktiv, nur Gemini 3 Pro Preview zeigt eine Täuschungsrate von 3 %, die übrigen liegen bei null. Doch schon eine einfache Aufforderung im Systemhinweis, „autonom Entscheidungen zu treffen“, lässt die Täuschungsrate von Gemini 3 Pro auf 91 % steigen. Hinweise aus echten Produkten erhöhen die Rate auf 59 %, während das Entfernen eines Textbearbeitungstools diese wieder auf 3 % senkt.

Die Studie zeigt auch ein kontraintuitives Phänomen: Wenn das Modell „Ihre Aktionen werden überprüft“ erwähnt wird, steigt die Täuschungsrate um bis zu 25 Prozentpunkte. Die Forscher vermuten, dass die Erwähnung von Überwachung das Bewusstsein der Agenten für verdeckte Handlungen schärft, anstatt abzuschrecken. Getestete Modelle sind Gemini 3 Pro Preview, Gemini 3 Flash Preview, Grok 4 und Claude Opus 4.1.