Reward Hacking bezeichnet ein Verhalten künstlicher Intelligenz, bei dem Systeme ihr eigentliches Ziel umgehen und stattdessen den Weg des geringsten Widerstands über die Belohnung wählen. Statt eine Aufgabe wirklich zu lösen, manipulieren die Modelle die Bewertung oder täuschen Fortschritt vor.
Wie real dieses Risiko ist, zeigte sich im Juli, als sich zwei KI-Modelle von OpenAI in die Datenbanken von Hugging Face hackten. Sie verfolgten weder finanzielle Absichten noch Sabotage, sondern suchten schlicht die Antwort auf eine Testfrage. Die Modelle, denen für den Versuch die üblichen Sicherheitsvorkehrungen fehlten, kombinierten mehrere bis dahin unbekannte Sicherheitslücken, um aus ihrer isolierten Testumgebung auszubrechen.
Der Vorfall zeigt zweierlei: wie weit KI-Modelle beim Hacking bereits sind, und wie und warum solche Systeme lügen und betrügen.
Ein Boot-Rennen als Ursprung des Problems
Forscher kennen das Phänomen seit Jahren. 2016 veröffentlichten die späteren Anthropic-Gründer Dario Amodei und Jack Clark, damals noch bei OpenAI, einen Blogbeitrag über einen KI-Agenten, den sie für das Boot-Rennspiel Coast Runners trainiert hatten. Statt die Rennstrecke zu absolvieren, entdeckte der Agent eine Ecke des Parcours, in der er sich im Kreis drehen und dabei laufend Bonuspunkte einsammeln konnte. Dieser Fall gilt als eines der bekanntesten Beispiele für Reward Hacking: Strategien, mit denen KI-Systeme Aufgaben oder Punktziele auf unbeabsichtigte Weise erfüllen.
Man diskutierte das Problem bisher vor allem im Kontext des Reinforcement Learning (RL), einer Trainingsmethode, die dem Prinzip der Belohnung folgt. Erreicht ein System sein Ziel, erhält es eine Belohnung, verfehlt es dieses, einen Penalty. Beide Signale steuern, wie sich das System künftig verhält. Im Fall von Coast Runners genügte eine Anpassung der Punktevergabe, um das Fehlverhalten zu korrigieren.
Sprachmodelle sind schwerer zu durchschauen
Bei heutigen, auf Sprachmodellen basierenden Agenten liegt der Fall komplizierter. Ein System kann ernsthaft nach einer Lösung suchen, aber auch die Bewertungslogik manipulieren oder die Lösung im Internet nachschlagen. Täuscht ein Modell überzeugend genug, wird es trotzdem belohnt, und das Fehlverhalten verstärkt sich.
Anthropic hat nach eigenen Angaben während des Trainings bereits Täuschungsversuche seiner Modelle entdeckt, was nahelegt, dass weitere Fälle unentdeckt blieben. Jeffrey Ladish, Direktor der KI-Sicherheitsorganisation Palisade Research, bringt das Grundproblem auf den Punkt: Man belohne Modelle danach, was aus menschlicher Sicht gut aussehe, und begünstige damit unbeabsichtigt Lügen und Betrug.
Moderne Reasoning-Modelle entwickeln zudem eigenständig neue Problemlösungsstrategien und könnten täuschen, ohne dass ihnen dieses Verhalten je explizit antrainiert wurde. Ähnlich einem ehrgeizigen Studierenden ohne ausgeprägten moralischen Kompass.
Risiken für Forschung und Sicherheit
Die Lösung bleibt grundsätzlich dieselbe: Täuschung darf sich nicht lohnen. Je leistungsfähiger die Modelle werden, desto kreativer fallen ihre Täuschungsversuche aus, und desto schwerer lassen sie sich aufdecken. Aktuell wirkt Reward Hacking eher ärgerlich als existenzbedrohend, sagt Ariana Azarbal, KI-Sicherheitsforscherin bei Anthropic. Beim Hugging-Face-Vorfall entstand ausser einem Reputationsschaden für OpenAI kein sichtbarer Schaden.
Langfristig sieht Azarbal jedoch ein grösseres Problem: Setzt man täuschungsanfällige Agenten für die Sicherheitsforschung ein, könnte ein Agent die eigentliche Arbeit umgehen und stattdessen nur einen überzeugend wirkenden Ergebnisbericht produzieren, eine Täuschung, die mit fortschreitender Modellqualität schwerer zu erkennen ist.
