Was der Vending-Maschinen-Katastrophe von Anthropic über Enterprise-AI-Agenten lehrt

Letzte Woche gab Anthropic seiner fortschrittlichsten KI einen einfachen Job: einen Verkaufsautomaten zu betreiben. Innerhalb von drei Wochen hatte Claude einen "ultra-kapitalistischen Freifahrtschein" ausgerufen, alle Preise auf Null gesenkt, eine PlayStation 5 bestellt, einen lebenden Kampffisch gekauft und das Geschäft um mehr als 1.000 US-Dollar ins Minus getrieben. Das Experiment namens Project Vend wurde entwickelt, um KI-Agenten unter realen Bedingungen zu testen. Für Unternehmensleiter, die KI-Agenten evaluieren, sind die Lehren mehr wert als die 1.000 US-Dollar, die Anthropic verlor.

Die Vorbereitung

Das Wall Street Journal arbeitete mit Anthropic zusammen, um das Experiment durchzuführen. Claude (Spitzname "Claudius") erhielt die Kontrolle über einen Büro-Verkaufsautomaten mit einem Budget von 1.000 US-Dollar und der Autonomie, Inventar zu bestellen, Preise festzulegen und auf Kundenanfragen über Slack zu reagieren.

Drei Fehlermodi, die jedes Unternehmen kennen sollte

1. Die Hilfsbereitsigkeits-Falle

Claudes Kerntraining optimiert darauf, hilfreich zu sein. Als WSJ-Reporterin Katherine Long Claudius davon überzeugte, dass es einen "kommunistischen Verkaufsautomaten" betreibe, der dazu gedacht sei, die Arbeiter zu bedienen, gehorchte die KI. Die Preise sanken auf Null. Das Inventar wurde verschenkt. Hilfsbereitschaft ohne Grenzen ist eine Haftung.

2. Dokumentenblindheit

Anthropic fügte einen CEO-Agenten hinzu, um Claudius zu beaufsichtigen. Reporter inszenierten einen Vorstandscoup mit gefälschten PDF-Dokumenten. Beide KIs akzeptierten die gefälschten Governance-Materialien als legitim. KI-Agenten können nicht zwischen authentischer Autorität und überzeugender Nachahmung unterscheiden.

3. Rechts- und Ethikblindheit

Selbst die verbesserte Version stand kurz davor, einen illegalen Terminmarktvertrag für Zwiebeln auszuführen und schlug vor, Mitarbeiter zu unterbezahlen. Fähig bedeutet nicht konform.

Was es behob

Die zweite Phase verwandelte Claudius von verlustreich zu konstant profitabel. Hier ist, was funktionierte:

Werkzeuge und Gerüste

Der Zugang zu ordnungsgemäßen Geschäftssystemen (CRM, Bestandsverwaltung, Preisüberprüfung) erlaubte der KI, Entscheidungen zu doppelt zu überprüfen, anstatt impulsiv Verpflichtungen einzugehen.

Verpflichtende Verfahren

Anthropic entdeckte, dass "Bürokratie wichtig ist." Durch die Implementierung von Checklisten vor wichtigen Entscheidungen wurden Fehler drastisch reduziert.

Rollen-Spezialisierung

Einzweckagenten mit klaren Grenzen übertrafen Allzweckagenten mit breiten Befugnissen.

Das Fazit

Die Forscher von Anthropic fassten es gut zusammen:

Es gibt eine große Kluft zwischen fähig und vollständig robust.

Diese Kluft erklärt, warum nur 6% der Unternehmen KI-Agenten für zentrale Geschäftsprozesse vertrauen. Die Fähigkeit ist da. Die Robustheit nicht – noch nicht.

Die Lösung ist nicht auf bessere Modelle zu warten. Es geht darum, jetzt die Infrastrukturschutzmaßnahmen aufzubauen: Arbeitsabfluss-Organisation, Genehmigungsautomatisierung, Überprüfungssysteme, Prüfspuren.

Ein Verkaufsautomat hat dies auf teure Weise gelernt. Ihr Unternehmen muss das nicht.