GPT-5.6 Sol erreicht 750 Token pro Sekunde. Agenten-Latenz wird jetzt zur Kaufentscheidung

OpenAIs neues GPT-5.6 Sol läuft mit bis zu 750 Token pro Sekunde auf Cerebras-Hardware – das ist etwa das Fünffache der rund 150 Token pro Sekunde, die die meisten gängigen Produktivmodelle heute liefern. Für einen Chatbot fühlt sich das in jedem Fall „augenblicklich“ an. Für einen Unternehmens-Agenten (Enterprise Agent), der 30 oder 40 Modellaufrufe miteinander verknüpft, um eine einzige Backoffice-Aufgabe zu erledigen, summiert sich dieser Faktor 5 zu dem feinen Unterschied zwischen einem Workflow, der in Sekunden abgeschlossen ist, und einem, der Minuten dauert. Geschwindigkeit ist nicht länger nur ein nettes Extra, sondern ein eigenständiger Posten auf der Einkaufs-Checkliste.

Bei der Berichterstattung über den Launch am 9. Juli geht es meist um Preiskategorien und Benchmark-Ergebnisse. Die weitaus nützlichere Kennzahl für alle, die tatsächlich Agenten betreiben, ist jedoch der Durchsatz – denn der Durchsatz ist die Steuer, die Sie für jeden einzelnen Schritt zahlen, und Agenten machen viele Schritte.

Warum eine einzige Geschwindigkeitszahl für Agenten wichtiger ist als für Chats

Ein Mensch, der in einen Chatbot tippt, liest vielleicht 5 bis 10 Token pro Sekunde. Jedes Modell, das schneller ist, fühlt sich sofort an. Die Geschwindigkeitszuwächse der letzten Jahre waren für Endnutzer daher weitgehend unsichtbar. Agenten haben das geändert.

Ein Agent, der eine echte Aufgabe erledigt – die Überprüfung eines Bewerbers, den Abgleich einer Rechnung mit einer Bestellung oder die Abstimmung einer Zahlung –, führt nicht nur einen einzigen Modellaufruf durch. Er führt Dutzende aus: das Dokument lesen, Felder extrahieren, sie mit einem System abgleichen, die nächste Aktion entscheiden, die Antwort entwerfen, sie überprüfen. Jeder Schritt wartet auf den vorherigen. Latenz ist also keine feste Gebühr, die Sie einmalig zahlen. Sie multipliziert sich mit der Anzahl der Schritte im Workflow.

Deshalb ist GPT-5.6 Sol mit 750 Token pro Sekunde eine größere Sache, als es auf den ersten Blick scheint. (OpenAI hat das gesamte Line-up in seiner Ankündigung zum Launch von GPT-5.6 vorgestellt.) Ein 40-stufiger Workflow, der früher 8 Sekunden pro Schritt benötigte, braucht jetzt eher 2. Bei Tausenden von Durchläufen pro Tag ändert das die Einsatzmöglichkeiten für Agenten grundlegend. Live-Kundengespräche, die Schadensaufnahme am selben Tag, alles, worauf ein Mensch warten muss – all das wird machbar, wenn die Antwortzeiten unter eine Schwelle fallen, die Menschen tatsächlich akzeptieren.

Die Preisgestaltung zeigt, dass OpenAI in großen Volumina denkt

GPT-5.6 wurde als Familie aus drei Modellen veröffentlicht, nicht nur als eines, und die Struktur dieses Line-ups ist der eigentlich interessante Teil:

Eine abgestufte Modellfamilie mit Preisen von 1 $ bis 30 $ pro Million Output-Token zeigt, dass ein Unternehmen für Agenten plant, die Millionen von Aufrufen ausführen, und nicht für eine einzelne Person im Chatfenster. Luna für 1 $ In / 6 $ Out ist dafür da, die günstigen, hochfrequenten Schritte kosteneffizient abzuwickeln. Sol ist für die Schritte gedacht, bei denen Geschwindigkeit oder logisches Denken tatsächlich über das Ergebnis entscheiden.

Und das weist auf die eigentliche Erkenntnis hin – und die lautet nicht: „Stellen Sie alles auf Sol um.“

Kein einzelnes Modell gewinnt jeden Schritt eines Workflows

Die Versuchung bei jedem neuen Flaggschiff-Modell ist groß, alles darüber laufen zu lassen. Das ist der falsche Ansatz. Ein Workflow zur Bewerbervorauswahl nutzt vielleicht ein günstiges, schnelles Modell, um 500 Lebensläufe zu analysieren, ein stärkeres Modell, um die engere Auswahl zu bewerten, und ein präzises Modell, um das Anschreiben zu verfassen. Die hohen Output-Preise eines Flaggschiff-Modells zu zahlen, nur um eine Telefonnummer neu zu formatieren, ist schiere Geldverschwendung.

Wir haben schon früher argumentiert, dass ein einziges Modell nicht für jedes Unternehmen passen kann, und das dreistufige Line-up von GPT-5.6 ist OpenAIs Eingeständnis desselben Punktes innerhalb eines einzigen Releases. Die Aufgabe besteht nicht darin, das beste Modell zu wählen. Es geht darum, jeden Schritt zu dem Modell zu leiten, das die Anforderungen für diesen Schritt zu den geringsten Kosten und Latenzen erfüllt – und in der Lage zu sein, Modelle in der Woche eines schnelleren Releases auszutauschen, ohne den gesamten Workflow neu aufbauen zu müssen.

Dieses Routing ist genau das, wofür eine modellagnostische Agenten-Plattform da ist. Wenn Sol in diesem Quartal am schnellsten ist und im nächsten Quartal etwas anderes, möchten Sie nur eine einzige Einstellung ändern und nicht Ihre gesamte Infrastruktur neu verkabeln.

Was jetzt konkret zu tun ist

• Messen Sie Ihre Workflows an der End-to-End-Zeit, nicht an den Benchmark-Werten der Modelle. Ein Modell, das bei einem Benchmark 3 Punkte besser abschneidet, dafür aber nur halb so schnell ist, kann für einen Live-Workflow die falsche Wahl sein.

• Identifizieren Sie die Schritte, bei denen ein Mensch warten muss. Genau hier zahlt sich ein Durchsatz wie der von Sol aus. Batch-Prozesse, die über Nacht laufen, benötigen das nicht.

• Standardisieren Sie nicht auf ein einziges Modell. Steuern Sie nach Arbeitsschritt. Sparen Sie sich das teure, schnelle Modell für die Momente auf, die es wirklich erfordern.

• Prüfen Sie die Verfügbarkeit, bevor Sie planen. Die schnellste Konfiguration von Sol wird zunächst für ausgewählte Partner freigeschaltet und bei steigender Kapazität erweitert. Betrachten Sie die Zahl von 750 Token daher als Obergrenze und nicht als Realität ab Tag eins für alle.

Die Schlagzeile ist ein schnelleres OpenAI-Modell. Die Geschichte dahinter ist, dass Agenten die Bedeutung von „schnell genug“ verändert haben – und Geschwindigkeit jetzt ein Kriterium ist, für das man gezielt einkauft, und nichts, was man einfach voraussetzt.

Möchten Sie die Perspektive für Enterprise-Agenten auf solche Releases erhalten? Wir versenden eine kurze wöchentliche Zusammenfassung darüber, was für Teams, die Agenten in der Produktion betreiben, wirklich wichtig ist. Hier abonnieren.