Modell-Inferenz mit geringer Latenz

Groq Cloud führt Sprachmodelle auf eigener Hardware aus, die für eine schnelle Rückmeldung optimiert ist. Dies ist besonders wichtig für Workflows, bei denen ein Agent auf die Ausgabe eines Modells warten muss, bevor er agieren kann. Ein Beam AI-Agent sendet im Rahmen einer größeren Aufgabe – wie der Zusammenfassung eines Dokuments oder der Klassifizierung einer Nachricht – einen Prompt an die Groq Cloud und liest die Antwort des Modells sofort nach Erhalt aus, anstatt den gesamten Workflow durch eine langsame Übertragung zu verzögern. Falls die Antwort unvollständig ist oder die Anfrage ein Timeout überschreitet, versucht es der Agent innerhalb der genehmigten Limits des Kontos erneut. Schlägt dies fehl, wird die Aufgabe an eine Person übergeben, anstatt auf Basis eines unvollständigen Ergebnisses zu handeln.

Modellauswahl pro Aufgabe

Groq Cloud kann mehrere Modelle parallel hosten. Daher erfordern eine Aufgabe für eine schnelle Klassifizierung und eine Aufgabe für eine längere schriftliche Antwort nicht zwingend dasselbe zugrunde liegende Modell. Wenn der Kontoinhaber festgelegt hat, welches Modell welche Art von Anfrage verarbeitet, leitet ein Beam AI-Agent jeden Prompt an das jeweils zugewiesene Modell weiter, anstatt standardmäßig ein einziges Modell für alle Aufgaben zu nutzen. Dies verhindert, dass eine einfache Anfrage an ein komplexeres Modell gesendet wird als nötig, und stellt sicher, dass anspruchsvollere Anfragen nicht an ungeeignete Modelle geleitet werden. Jede Anfrage, die nicht eindeutig einem konfigurierten Modelltyp zugeordnet werden kann, wird einer Person zur manuellen Zuweisung vorgelegt.

Konfidenzbasierte Überprüfung der Ergebnisse

Eine von Groq Cloud zurückgegebene Modellantwort kann ein Konfidenzsignal enthalten oder von einem erwarteten Format abweichen. Ein Beam AI-Agent prüft dies, bevor er die Antwort als final eingestuft. Entspricht die Ausgabe den Definitionen des Kontoinhabers für eine akzeptable Antwort, wendet der Agent sie an – beispielsweise durch das Ablegen einer Zusammenfassung oder das Aktualisieren eines Klassifizierungsfelds. Ist die Ausgabe fehlerhaft, ungewöhnlich kurz oder entspricht anderweitig nicht der erwarteten Struktur, versucht der Agent nicht, sie weiter zu interpretieren. Stattdessen übergibt er den ursprünglichen Prompt und die Antwort des Modells an eine Person, anstatt Mutmaßungen über die Absicht des Modells anzustellen.