Zugriff auf Foundation-Modelle

Vertex AI bietet Zugriff auf mehr als einhundert Foundation-Modelle für Text, Code und andere Formate, die je nach Aufgabe ausgewählt werden können, anstatt an ein einzelnes Modell gebunden zu sein. Ein Beam-Agent leitet einen Prompt an dasjenige Modell weiter, das durch eine genehmigte Regel für diese Aufgabe zugewiesen wurde – beispielsweise ein bestimmtes Modell für das Entwerfen von Antworten und ein anderes für das Zusammenfassen von Dokumenten – und liest die Antwort des Modells aus. Er wählt oder wechselt Modelle nicht selbstständig. Eine Antwort, die leer bleibt, einen Fehler verursacht oder bei der modellinternen Konfidenzmessung schlecht abschneidet, wird direkt an einen Mitarbeiter zur Bearbeitung weitergeleitet.

Konversationsbasierte Suche

Mit den Search- und Conversation-Tools von Vertex AI kann eine Anwendung eine Frage beantworten, indem sie auf eine verknüpfte Gruppe von Dokumenten zugreift, anstatt sich nur auf das allgemeine Training des Modells zu verlassen. Ein Beam-Agent leitet eine Kunden- oder interne Frage an eine genehmigte Konfiguration für die konversationsbasierte Suche weiter und gibt die erhaltene, fundierte Antwort zusammen mit dem zitierten Quelldokument zurück. Er verwaltet den zugrunde liegenden Dokumentenbestand nicht selbst. Eine Frage, für die die Suche keine Quelle finden kann, oder eine Antwort, die ein als veraltet markiertes Dokument zitiert, wird direkt an einen Mitarbeiter zur Beantwortung weitergeleitet.

Prediction-Endpoints

Ein auf Vertex AI bereitgestelltes Modell ist über einen Prediction-Endpoint erreichbar, der eine Eingabe entgegennimmt und ein bewertetes Ergebnis zurückgibt, wie z. B. eine Klassifizierung oder eine Rangliste. Ein Beam-Agent ruft den Endpoint auf, auf den eine genehmigte Regel für eine bestimmte Aufgabe verweist, liest das zurückgegebene Ergebnis und agiert entsprechend, z. B. durch das Taggen eines Datensatzes oberhalb eines vereinbarten Konfidenzniveaus. Er nimmt keine Bereitstellung oder ein erneutes Training des Modells hinter dem Endpoint vor. Vorhersagen unterhalb des Konfidenzniveaus oder ein Endpoint, der einen Fehler zurückgibt, werden an einen Mitarbeiter weitergeleitet, um den Fall manuell zu entscheiden.