Zugriffsagenten & Kriterien
Gehen Sie zum Abschnitt Agenten & Kriterien im Beam AI Evaluierungsrahmen.
Wählen Sie den für den Agenten relevanten Arbeitsbereich aus, den Sie bewerten möchten.
Wählen Sie den Agenten und den Arbeitsablauf aus
Wählen Sie den Agenten, den Sie evaluieren.
Identifizieren Sie den spezifischen Workflow, der mit den Testfällen verbunden ist.
Schritte für jeden Arbeitsablauf definieren
Innerhalb jedes Workflows sehen Sie einzelne Schritte, die diskrete Aufgaben darstellen, die der Agent erledigen muss.
Jeder Schritt wird eigene spezifische Bewertungskriterien haben, um die Leistung des Agents bei dieser Aufgabe zu messen.
Bewertungskriterien für jeden Schritt festlegen
Klicken Sie auf einen Schritt, um dessen Bewertungsdetails anzuzeigen oder zu bearbeiten.
Definieren Sie die Bewertungstechnik:
Wählen Sie eine geeignete Technik basierend auf den Bewertungsanforderungen, wie z.B. eine Bewertung basierend auf erwarteten Ergebnissen.
Wählen Sie die Überprüfungskriterien aus:
Dies bestimmt die Vergleichsbasis, wie z.B. die Verwendung von Erwartetes Ergebnis (eine präzise, korrekte Antwort) oder Vorlage (eine allgemeine Vorlage mit Platzhaltern).
Bewährte Verfahren zur Auswahl zwischen erwarteter Ausgabe und Aufforderung
Verwenden Sie Erwartete Ausgabe:
Wenn die Antwort des Agenten genau oder sehr spezifisch sein muss.
Für Aufgaben, bei denen es eine einzige, korrekte Antwort oder ein eng definiertes Ergebnis gibt.
Beispielszenarien umfassen Datenextraktionsaufgaben, bei denen ein spezifisches Informationsstück (wie eine Nummer oder Kennung) korrekt extrahiert werden muss.
Verwenden Sie Prompt:
Wenn Flexibilität in der Antwort benötigt wird und die Ausgabe innerhalb einer akzeptablen Struktur variieren kann.
Für Aufgaben, bei denen das Format wichtiger ist als die genaue Wortwahl, wie bei der Erstellung von Antworten mit einer spezifischen Struktur.
Dieser Ansatz ist geeignet, wenn Antworten unterschiedliche Details enthalten können, aber dennoch eine konsistente Vorlage erfüllen sollten.
Klare und effektive erwartete Ergebnisse und Aufforderungen verfassen
Erwartete Ergebnisse:
Schreiben Sie die erwarteten Ergebnisse so präzise wie möglich und geben Sie genau an, was der Agent zurückgeben soll.
Vermeiden Sie Mehrdeutigkeit, um sicherzustellen, dass die Antwort des Agents genau nach einem klaren Standard bewertet werden kann.
Prompts:
Schreiben Sie Eingabeaufforderungen mit Platzhaltern für variable Elemente, wobei der Schwerpunkt auf der Struktur und den kritischen Komponenten liegt, anstatt auf spezifische Formulierungen.
Verwenden Sie klare Bezeichnungen in den Platzhaltern, um anzugeben, welche Art von Informationen dort eingefügt werden sollen (z. B.
<Kundenname>oder<Bestellnummer>).Stellen Sie sicher, dass die Eingabeaufforderung alle wesentlichen Teile der Antwort abdeckt, sodass der Agent auch bei flexibler Wortwahl die erforderliche Struktur einhält.
Kriterien überprüfen und abschließen
Stellen Sie sicher, dass die Kriterien jedes Schritts prägnant, konsistent und mit dem gewünschten Agentenverhalten abgestimmt sind.
Speichern Sie alle Änderungen, um die Bewertungskriterien abzuschließen.