Schritt 4: Bewertungskriterien erstellen

Schritt 4: Bewertungskriterien erstellen

Schritt 4: Bewertungskriterien erstellen

Zugriffsagenten & Kriterien

  • Gehe zum Abschnitt Agenten & Kriterien im Beam AI Evaluierungsrahmen.

  • Wähle den Arbeitsbereich aus, der für den Agenten relevant ist, den du evaluierst.

  • Gehen Sie zum Abschnitt Agents & Criteria im Beam AI Evaluation Framework.

  • Wählen Sie den Arbeitsbereich aus, der für den Agenten relevant ist, den Sie bewerten.

  • Gehen Sie zum Abschnitt Agents & Criteria im Beam AI Evaluation Framework.

  • Wählen Sie den für den Agenten, den Sie bewerten, relevanten Arbeitsbereich aus.

  1. Wählen Sie den Agenten und den Arbeitsablauf aus

  • Wählen Sie den Agenten aus, den Sie bewerten.

  • Identifizieren Sie den spezifischen Arbeitsablauf, der mit den Testfällen verbunden ist.

  • Wählen Sie den Agenten aus, den Sie bewerten möchten.

  • Identifizieren Sie den spezifischen Ablauf, der mit den Testfällen verbunden ist.

  1. Schritte für jeden Arbeitsablauf definieren

  • Innerhalb jedes Workflows sehen Sie einzelne Schritte, die diskrete Aufgaben darstellen, die der Agent ausführen muss.

  • Jeder Schritt wird eigene spezifische Bewertungskriterien haben, um die Leistung des Agenten bei dieser Aufgabe zu messen.

  1. Bewertungskriterien für jeden Schritt festlegen

  • Klicken Sie auf einen Schritt, um seine Bewertungsdetails anzuzeigen oder zu bearbeiten.

  • Legen Sie die Bewertungstechnik fest:

    • Wählen Sie eine geeignete Technik basierend auf den Bewertungsanforderungen aus, wie z.B. die Bewertung basierend auf dem erwarteten Ergebnis.

  • Wählen Sie die Vergleichskriterien aus:

    • Dies bestimmt die Grundlage für den Vergleich, z.B. durch die Verwendung von Erwartetem Ergebnis (eine genaue, korrekte Antwort) oder Prompt (eine allgemeine Vorlage mit Platzhaltern).

  1. Bewährte Verfahren zur Auswahl zwischen erwarteter Ausgabe und Aufforderung

  • Verwendung Erwarteter Ausgabe:

    • Wenn die Antwort des Agenten exakt oder sehr spezifisch sein muss.

    • Für Aufgaben, bei denen es eine einzige, korrekte Antwort oder ein klar definiertes Ergebnis gibt.

    • Beispielszenarien umfassen Datenextraktionsaufgaben, bei denen ein bestimmtes Informationsstück (wie eine Zahl oder Kennung) korrekt extrahiert werden muss.

  • Verwendung Aufforderung:

    • Wenn Flexibilität in der Antwort benötigt wird und das Ergebnis innerhalb einer akzeptablen Struktur variieren kann.

    • Für Aufgaben, bei denen das Format wichtiger ist als die genaue Wortwahl, wie zum Beispiel beim Erstellen von Antworten mit einer bestimmten Struktur.

    • Dieser Ansatz ist geeignet, wenn Antworten variierende Details enthalten können, aber dennoch eine konsistente Vorlage erfüllen müssen.

  1. Klare und effektive erwartete Ergebnisse und Aufforderungen verfassen

  • Erwartete Ergebnisse:

    • Geben Sie die erwarteten Ergebnisse so präzise wie möglich an, indem Sie genau beschreiben, was der Agent zurückgeben soll.

    • Vermeiden Sie Mehrdeutigkeit, um sicherzustellen, dass die Antwort des Agenten genau gegen einen klaren Standard bewertet werden kann.

  • Aufforderungen:

    • Schreiben Sie Aufforderungen mit Platzhaltern für variable Elemente, wobei der Fokus auf der Struktur und den kritischen Komponenten liegt, anstatt auf der genauen Wortwahl.

    • Verwenden Sie klare Bezeichnungen in den Platzhaltern, um anzugeben, welche Art von Informationen dort eingefügt werden sollen (z. B. <Kundenname> oder <Bestellnummer>).

    • Stellen Sie sicher, dass die Aufforderung alle wesentlichen Teile der Antwort abdeckt, so dass der Agent auch bei flexibler Wortwahl die erforderliche Struktur erfüllt.

  1. Kriterien überprüfen und abschließen

  • Stellen Sie sicher, dass die Kriterien jedes Schrittes prägnant, konsistent und mit dem gewünschten Agentenverhalten abgestimmt sind.

  • Speichern Sie alle Änderungen, um die Bewertungskriterien abzuschließen.

Heute starten

Starten Sie mit KI-Agenten zur Automatisierung von Prozessen

Nutzen Sie jetzt unsere Plattform und beginnen Sie mit der Entwicklung von KI-Agenten für verschiedene Arten von Automatisierungen

Heute starten

Starten Sie mit KI-Agenten zur Automatisierung von Prozessen

Nutzen Sie jetzt unsere Plattform und beginnen Sie mit der Entwicklung von KI-Agenten für verschiedene Arten von Automatisierungen

Heute starten

Starten Sie mit KI-Agenten zur Automatisierung von Prozessen

Nutzen Sie jetzt unsere Plattform und beginnen Sie mit der Entwicklung von KI-Agenten für verschiedene Arten von Automatisierungen