Schritt 1: Führen Sie das Dataset aus
Auf den Datensatz zugreifen
Wechseln Sie zum Abschnitt Bewertungsdatensätze und wählen Sie den relevanten Datensatz für den Agenten aus, den Sie optimieren möchten.
Datensatz ausführen
Klicken Sie auf Datensatz ausführen, um den Test zu starten. Dadurch werden alle Eingaben an den Agenten gesendet, sodass dieser sie basierend auf den definierten Workflows und erwarteten Ausgaben verarbeiten kann.
Schritt 2: Erhalten Sie die Bewertungsergebnisse
Zugriff auf Workflow-Genauigkeit
Gehen Sie nach Abschluss des Datensatzlaufs zum Abschnitt Ablaufgenauigkeit.
Wählen Sie den letzten Bewertungsdurchlauf aus, um die Genauigkeitsergebnisse anzuzeigen.
Bewertungskriterien anzeigen
Überprüfen Sie wichtige Kennzahlen, wie Workflow-Übereinstimmungsgenauigkeit und Workflow-Genauigkeit, um zu sehen, wie gut der Agent in verschiedenen Workflows abgeschnitten hat.
Workflow-Übereinstimmungsgenauigkeit zeigt die Erfolgsrate für jeden Workflow an und weist auf spezifische Bereiche hin, in denen der Agent möglicherweise unterperformt.
Erhalten Sie detaillierte Ergebnisse
Klicken Sie auf Auswertungsergebnisse abrufen, um eine detailliertere Aufschlüsselung jedes Schrittes und wie die Ergebnisse des Agenten mit den erwarteten Ergebnissen verglichen werden, zu erhalten.
Schritt 3: Analysieren Sie, was schiefgelaufen ist
Unterdurchschnittliche Arbeitsabläufe identifizieren
Überprüfen Sie Arbeitsabläufe mit niedrigeren Genauigkeitswerten, um herauszufinden, mit welchen Arten von Aufgaben der Agent Schwierigkeiten hat.
Schritt-für-Schritt-Ergebnisse überprüfen
Analysieren Sie für jeden unterdurchschnittlichen Workflow die spezifischen Schritte, bei denen das Ergebnis des Agenten nicht mit dem erwarteten Ergebnis übereinstimmte.
Betrachten Sie einzelne Fehler oder Abweichungen, um häufige Probleme zu verstehen, wie z.B. Fehlinterpretationen, fehlende Informationen oder falsches Formatieren.
Muster erkennen
Bestimmen Sie, ob es wiederkehrende Probleme über mehrere Schritte oder Workflows hinweg gibt. Dies kann Bereiche hervorheben, in denen der Agent Verbesserungen benötigt, wie beispielsweise beim besseren Umgang mit mehrdeutigen Daten oder beim Befolgen strukturierter Anweisungen.
Schritt 4: Optimieren Sie den Agenten
Trainingsdaten oder Workflow-Logik verfeinern
Basierend auf Ihrer Analyse, aktualisieren Sie die Trainingsdaten des Agenten, um spezifische Schwächen zu beheben.
Passen Sie die Arbeitsablauflogik oder die Antwortvorlagen des Agenten an, um besser mit den erwarteten Ergebnissen übereinzustimmen.
Erwartete Ergebnisse oder Eingabeaufforderungen verbessern
Aktualisieren Sie erwartete Ergebnisse und Eingabeaufforderungen nach Bedarf, um dem Agenten klarere Anweisungen zu geben.
Stellen Sie sicher, dass die Bewertungskriterien die gewünschten Ergebnisse genau widerspiegeln und keine akzeptablen Variationen unbeabsichtigt benachteiligen.
Änderungen in einem kleineren Datensatz testen (Optional)
Wenn wesentliche Änderungen vorgenommen wurden, sollten Sie die Verbesserungen an einem kleineren Teil des Datensatzes testen, um sicherzustellen, dass die Updates effektiv sind.
Schritt 5: Datensatz erneut ausführen
Den Datensatzdurchlauf wiederholen
Führen Sie den Datensatz erneut aus, um den optimierten Agenten zu testen. Dies ermöglicht Ihnen zu überprüfen, ob die Änderungen die Leistung verbessert haben.
Ergebnisse vergleichen
Überprüfen Sie die aktualisierten Genauigkeitsbewertungen und Bewertungsergebnisse, um Verbesserungen in den Arbeitsabläufen und Schritten zu bestätigen, die zuvor unzureichend waren.
Iterieren Sie bei Bedarf
Führen Sie diesen Prozess iterativ fort und verfeinern Sie den Agenten basierend auf jedem Evaluationszyklus, bis Sie eine zufriedenstellende Leistung über alle Workflows hinweg erreichen.