Schritt 1: Führen Sie das Dataset aus
Auf den Datensatz zugreifen
Wechseln Sie zum Abschnitt Bewertungsdatensätze und wählen Sie den relevanten Datensatz für den Agenten aus, den Sie optimieren möchten.
Datensatz ausführen
Klicken Sie auf Datensatz ausführen, um den Test zu starten. Dadurch werden alle Eingaben an den Agenten gesendet, sodass dieser sie basierend auf den definierten Workflows und erwarteten Ausgaben verarbeiten kann.
Schritt 2: Erhalten Sie die Bewertungsergebnisse
Zugriff auf Workflow-Genauigkeit
Gehen Sie zum Abschnitt Workflow-Genauigkeit, sobald der Datensatz fertig ist.
Wählen Sie den jüngsten Bewertungsdurchlauf aus, um die Genauigkeitsergebnisse anzuzeigen.
Bewertungskriterien anzeigen
Überprüfen Sie wichtige Kennzahlen, wie Genauigkeit der Workflow-Übereinstimmung und Workflow-Genauigkeit, um zu sehen, wie gut der Agent in verschiedenen Workflows abgeschnitten hat.
Genauigkeit der Workflow-Übereinstimmung zeigt die Erfolgsrate für jeden Workflow an und weist auf spezifische Bereiche hin, in denen der Agent möglicherweise nicht so gut abschneidet.
Erhalten Sie detaillierte Ergebnisse
Klicken Sie auf Bewertungsergebnisse abrufen, um eine detailliertere Aufschlüsselung jedes Schritts zu erhalten und zu sehen, wie die Ergebnisse des Agenten mit den erwarteten Ergebnissen verglichen werden.
Schritt 3: Analysieren Sie, was schiefgelaufen ist
Unterdurchschnittliche Arbeitsabläufe identifizieren
Überprüfen Sie Arbeitsabläufe mit niedrigeren Genauigkeitswerten, um herauszufinden, mit welchen Arten von Aufgaben der Agent Schwierigkeiten hat.
Schritt-für-Schritt-Ergebnisse überprüfen
Analysieren Sie für jeden leistungsschwachen Workflow die spezifischen Schritte, bei denen das Ergebnis des Agenten nicht mit dem erwarteten Ergebnis übereinstimmte.
Untersuchen Sie individuelle Fehler oder Diskrepanzen, um häufige Probleme zu verstehen, wie Fehlinterpretationen, fehlende Informationen oder fehlerhafte Formatierung.
Muster erkennen
Bestimmen Sie, ob es wiederkehrende Probleme über mehrere Schritte oder Workflows hinweg gibt. Dies kann Bereiche hervorheben, in denen der Agent Verbesserungen benötigt, wie beispielsweise beim besseren Umgang mit mehrdeutigen Daten oder beim Befolgen strukturierter Anweisungen.
Schritt 4: Optimieren Sie den Agenten
Trainingsdaten oder Workflow-Logik verfeinern
Basierend auf Ihrer Analyse aktualisieren Sie die Trainingsdaten des Agenten, um bestimmte Schwächen zu beheben.
Passen Sie die Workflow-Logik oder die Antwortvorlagen des Agenten an, um besser mit den erwarteten Ergebnissen übereinzustimmen.
Erwartete Ergebnisse oder Eingabeaufforderungen verbessern
Aktualisieren Sie erwartete Ergebnisse und Aufforderungen nach Bedarf, um dem Agenten klarere Anweisungen zu geben.
Stellen Sie sicher, dass die Bewertungskriterien die gewünschten Ergebnisse genau widerspiegeln und akzeptable Variationen nicht versehentlich benachteiligen.
Änderungen in einem kleineren Datensatz testen (Optional)
Wenn wesentliche Änderungen vorgenommen wurden, sollten Sie die Verbesserungen an einem kleineren Teil des Datensatzes testen, um sicherzustellen, dass die Updates effektiv sind.
Schritt 5: Datensatz erneut ausführen
Den Datensatzdurchlauf wiederholen
Führen Sie den Datensatz erneut aus, um den optimierten Agenten zu testen. Dies ermöglicht Ihnen zu überprüfen, ob die Änderungen die Leistung verbessert haben.
Ergebnisse vergleichen
Überprüfen Sie die aktualisierten Genauigkeitsbewertungen und Bewertungsergebnisse, um Verbesserungen in den Arbeitsabläufen und Schritten zu bestätigen, die zuvor unzureichend waren.
Iterieren Sie bei Bedarf
Führen Sie diesen Prozess iterativ fort und verfeinern Sie den Agenten basierend auf jedem Evaluationszyklus, bis Sie eine zufriedenstellende Leistung über alle Workflows hinweg erreichen.