Agentes de acceso y criterios
Vaya a la sección Agentes y criterios en el marco de evaluación de Beam AI.
Seleccione el espacio de trabajo correspondiente al agente que está evaluando.
Seleccione el espacio de trabajo correspondiente al agente que está evaluando.
Seleccione el espacio de trabajo correspondiente al agente que está evaluando
Seleccione el Agente y el Flujo de Trabajo
Seleccione el agente que está evaluando.
Identifique el flujo de trabajo específico asociado a los casos de prueba.
Defina los pasos de cada flujo de trabajo
Dentro de cada flujo de trabajo, verá pasos individuales que representan tareas discretas que el agente debe completar.
Cada paso tendrá sus propios criterios de evaluación específicos para medir el rendimiento del agente en esa tarea.
Los criterios de evaluación de cada paso son los mismos que los de cada flujo de trabajo
Establezca criterios de evaluación para cada paso
Haga clic en un paso para ver o editar sus detalles de evaluación.
Defina la Técnica de evaluación:
Elija una técnica adecuada en función de las necesidades de evaluación, como la puntuación basada en los resultados esperados.
Seleccione Comprobar con criterios:
Esto determina la base para la comparación, como utilizar Resultado esperado (una respuesta precisa y correcta) o Prompt (una plantilla general con marcadores de posición)
Mejores prácticas para elegir entre la salida esperada y el aviso
Utilizar Salida Esperada:
Cuando la respuesta del agente debe ser exacta o muy específica.
Para tareas en las que hay una única respuesta correcta o un resultado muy definido.
Ejemplos de escenarios incluyen tareas de extracción de datos, en las que una información concreta (como un número o identificador) debe extraerse correctamente.
Utilizar Prompt:
Cuando se necesita flexibilidad en la respuesta, y el resultado puede variar dentro de una estructura aceptable.
Para tareas en las que el formato es más importante que la redacción exacta, como generar respuestas con una estructura específica.
Este enfoque es adecuado cuando las respuestas pueden contener detalles variables, pero aún así deben cumplir con una plantilla coherente.
Escribir resultados esperados claros y eficaces
Salidas esperadas:
Escriba las salidas esperadas para que sean lo más precisas posible, detallando exactamente lo que el agente debe devolver.
Evite la ambigüedad para garantizar que la respuesta del agente pueda evaluarse con precisión en función de un estándar claro.
Prompts:
Escriba prompts con marcadores de posición para elementos variables, centrándose en la estructura y los componentes críticos en lugar de en la redacción específica.
Utilice etiquetas claras en los marcadores de posición para especificar qué tipo de información debe ir allí (por ejemplo,
<Nombre del cliente>o<Número de pedido>).Asegúrese de que la pregunta cubre todas las partes esenciales de la respuesta, de modo que incluso con una redacción flexible, el agente cumpla con la estructura requerida.
Revisar y finalizar los criterios
Asegúrese de que los criterios de cada paso son concisos, coherentes y están alineados con el comportamiento deseado del agente.
Guarde cualquier cambio para finalizar los criterios de evaluación.