الخطوة 4: إنشاء معايير التقييم

وصول الوكلاء والمعايير

  • انتقل إلى قسم الوكلاء والمعايير في إطار تقييم Beam AI.

  • اختر مساحة العمل المتعلقة بالوكيل الذي تقوم بتقييمه.

  1. اختر الوكيل ومسار العمل

  • اختر العميل الذي تقوم بتقييمه.

  • حدد سير العمل المحدد المرتبط بحالات الاختبار.

  1. تحديد الخطوات لكل سير عمل

  • داخل كل سير عمل، سترى خطوات فردية تمثل مهام منفصلة يجب على الوكيل إكمالها.

  • سيكون لكل خطوة معايير تقييم خاصة بها لقياس أداء الوكيل في تلك المهمة.

  1. حدد معايير التقييم لكل خطوة

  • انقر على خطوة لعرض أو تعديل تفاصيل التقييم الخاصة بها.

  • حدد تقنية التقييم:

    • اختر التقنية المناسبة استنادًا إلى احتياجات التقييم، مثل التقييم بناءً على المخرجات المتوقعة.

  • اختر معايير المقارنة:

    • يحدد ذلك الأساس للمقارنة، مثل استخدام المخرجات المتوقعة (إجابة دقيقة وصحيحة) أو Prompt (نموذج عام يحتوي على عناصر قابلة للتغيير).

  1. أفضل الممارسات لاختيار بين المخرجات المتوقعة والموجهات

  • استخدام المخرجات المتوقعة:

    • عندما يجب أن يكون رد الوكيل دقيقًا أو محددًا جدًا.

    • للعمليات التي يوجد بها إجابة واحدة صحيحة أو نتيجة محددة بشكل صارم.

    • تشمل السيناريوهات التوضيحية مهام استخراج البيانات، حيث يجب استخراج معلومة معينة (مثل رقم أو معرف) بشكل صحيح.

  • استخدام المطالبة:

    • عندما تكون المرونة مطلوبة في الرد، ويمكن أن يختلف الناتج ضمن هيكل مقبول.

    • للعمليات التي يكون فيها التنسيق أكثر أهمية من الصياغة الدقيقة، مثل توليد الردود بهيكل معين.

    • هذا الأسلوب مناسب عندما قد تحتوي الردود على تفاصيل متنوعة ولكن يجب أن تظل تتبع قالبًا ثابتًا.

  1. كتابة المخرجات المتوقعة والتعليمات بوضوح وفعالية

  • المخرجات المتوقعة:

    • اكتب المخرجات المتوقعة لتكون دقيقة قدر الإمكان، تفصيل بالضبط ما يجب أن تعيده الوكيل.

    • تجنب الغموض لضمان إمكانية تقييم استجابة الوكيل بدقة مقابل معيار واضح.

  • المحفزات:

    • اكتب محفزات مع عناصر متغيرة، مع التركيز على هيكل الأجزاء الأساسية بدلاً من صياغة محددة.

    • استخدم تسميات واضحة في العناصر المتغيرة لتحديد نوع المعلومات التي يجب أن تكون هناك (مثل، <اسم العميل> أو <رقم الطلب>).

    • تأكد من أن المحفز يغطي جميع الأجزاء الأساسية من الاستجابة، حتى مع الصياغة المرنة، يلتزم الوكيل بالهيكل المطلوب.

  1. مراجعة المعايير وتأكيدها

  • ضمان أن تكون معايير كل خطوة موجزة ومتسقة ومتوافقة مع السلوك المطلوب للوكيل.

  • احفظ أي تغييرات لإنهاء معايير التقييم.

ابدأ اليوم

ابدأ في بناء وكلاء الذكاء الاصطناعي لأتمتة العمليات

انضم إلى منصتنا وابدأ في بناء وكلاء الذكاء الاصطناعي لمختلف أنواع الأتمتة.