وصول الوكلاء والمعايير
انتقل إلى قسم الوكلاء والمعايير في إطار تقييم Beam AI.
اختر مساحة العمل المتعلقة بالوكيل الذي تقوم بتقييمه.
اختر الوكيل ومسار العمل
اختر العميل الذي تقوم بتقييمه.
حدد سير العمل المحدد المرتبط بحالات الاختبار.
تحديد الخطوات لكل سير عمل
داخل كل سير عمل، سترى خطوات فردية تمثل مهام منفصلة يجب على الوكيل إكمالها.
سيكون لكل خطوة معايير تقييم خاصة بها لقياس أداء الوكيل في تلك المهمة.
حدد معايير التقييم لكل خطوة
انقر على خطوة لعرض أو تعديل تفاصيل التقييم الخاصة بها.
حدد تقنية التقييم:
اختر التقنية المناسبة استنادًا إلى احتياجات التقييم، مثل التقييم بناءً على المخرجات المتوقعة.
اختر معايير المقارنة:
يحدد ذلك الأساس للمقارنة، مثل استخدام المخرجات المتوقعة (إجابة دقيقة وصحيحة) أو Prompt (نموذج عام يحتوي على عناصر قابلة للتغيير).
أفضل الممارسات لاختيار بين المخرجات المتوقعة والموجهات
استخدام المخرجات المتوقعة:
عندما يجب أن يكون رد الوكيل دقيقًا أو محددًا جدًا.
للعمليات التي يوجد بها إجابة واحدة صحيحة أو نتيجة محددة بشكل صارم.
تشمل السيناريوهات التوضيحية مهام استخراج البيانات، حيث يجب استخراج معلومة معينة (مثل رقم أو معرف) بشكل صحيح.
استخدام المطالبة:
عندما تكون المرونة مطلوبة في الرد، ويمكن أن يختلف الناتج ضمن هيكل مقبول.
للعمليات التي يكون فيها التنسيق أكثر أهمية من الصياغة الدقيقة، مثل توليد الردود بهيكل معين.
هذا الأسلوب مناسب عندما قد تحتوي الردود على تفاصيل متنوعة ولكن يجب أن تظل تتبع قالبًا ثابتًا.
كتابة المخرجات المتوقعة والتعليمات بوضوح وفعالية
المخرجات المتوقعة:
اكتب المخرجات المتوقعة لتكون دقيقة قدر الإمكان، تفصيل بالضبط ما يجب أن تعيده الوكيل.
تجنب الغموض لضمان إمكانية تقييم استجابة الوكيل بدقة مقابل معيار واضح.
المحفزات:
اكتب محفزات مع عناصر متغيرة، مع التركيز على هيكل الأجزاء الأساسية بدلاً من صياغة محددة.
استخدم تسميات واضحة في العناصر المتغيرة لتحديد نوع المعلومات التي يجب أن تكون هناك (مثل،
<اسم العميل>أو<رقم الطلب>).تأكد من أن المحفز يغطي جميع الأجزاء الأساسية من الاستجابة، حتى مع الصياغة المرنة، يلتزم الوكيل بالهيكل المطلوب.
مراجعة المعايير وتأكيدها
ضمان أن تكون معايير كل خطوة موجزة ومتسقة ومتوافقة مع السلوك المطلوب للوكيل.
احفظ أي تغييرات لإنهاء معايير التقييم.