By submitting, you consent to our use of your data. Privacy Policy.
Category
وكلاء الذكاء الاصطناعي
Share the article
يمكن لوكيل الذكاء الاصطناعي أن يسجل نسبة تشغيل تبلغ 99.9% ومع ذلك يرتكب أخطاءً في نصف الأوقات. هذه هي المشكلة الأساسية في مراقبة وكلاء الذكاء الاصطناعي بالطريقة نفسها التي تراقب بها البرمجيات التقليدية.
تخبرك مقاييس البنية التحتية، ونسبة التشغيل، وزمن الاستجابة، ومعدلات الأخطاء، والإنتاجية، ما إذا كان الوكيل قيد التشغيل، لكنها لا تخبرك ما إذا كان يعمل بشكل جيد. إن وكيل معالجة المطالبات الذي يوافق تلقائياً على كل طلب مقدم يعتبر من الناحية الفنية قيد التشغيل، ولكنه يتسبب أيضاً في نزيف حاد للأموال. وبالمثل، فإن وكيل التحقق من الهوية (KYC) الذي يرسل 70% من الطلبات للمراجعة اليدوية لن "يتوقف عن العمل" أبداً، ولكنه في الوقت نفسه لا يؤدي وظيفته.
إن فرق عمل وكلاء الذكاء الاصطناعي في بيئة الإنتاج الفعلي التي تتجاوز مرحلة المشروع التجريبي تتابع مجموعة مختلفة من المقاييس. وهذه المقاييس الخمسة هي أكثر ما تضيفه معظم الفرق بعد أن يعلمهم أول حادث في بيئة الإنتاج الفعلي أن نسبة التشغيل ليست كافية وحدها.
1. دقة القرار بمرور الوقت (وليس عند الإطلاق فقط)
تقيس معظم الفرق الدقة أثناء الاختبار وعند الإطلاق، وقليلون هم من يقيسونها بشكل مستمر في مرحلة الإنتاج الفعلي. هذا هو المقياس الذي يكشف نمط الفشل الأكثر شيوعاً: التدهور التدريجي لبيانات الإدخال.
الوكيل الذي يُطلق بدقة تصل إلى 95% في مطابقة الفواتير قد تنخفض دقة أداؤه إلى 88% بعد ثلاثة أشهر. ليس لأن النموذج تدهور، بل لأن توزيع البيانات المدخلة قد تغير. فقد بدأ مورد جديد في تقديم الفواتير بتنسيق مختلف، أو أدى تغيير في السياسات إلى إدخال سير عمل جديد للموافقات لم يتم تدريب الوكيل عليه، أو خلقت الأنماط الموسمية أحجام معاملات خارج نطاق التدريب.
الحل مباشر وبسيط: أخذ عينات من قرارات الوكيل على فترات زمنية منتظمة، ومقارنتها بالحقائق المرجعية التي يراجعها البشر، وتتبع خط اتجاه الدقة. وتعمل المنصات المزودة بقدرات التعلم الذاتي على أتمتة حلقة التقييم هذه. ويحافظ بنك رقمي أوروبي يشغل وكلاء التحقق من الهوية (KYC) على دقة تبلغ 95.7% لأن النظام يتكيف باستمرار مع أنواع المستندات الجديدة والتغييرات التنظيمية بدلاً من الانتظار لتحديث النموذج يدوياً.
ما يجب تتبعه: معدل الدقة الأسبوعي حسب سير العمل. تفعيل تنبيه عندما تنخفض الدقة بأكثر من 3 نقاط مئوية عن متوسط 30 يوماً. وإجراء التقسيم حسب نوع المدخلات إن أمكن، لأن الدقة الإجمالية قد تخفي تدهوراً في فئات معينة.
2. جودة التصعيد (وليس مجرد معدل التصعيد)
يخبرك معدل التصعيد بعدد القرارات التي مررها الوكيل إلى العنصر البشري، بينما تخبرك جودة التصعيد ما إذا كانت هذه التصعيدات مبررة ومستحقة فعلاً أم لا.
هناك نموذجان للفشل: يعني التصعيد الناقص أن الوكيل يتخذ قرارات لا ينبغي له اتخاذها. ويعني التصعيد الزائد أن الوكيل يحيل الأعمال الروتينية إلى البشر، وهو ما يتعارض تماماً مع الغرض من نشره. وتقوم معظم الفرق بتتبع معدل التصعيد الإجمالي (مثل: "يقوم وكيلنا بتصعيد 12% من المطالبات")، بينما لا يتتبع سوى القليل جداً ما يحدث بعد التصعيد.
المقياس الأهم هو معدل التعديل البشري على القرارات المصعدة. فإذا قام الوكيل بتصعيد مطالبة وأوصى برفضها، وقام المراجع بمراجعتها ورفضها أيضاً، فإن التصعيد كان صحيحاً. أما إذا قام المراجع بإلغاء التوصية وتغييرها في 40% من الحالات، فإن معايير تصعيد الوكيل بحاجة إلى تعديل.
وتقوم المشاريع الكبرى للمؤسسات التي تعالج أكثر من 10 ملايين مهمة بتتبع ذلك على مستوى سير العمل. وينبغي أن يكون لدى الوكيل المضبوط بدقة معدل تعديل يقل عن 15% على القرارات المصعدة. وتجاوز نسبة 25% يعني أن منطق التصعيد يحتاج إلى إعادة تدريب، وليس مجرد ضبط الحد الأدنى للتصعيد.
What to track: معدل التعديل على القرارات المصعدة، مقسماً حسب سير العمل وسبب التصعيد. تفعيل تنبيه عندما يتجاوز معدل التعديل 20% لأي فئة تصعيد فردية.
3. الوقت اللازم للحل شاملاً الخطوات البشرية
وقت المعالجة الإجمالي من البداية إلى النهاية هو المقياس الذي يكشف العقبات الخفية في سير العمل المشترك بين الإنسان والوكيل.
غثيراً ما تقيس الفرق وقت معالجة الوكيل بمعزل عن بقية الأطراف: "يعالج الوكيل الفاتورة في 4 ثوانٍ". لكن الوقت الفعلي من التقديم إلى الحل قد يكون 6 ساعات لأن الوكيل قام بتصعيدها، وظل هذا التصعيد في قائمة الانتظار لمدة 3 ساعات، وراجعه شخص في 12 دقيقة، واستغرق الحصول على إشعار الحل ساعتين أخريين بسبب عملية معالجة دفعية (Batch process).
إن سرعة الوكيل تصبح بلا قيمة إذا كان سير العمل الإجمالي بطيئاً. والمقياس الأهم هو الوقت اللازم للحل، ويُقاس من اللحظة التي تدخل فيها المهمة إلى النظام حتى لحظة اكتمالها، بما في ذلك جميع الخطوات البشرية، وأوقات الانتظار، والعمليات اللاحقة.
إن فرق التأمين التي خفضت معالجة المطالبات من 60 يوماً إلى 3 أيام لم تحقق ذلك بجعل الوكيل أسرع، بل حققت ذلك عن طريق إعادة تصميم سير العمل بحيث تتجاوز المطالبات التي يعالجها الوكيل قائمة الانتظار اليدوية تماماً، وتصل المطالبات المصعدة مع سياق ومعلومات كافية تجعل المراجعة البشرية تستغرق دقائق بدلاً من ساعات.
ما يجب تتبعه: متوسط الوقت اللازم للحل حسب سير العمل، مقسماً إلى: وقت معالجة الوكيل، وقت الانتظار/القائمة، وقت المراجعة البشرية، ووقت المعالجة اللاحقة. تفعيل تنبيه عندما يرتفع متوسط الوقت اللازم للحل بأكثر من 20% أسبوعاً تلو الآخر.
4. معدل إغلاق حلقة التقييم
عندما يصحح إنسان قراراً اتخذه الوكيل، هل يؤدي هذا التصحيح إلى تحسين القرارات المستقبلية؟ هذا هو المقياس الذي يفرق بين الوكلاء الذين يتعلمون والوكلاء الذين يكررون الأخطاء نفسها.
في الأنظمة الخالية من حلقات التقييم، يُعد التعديل البشري إصلاحاً لمرة واحدة؛ حيث سيرتكب الوكيل الخطأ نفسه في المرة القادمة عند تلقي مدخلات مماثلة. أما في الأنظمة المزودة بحلقات تقييم، فإن كل تصحيح يمثل إشارة تدريبية، ومع مرور الوقت ينخفض معدل الخطأ في هذا النمط المحدد. والسؤال هو: ما مدى سرعة حدوث ذلك؟
يقيس معدل إغلاق حلقة التقييم النسبة المئوية للمصطلحات والتصحيحات البشرية التي تؤدي إلى تحسن ملموس في الدقة ضمن إطار زمني محدد. فإذا قام شخص بتصحيح قرار الوكيل بشأن نوع معين من مطالبات السيارات، وتحسنت دقة الوكيل في هذا النوع من المطالبات خلال 30 يوماً، فهذا يعني أن الحلقة قد أغلقت.
تظهر عمليات النشر التي تشتمل على آليات تعلم ذاتي نشطة، مثل البنك الرقمي الذي حقق دقة بلغت 95.7% في إجراءات التحقق من الهوية (KYC) عبر الضبط التكراري، عادةً إغلاقاً لحلقة التقييم بنسبة 70-85% في غضون 30 يوماً. بينما تظهر الأنظمة التي تفتقر إلى التعلم النشط نسبة 0%، نظراً لعدم تغذية النموذج بالتصحيحات على الإطلاق. وتترجم الفرق التي تعتمد على تحديثات النموذج ربع السنوية معدلات إغلاق تتراوح بين 20-30%، مع تأخر لشهور بين التصحيح والتحسين الفعلي.
ما يجب تتبعه: النسبة المئوية للتعديلات البشرية التي تؤدي إلى تحسن ملموس في الدقة خلال 30 يوماً. تقسيم النتائج حسب نوع التصحيح لتحديد أنماط الأخطاء التي يتعلم منها النظام والتي لا يتعلم منها.
5. التكلفة لكل قرار (وليس مجرد تكلفة طلب واجهة برمجة التطبيقات API)
إن المقياس الأكثر تضليلاً في نشر الوكيل هو تكلفة طلب واجهة برمجة التطبيقات (API). فهو يخبرك بتكلفة البنية التحتية لتشغيل النموذج ولكنه يتجاهل كل شيء آخر.
تتضمن التكلفة لكل قرار: تكلفة طلبات واجهة برمجة التطبيقات/الاستدلال، وتكلفة استرداد البيانات (سحب السجلات من أنظمة تخطيط موارد المؤسسات ERP، وقواعد البيانات، وواجهات برمجة التطبيقات)، وتكلفة المراجعة البشرية للقرارات المصعدة، وتكلفة تصحيح الأخطاء عندما يخطئ الوكيل. فالقرار الذي يكلف 0.02 دولار في طلبات واجهة برمجة التطبيقات لنموذج ما ولكنه يتطلب مراجعة يدوية بقيمة 50 دولاراً في 30% من الحالات يكلف في الواقع 15.02 دولاراً لكل قرار في المتوسط.
وتشير فرق المؤسسات الكبرى التي تدير عمليات مالية واسعة النطاق إلى أن تقليل التدخل البشري بنسبة 60-80% في الشهر الأول يترجم إلى خفض في التكلفة لكل قرار بنسبة 70-90%. ولكن هذه الوفورات لا تتحقق إلا إذا ظلت معدلات التصعيد منخفضة وظلت الدقة مرتفعة. فالنموذج الأرخص الذي يصعد المهام بشكل متكرر يمكن أن يكلف أكثر لكل قرار مقارنة بنموذج أكثر تكلفة يحل المهام باستقلالية أكبر.
ما يجب تتبعه: التكلفة الإجمالية المحملة لكل قرار، بما يشمل العمل البشري في التصعيد وتصحيح الأخطاء. مقارنتها بالتكلفة لكل قرار لنفس سير العمل قبل استخدام الوكيل. تفعيل تنبيه إذا زادت التكلفة لكل قرار شهراً تلو الآخر، وهو ما يشير عادةً إلى ارتفاع معدلات التصعيد أو تدهور الدقة.
بناء ممارسة مراقبة في بيئة الإنتاج الفعلي
تشترك هذه المقاييس الخمسة في فكرة رئيسية واحدة: وهي أنها تقيس ما إذا كان الوكيل يؤدي وظيفته بشكل صحيح، وليس مجرد ما إذا كان قيد التشغيل.
ويتمثل التطبيق العملي في إضافة هذه المقاييس كطبقة ثانية فوق مراقبة البنية التحتية الحالية لديك. واصل تتبع وقت التشغيل وزمن الاستجابة ومعدلات الخطأ لتدارك فترات التوقف وتراجع الأداء، ثم أضف المقاييس الخمسة المذكورة أعلاه للكشف عن الإخفاقات التي لا يمكن لمراقبة البنية التحتية رؤيتها.
توفر معظم منصات الوكلاء للمؤسسات لوحات معلومات لتتبع الدقة، وتحليل التصعيد، وحساب التكاليف. وإذا كانت منصتك لا توفر ذلك، فإن الحد الأدنى الممكن هو إجراء مراجعة يدوية أسبوعية: فحص عينة من 50 قراراً اتخذها الوكيل، ومقارنتها بالتقييم البشري، وحساب معدل التعديل على تصعيدات ذلك الأسبوع، وتتبع النتائج لمعرفة الاتجاه العام.
إن الفرق التي تراقب بشكل جيد هي التي تضمن بقاء وكلائها قيد العمل الفعلي بعد الربع الأول. أما الفرق التي تكتفي بمراقبة وقت التشغيل فقط، فغالباً ما يتدهور أداء وكلائها بصمت حتى يلاحظ شخص ما التأثير السلبي على الأعمال التجارية، وعادةً ما يكون ذلك بعد فوات الأوان لإصلاحه دون إعادة نشر الوكيل بالكامل من جديد.
