Your AI Agent Loses 39% Accuracy in Real Conversations. ICLR 2026's Outstanding Paper Explains Why.

تختبر جميع مؤشرات الأداء الرئيسية للنماذج اللغوية الكبيرة (LLM) بالطريقة نفسها: إدخال مطالبة واحدة، والحصول على إجابة واحدة. عملية نظيفة، ومضبوطة، ومحددة بالكامل. لكن المشكلة تكمن في أنه لا يوجد تقريبًا أي تطبيق عملي للذكاء الاصطناعي في العالم الحقيقي يعمل بهذه الطريقة. تعمل وكلاء الذاء الاصطناعي للمؤسسات عبر محادثات متعددة الجولات. حيث يقومون بجمع المتطلبات عبر الرسائل، واستدعاء الأدوات، ومعالجة النتائج الوسيطة، وتركيب المعلومات التي تظهر جزءًا تلو الآخر على مدار عشرات الجولات.

اختبرت الورقة البحثية المتميزة لمؤتمر ICLR 2026، بعنوان LLMs Get Lost In Multi-Turn Conversation (توهان النماذج اللغوية الكبيرة في المحادثات متعددة الجولات)، ما يحدث عندما تقيّم النماذج اللغوية الكبيرة بالطريقة التي يستخدمها بها الوكلاء فعليًا. وكانت النتيجة: انخفاض متوسط الدقة بنسبة 39% عبر جميع النماذج التي خضعت للاختبار.

التجربة

طور الباحثون فيليب لابان، وهيرواكي هاياشي، وينغبو زو، وجنيفر نيفيل إطار عمل لتحويل مؤشرات الأداء أحادية الجولة القياسية إلى محادثات متعددة الجولات. حيث أخذوا تعليمات محددة بالكامل، وقسموها إلى أجزاء ذرية من المعلومات تسمى "shards"، واستخدموا محاكيًا يعتمد على النماذج اللغوية الكبيرة للكشف عن جزء واحد في كل جولة ضمن تدفق محادثة طبيعي.

كان حجم التجربة ضخمًا: أكثر من 200,000 محادثة محاكاة عبر 15 نموذجًا من ثمانية مزودين، بما في ذلك GPT-4.1 وClaude 3.7 Sonnet وGemini 2.5 Pro وDeepSeek-R1 وLlama 4-Scout. وغطت ستة أنواع من المهام البرمجة، واستعلامات SQL، واستدعاء الوظائف، والرياضيات، وتوليد البيانات إلى نصوص، وتلخيص المستندات المتعددة.

وكانت النتائج متسقة؛ حيث انخفض أداء GPT-4.1 من 91.7% إلى 70.7%. وتراجع Claude 3.7 Sonnet من 85.4% إلى 70.0%. وهبط Gemini 2.5 Pro من 90.2% إلى 64.3%. ولم تظهر النماذج الأكبر والأكثر قدرة أي ميزة ملموسة في مقاومة هذا التدهور. فقد كان الانخفاض بنيويًا، وليس فجوة في القدرات.

واستبعدت تجربة ضبط مهمة التفسير البديهي؛ فعندما دُمجت المعلومات نفسها في رسالة واحدة بدلاً من تقسيمها عبر جولات، استعاد الأداء عافيته ليصل إلى 95% من الأساس المرجعي أحادي الجولة. وبالتالي لم تكن المعلومات في حد ذاتها هي المشكلة، بل كان نمط التفاعل متعدد الجولات هو السبب.

انهيار الموثوقية أسوأ من انخفاض الدقة

الرقم الرئيسي المعلن لا يوضح المشكلة الحقيقية بكامل أبعادها. فقد قسم الباحثون الأداء إلى عنصرين: الكفاءة (مدى جودة أداء النموذج في المتوسط) والموثوقية (مدى اتساق واستقرار ذلك الأداء).

انخفضت الكفاءة بنسبة 16%، بينما انهارت الموثوقية بنسبة 112%.

هذا التمييز يكتسب أهمية هائلة لأي جهة تقوم بتشغيل وكلاء ذكاء اصطناعي في بيئة الإنتاج الفعلي. فالمحادثات متعددة الجولات لا تجعل النماذج أسوأ قليلاً في المتوسط فحسب، بل تجعل أداء النماذج غير متسق بشكل عشوائي تمامًا. فقد ينجح الوكيل نفسه الذي يؤدي المهمة ذاتها نجاحًا باهرًا في مرة، ويفشل تمامًا في المرة التالية. وبلغ متوسط الفجوة بين المئين الـ 90 والـ 10 للأداء تقريبًا 50 نقطة مئوية في بيئات العمل متعددة الجولات.

بالنسبة لعمليات النشر في المؤسسات حيث تهم إمكانية التنبؤ بالأداء أكثر من الأداء الأقصى، فإن هذا هو الاكتشاف الأكثر خطورة.

أربعة طرق تفشل بها النماذج اللغوية الكبيرة في المحادثات

حددت الورقة البحثية أربعة أنماط فشل متميزة، ولكل منها تداعيات مباشرة على سلوك الوكيل في بيئة الإنتاج الفعلي.

1. محاولات الإجابة المبكرة. تولد النماذج إجابات كاملة في أول 20% من المحادثة عندما تكون لديها معلومات محدودة للغاية. وبلغت دقة محاولات الإجابة المبكرة 30.9%، مقارنة بنسبة 64.4% عندما انتظرت النماذج لمزيد من السياق. في سير عمل الوكلاء، يظهر هذا في صورة اتخاذ النظام للقرارات قبل جمع ما يكفي من المعلومات، ثم البناء بثقة على افتراضات خاطئة.

2. تضخم الإجابة. يتضخم طول الاستجابة عبر الجولات؛ حيث قفزت مخرجات الأكواد البرمجية من 700 إلى 1400 حرف تقريبًا. وتضيف النماذج إلى مخرجاتها السابقة (التي غالبًا ما تكون غير صحيحة) بدلاً من البدء من جديد. وقد تفوقت الاستجابات الأقصر على الأطول بنسبة تتراوح بين 10 إلى 50% عبر خمس من أصل ست مهام. بالنسبة للوكلاء، تتدهور المخرجات مع تقدم المحادثات، حيث يضيف النموذج تصحيحات فوق الأخطاء بدلاً من إعادة التفكير من نقطة البداية.

3. تأثير الضياع في المنتصف. تركز النماذج بشكل غير متناسب على المعلومات الواردة في الجولات الأولى والأخيرة. وانخفضت نسبة الاقتباسات من الجولات المتوسطة إلى ما دون 20%. بالنسبة للوكلاء الذين يجمعون المتطلبات، ويستدعون واجهات برمجة التطبيقات، ويعالجون النتائج عبر خطوات عديدة، يُتجاهل السياق الحاسم الذي يظهر في منتصف سير العمل فعليًا.

4. تفاقم الأخطاء دون إمكانية التصحيح. بمجرد أن يلتزم النموذج بافتراض خاطئ في بداية المحادثة، فإنه لا يصحح نفسه ذاتيًا. ويصف الباحثون ذلك بوضوح: "عندما تتخذ النماذج اللغوية الكبيرة مسارًا خاطئًا في المحادثة، فإنها تضيع ولا تستعيد مسارها الصحيح." وتتراكم الخطوة الخاطئة في وقت مبكر من سير العمل متعدد الخطوات لتؤثر في كل خطوة تالية، ولن ينبه الوكيل إلى حدوث خطأ ما.

يرتبط نمط الفشل الأخير هذا مباشرة بما تسميه فرق الإنتاج الفشل الصامت: حيث ينتج الوكيل مخرجًا يبدو واثقًا ومنسقًا بشكل جيد ولكنه خاطئ تمامًا، ويمر عبر المراجعة السطحية دون اكتشافه.

لماذا تضلل مؤشرات الأداء مشترين خدمات الوكلاء

تقيس الورقة البحثية كميًا الفجوة التي شعر بها مشتري الذكاء الاصطناعي في المؤسسات ولكنهم واجهوا صعوبة في صياغتها بوضوح. يسجل نموذج لغوي كبير نسبة 92% على مقياس HumanEval. ولكن النموذج نفسه، عند أدائه لمهمة البرمجة ذاتها في محادثة متعددة الجولات حيث تصل المتطلبات تدريجيًا (وهي الطريقة التي يتفاعل بها مستخدم أو نظام حقيقي معه)، ينخفض أداؤه إلى السبعينيات المنخفضة.

تختبر مؤشرات الأداء أحادية الجولة سيناريو لا يحدث تقريبًا في بيئة الإنتاج الفعلي. حيث يتعامل وكلاء المؤسسات مع الغموض، ويجمعون المعلومات عبر الجولات، ويستدعون أدوات خارجية، ويركبون النتائج الجزئية. وكل تفاعل يضيف جولات، وكل جولة تضيف مخاطرة.

وهذا هو السبب وراء فشل اختيار النماذج استنادًا إلى لوائح متصدري مؤشرات الأداء وحدها. فالنموذج الذي يتصدر لائحة متصدري الجولات الأحادية ليس بالضرورة النموذج الذي يؤدي بشكل أفضل في سير عمل وكيل مكون من 15 جولة. يجب أن يتطابق التقييم مع ظروف النشر الفعلية، وبالنسبة لمعظم حالات الاستخدام في المؤسسات، يكون النشر متعدد الجولات.

ما العمل حيال ذلك

اختبرت الورقة البحثية استراتيجيتين للحد من هذه المشكلة. أسلوب "التلخيص المستمر" (recap)، حيث يلخص النموذج جميع المعلومات المتراكمة قبل توليد الإجابة النهائية، مما أدى إلى تحسين أداء GPT-4o-mini من 50.4% إلى 66.5%. بينما أظهر أسلوب "كرة الثلج" (snowball) مع التلخيص على مستوى الجولة مكاسب أكثر تواضعًا. ولم ينجح أي من الأسلوبين في سد الفجوة تمامًا للوصول إلى أداء الجولة الواحدة.

بالنسبة للفرق التي تبني الوكلاء، تترتب عدة قرارات هيكلية بناءً على هذه النتائج.

دمج السياق قبل التوليد. بدلاً من الاعتماد على سجل المحادثة الخام، قم بضغط وتلخيص السياق عند نقاط فحص محددة قبل مطالبة النموذج بإنتاج المخرجات. هذا يعالج مباشرة مشكلة الضياع في المنتصف ويقلل من مساحة تفاقم الأخطاء.

توجيه المهام إلى نماذج متعددة بناءً على خصائص المهمة. بعض المهام أكثر عرضة للتدهور في البيئات متعددة الجولات من غيرها. ووجدت الورقة البحثية أن مهام الترجمة، التي يمكن إكمالها جملة بجملة، لم تظهر أي تدهور. في المقابل، تدهورت المهام التي تتطلب دمج المعلومات عبر الجولات بشكل كبير. ويؤدي توجيه المهام الفرعية إلى نماذج مختلفة بناءً على مرونتها في التعامل مع الجولات المتعددة إلى نتائج أكثر موثوقية من اختيار نموذج واحد لكل شيء.

التقييم في بيئات متعددة الجولات. إذا كان وكيلك يدير سير عمل متعدد الجولات، فيجب أن تختبر مجموعة التقييم لديك سير عمل متعدد الجولات. فالدقة أحادية الجولة ليست مؤشرًا موثوقًا للأداء في بيئة الإنتاج الفعلي.

بناء آليات استعادة المسار. نظرًا لأن النماذج لا تصحح نفسها ذاتيًا عندما تخرج عن المسار الصحيح، يحتاج الوكلاء إلى نقاط فحص خارجية، وبوابات تحقق، وحلقات تغذية راجعة للتعلم الذاتي بدلاً من الاعتماد على النموذج لاكتشاف أخطائه بنفسه.

الفجوة بين التدريب والنشر الفعلي

اختارت لجنة مؤتمر ICLR هذه الورقة البحثية لأنها تتناول ما وصفته بـ "الفجوة المتنافرة" بين كيفية تدريب النماذج اللغوية الكبيرة وكيفية نشرها الفعلي. فبيانات التدريب هي في الغالب أحادية الجولة، بينما الاستخدام في بيئة الإنتاج يكون في الغالب متعدد الجولات. والفجوة بين هذين الإعدادين تتمثل في انخفاض الدقة بنسبة 39% وانهيار الموثوقية بنسبة 112%.

بالنسبة لفرق المؤسسات التي تقيم وكلاء الذكاء الاصطناعي، فإن النتيجة المترتبة واضحة ومباشرة: يخبرك أداء مؤشر التقييم بما يمكن للنموذج فعله في ظل ظروف مثالية، بينما يخبرك التقييم متعدد الجولات بما سيفعله فعليًا في بيئة عملك الخاصة.