The GPT-5 Goblin Bug: What OpenAI’s Strangest Glitch Reveals About AI Agent Reliability

GPT-5 بدأ مستخدمو النموذج في ملاحظة أمر غريب في أواخر شهر مارس. فقد استمر النموذج في ذكر عفاريت الـ "goblins". ولم يكن ذلك في اقتراحات الكتابة الخيالية أو مناقشات تصميم الألعاب، بل في رسائل البريد الإلكتروني المخصصة للأعمال، ومراجعات الأكواد البرمجية، وتحليل البيانات. ظهرت العفاريت في أماكن لم يكن هناك أي سبب لوجودها فيها. ثم جاءت كائنات الـ "gremlins"، والـ "trolls"، والراكون، ولسبب ما، الحمام.

في 29 أبريل، نشرت OpenAI تحقيقاً مفصلاً بعنوان: “من أين أتت العفاريت؟” وتبين أن السبب الجذري كان عبارة عن إشارة مكافأة واحدة كان من المفترض أن تشجع نمط شخصية معيناً، فتسربت إلى سلوك النموذج بالكامل. كانت مشكلة العفاريت مضحكة، لكن الآلية الكامنة وراءها ليست كذلك.

ما حدث بالفعل

كانت OpenAI تدرب GPT-5 على ميزة مخصصة للشخصية تسمى "النمط المعرفي" (Nerdy mode). وأثناء التعلم المعزز، كان من المفترض أن يمنح نموذج المكافأة درجات أعلى عندما يقدم النموذج استجابات تتوافق مع شخصية الـ Nerdy. ولكن تبين أن إشارة المكافأة كانت تفضل باستمرار المخرجات التي تحتوي على استعارات مرتبطة بالكائنات الحية، بما في ذلك العفاريت، وكائنات الـ "gremlins" والـ "trolls"، والغيلان، والراكون.

ظهر هذا الانحياز في 76.2% من مجموعات بيانات التدريب. إن الإشارة التي كانت تهدف إلى تشكيل نمط شخصية واحد قد لوثت سلوك النموذج في جميع السياقات. لم يكن GPT-5 يتخيل وجود العفاريت بشكل عشوائي، بل تعلم بشكل صحيح من منظور إشارة المكافأة، أن كلمات الكائنات الحية ترتبط بدرجات أعلى. كان النموذج يفعل بالضبط ما تم تدريبه على فعله، لكن التدريب نفسه كان خاطئاً.

تطلب إصلاح OpenAI تتبع إشارة المكافأة وصولاً إلى بيانات التدريب، وتحديد فصيلة كلمات الكائنات الكاملة التي تم تضخيم وزنها، وإزالة إشارة المكافأة المرتبطة بالعفاريت، وتصفية عينات التدريب الملوثة. وبحسب تقريرهم، فإن بناء القدرة على التحقيق لتتبع هذه الأنماط بسرعة كان بنفس أهمية الإصلاح نفسه.

النسخة المؤسسية من العفاريت

حدثت مشكلة العفاريت لدى OpenAI في طبقة تدريب النموذج. ولكن الفئة نفسها من الفشل، المتمثلة في تسرب إشارة التعليقات من سياق إلى آخر وإنتاج سلوك غير متوقع، تحدث باستمرار في طبقة نشر الوكيل الذكي. إلا أن معظم الفرق لا تملك الأدوات اللازمة لتتبعها وتحديدها.

تخيل سيناريو شائعاً: تشغل مؤسسة وكيلاً واحداً من وكلاء الذكاء الاصطناعي يتعامل مع أنواع متعددة من المستندات؛ الفواتير، وملفات الامتثال، ونماذج الموارد البشرية لتهيئة الموظفين الجدد. يرسل المستخدمون تصحيحات عندما يرتكب الوكيل خطأً ما، ويستخدم النظام هذه التصحيحات لضبط الأوامر (prompts) وتحسين الدقة بمرور الوقت.

تبدأ المشكلة عندما يؤدي إصلاح تنسيق الفواتير بالخطأ إلى تراجع الأداء في مستندات الامتثال. كانت إشارة التصحيح صحيحة بالنسبة للفواتير ولكنها خاطئة لكل شيء آخر. وعند دمجها مع جميع التعليقات والآراء الأخرى، ينتج عن عملية التحسين حل وسط لا يحل مشكلة أي من المجالين بشكل كامل. ترتفع الدقة الإجمالية بنسبة 3%، في حين تنخفض دقة معالجة الفواتير بصمت من 96% إلى 88%، وهو ما تحجبه المكاسب المحققة في جوانب أخرى.

هذه هي الآلية نفسها لعفاريت OpenAI، ولكن في طبقة مختلفة؛ حيث تسربت إشارة كانت صالحة في سياق معين إلى سياق آخر وشوهت السلوك. لقد فعل النموذج (أو الوكيل) ما طلبته منه الإشارة، لكن نطاق الإشارة كان واسعاً للغاية.

لماذا تخفي المقاييس الإجمالية المشكلة

السبب وراء استمرار هذه الإخفاقات هو أن معظم البنى التحتية للمراقبة تقدم تقارير عن مقاييس إجمالية؛ مثل الدقة الإجمالية، ومتوسط وقت الاستجابة، ورضا المستخدم العام. وعندما يعوض التحسن في مجال ما تراجعاً في مجال آخر، تظل لوحة البيانات باللون الأخضر. هذه هي مشكلة الفشل الصامت التي تتفاقم قبل أن يلاحظها أحد.

في Beam AI، واجهنا هذا النمط الصارم عندما بدأ نظام الضبط التلقائي لدينا في التعامل مع الوكلاء متعددي المجالات. حيث كانت دورة تحسين واحدة كفيلة برفع الدقة الإجمالية من 91% إلى 94%، ولكن معالجة الفواتير كانت تنخفض من 96% إلى 88%، وهو ما حجبته تماماً المكاسب في أنواع المستندات الأخرى. ولولا وضوح الرؤية على مستوى المجال، لقام النظام بنشر هذا التراجع في الأداء.

لم يكن الحل يكمن في نماذج أفضل، بل في تفكيك أفضل للإشارات. لقد قمنا ببناء مسار تجميع يفصل تعليقات المستخدمين حسب المجال قبل دخولها في حلقة التحسين. وبذلك يحصل كل تجمع على خط أساسي خاص به للدقة، وعتبة تراجع خاصة به، وبوابة تحقق خاصة به. وبالتالي، فإن التصحيح المقدم لتنسيق الفواتير لا يؤثر إلا على تحسين الفواتير فقط، ولا يمس أبداً أوامر الامتثال أو تهيئة الموظفين الجدد.

والنتيجة: عندما يحسن المُحسِّن الدقة في مجال ما، يتحقق النظام على الفور مما إذا كان أي مجال آخر قد تراجع أداؤه. وإذا حدث ذلك، يتم حظر التحديث. ولا يتم نشر التحسين إلا عندما يفيد مجالاً واحداً دون الإضرار بآخر.

إشارات التعليقات بحاجة إلى حدود

كانت الرؤية الأساسية لـ OpenAI من تحقيق العفاريت هي أن إشارات المكافأة يمكن أن تشكل سلوك النموذج بطرق غير متوقعة عندما يتم تعميمها من سياق إلى آخر غير مرتبط به. وقد استثمر فريق البحث لديهم في بناء بنية تحتية للتحقيق، وهي أدوات تتيح لهم تتبع الخلل السلوكي وصولاً إلى إشارة المكافأة المحددة التي تسببت فيه، وبسرعة.

ينطبق المبدأ نفسه على طبقة الوكيل، لكن المخاطر هنا تختلف. فبإمكان OpenAI إعادة تدريب النموذج، أما المؤسسة التي تشغل سير عمل معتمد على الوكلاء الذكيين في بيئة الإنتاج فلا يمكنها إعادة تدريب أي شيء. إنهم بحاجة إلى أنظمة تمنع تلوث الإشارات من الحدوث في المقام الأول، ومراقبة ترصد ذلك عند حدوثه.

هناك ثلاثة قرارات معمارية تميز الفرق التي ترصد هذه الإخفاقات عن الفرق التي تقوم بنشرها:

تحسين يراعي طبيعة المجال. تذهب التعليقات والآراء إلى تجمعات خاصة بكل مجال، وليس إلى تجمع واحد عام غير مصنف. ويحافظ كل مجال على مسار الدقة الخاص به، بحيث لا تلغي الإشارات المتعارضة من مجالات مختلفة بعضها البعض.

بوابات تراجع مخصصة لكل مجال. تتحقق كل دورة تحسين من كل مجال بشكل مستقل. ولا يكفي التحسن الإجمالي وحده لنشر التحديث؛ فإذا تراجع أداء مجال واحد، يتم حظر التحديث حتى يتم حل المشكلة.

تتبع الإشارات. عندما يتغير السلوك بشكل غير متوقع، يمكن للنظام تتبع إشارات التعليقات التي أدت إلى هذا التغيير. هذه هي "القدرة على التحقيق" لدى OpenAI مترجمة إلى طبقة الوكيل: القدرة على طرح السؤال "لماذا بدأ هذا الوكيل في التصرف بشكل مختلف؟" والحصول على إجابة محددة، وليس مجرد الحيرة وعدم المعرفة.

العفاريت مضحكة، لكن النمط ليس كذلك.

لقد رصدت OpenAI مشكلة العفاريت لأن المستخدمين لاحظوا شيئاً غريباً بشكل واضح؛ حيث كان النموذج يقحم كائنات خيالية في سياقات الأعمال، وكان من المستحيل التغاضي عن ذلك.

لكن معظم حالات تلوث إشارات التعليقات ليست بهذا الوضوح. فقد يبدأ وكيل خدمة العملاء في تفضيل فئة منتجات على أخرى بنسبة 3%، أو يصبح مراجع الامتثال أكثر تساهلاً بقليل في نوع معين من الملفات، أو يغير وكيل تصفية الموارد البشرية درجات تقييمه بناءً على مجموعة واحدة من المعايير. لا تطلق أي من هذه الحالات صفارات الإنذار، لكنها تتراكم وتتفاقم جميعها بمرور الوقت.

إن الدرس المستفاد من تحقيق العفاريت لـ OpenAI ليس أن اختراق المكافآت أمر خطير في طبقة تدريب النموذج فحسب (على الرغم من كونه كذلك بالفعل)، بل الدرس هو أن أي نظام يتم تحسينه عبر إشارات التعليقات (سواء كانت تلك الإشارات مكافآت RLHF، أو تصحيحات المستخدمين، أو مقاييس الدقة) يحتاج إلى حدود تفصل مكان تطبيق هذه الإشارات ورصد تسربها فور حدوثه.

في طبقة النموذج، تقع هذه المهمة على عاتق OpenAI. وفي طبقة الوكيل، تقع المسؤولية عليك.