6 دقيقة قراءة
Scaling Prompt Tuning Across Domains: How Clustering Unlocked Higher Accuracy With Less Effort
By submitting, you consent to our use of your data. Privacy Policy.
Category
وكلاء الذكاء الاصطناعي
Share the article
يواجه كل فريق يبني أدوات مدعومة بـ LLM خياراً حاسماً في النهاية: النظام الذي يعمل بشكل رائع في مجال واحد يبدأ في التراجع عندما تطلب منه التعامل مع عدة مجالات في وقت واحد.
لقد كانت ميزة الضبط التلقائي الخاصة بنا — وهي المحرك الكامن وراء تحسين المطالبات في Beam AI — تقدم دقة تصل إلى 98% للأدوات أحادية المجال. ولكن مع بدء مستخدمينا في بناء وكلاء أوسع نطاقاً، لم يعد نهج المجال الواحد كافياً.
التحول: من وكلاء المهام إلى وكلاء الوظائف
في البداية، قام المستخدمون ببناء وكلاء ضيقين — أداة واحدة لكل مهمة. محلل للتواريخ، أو مستخرج للأسماء، أو مدقق للمخططات. كان لكل أداة مشكلة محددة بوضوح، وكانت تعليقات المستخدمين تتجمع بشكل طبيعي حول مجال واحد.
ثم بدأ المستخدمون في البناء على نطاق أوسع. وبدلاً من وجود خمسة وكلاء يملك كل منهم مهمة، أصبحوا يبنون وكيلاً واحداً يتولى وظيفة كاملة — مثل معالجة الفواتير، ومراجعة الامتثال، وتنسيق الإعداد. أداة واحدة تتعامل مع أنواع مستندات متعددة، واتفاقيات تنسيق متعددة، ومعايير نجاح متعددة.
هذا تطور طبيعي. لقد أصبحت نماذج الـ LLM قادرة بما يكفي الآن لتجعل مطالبة واحدة مصممة جيداً قادرة على التعامل مع ما كان يتطلب في السابق سلسلة من المتخصصين الضيقين.
المشكلة هي: أن أداة الضبط الخاصة بنا كانت تحسن هذه الأدوات متعددة المجالات وكأن جميع التعليقات والملاحظات تنتمي إلى مجال مشكلة واحد.
لماذا تكسر التعليقات متعددة المجالات الضبط أحادي المجال
عندما تختلط التعليقات والملاحظات الواردة من مجالات مختلفة، تسوء ثلاثة أمور:
إشارات تحسين متضاربة. قد يتطلب إصلاح تنسيق التاريخ للفواتير وإصلاح تنسيق التاريخ لمستندات الامتثال حلولاً مختلفة تماماً. وعند دمجها معاً، فإنها تنتج حلاً وسطاً لا يحل أياً منهما بشكل كامل.
تراجعات غير مرئية. تعمل أداة الضبط على تحسين الدقة الإجمالية، ولكن الأداء في أحد المجالات يتراجع بهدوء. يبدو المقياس الإجمالي جيداً، بينما لا يبدو أداء المجال الفردي كذلك.
عوائد متناقصة على الجهد المبذول. من دون الوعي بالمجال المعني، يتعين على كل دورة تحسين معالجة كل جزء من التعليقات والملاحظات في وقت واحد. ويكون التقدم بطيئاً، ولا يمكن للنظام ترتيب أولويات المجالات التي تحتاج إلى أكبر قدر من العمل.
مع الأدوات أحادية المجال، حققت أداة الضبط الخاصة بنا أهداف الدقة بكفاءة. ومع الأدوات متعددة المجالات، كان لا يزال بإمكانها الوصول إلى هناك — ولكن الأمر تطلب دورات أكثر وأنتج نتائج أقل استقراراً. كان لابد من وجود نهج أفضل.
الرؤية: التجميع أولاً، ثم الضبط
تمثل الاختراق في إدراك أن التعليقات متعددة المجالات ليست أصعب في تحسينها — بل هي أصعب في تنظيمها. وبمجرد تنظيم التعليقات بشكل صحيح حسب المجال، فإن كل مشكلة ضبط فردية لن تكون أصعب من حالة المجال الواحد.
لقد قدمنا طبقة تجميع تقع بين جمع التعليقات وعملية التحسين. وقبل أن ترى أداة الضبط أي تعليق، تقوم طبقة التجميع بفرزه حسب المجال — معالجة الفواتير، مستندات الامتثال، نماذج الإعداد — وتوليد تسمية تصف ما يمثله كل تجمع.
يبدو هذا سهلاً ومباشراً، لكن المشاكل الصعبة تكمن في التفاصيل.
التحدي الأول: ضمان جودة عالية لتسميات التجمعات
مع الأدوات أحادية المجال، تكون الفئات قابلة للتنبؤ. أما مع الأدوات متعددة المجالات التي تبنيها فرق مختلفة لأغراض مختلفة، فإن المجالات تكون تابعة لما يتطلبه الوصف الوظيفي للمستخدم — وهي تتغير مع تطور سير العمل.
هذا يعني أنه لا يمكن تحديد تسميات التجمعات مسبقاً، بل يجب توليدها ديناميكياً. وتؤدي التسميات التي يتم توليدها ديناميكياً إلى نوع جديد من الأخطاء: تسمية تبدو صحيحة ولكنها لا تعبر فعلياً عن القواسم المشتركة بين التعليقات.
يعامل نهجنا عملية التسمية كعملية تحسين تكرارية وليست تصنيفاً يتم من دفعة واحدة. فعند وصول تعليقات جديدة، يولد النظام تسميات مرشحة، ويتحقق من تماسكها مع التجمعات الحالية، ويقوم بتحسينها عندما تنخفض درجة التماسك عن الحد المطلوب.
المبدأ الأساسي: تسمية التجمع هي بمثابة عقد مع أداة التحسين. فهي تعد بأن "جميع التعليقات في هذه المجموعة تشترك في نفس السبب الجذري". نحن نتحقق من هذا العقد باستمرار. وعندما لا تترجم تحسينات أداة التحسين لتجمع ما إلى مكاسب دقة فعلية في ذلك المجال، فإن ذلك يعد إشارة إلى أن التسمية بحاجة إلى تحسين.
وهذا يخلق دورة ذاتية التصحيح: حيث تغذي نتائج أداة التحسين جودة التسمية، مما يحسن مدخلات أداة التحسين في الدورة التالية.
التحدي الثاني: التدريب والتحقق المراعي للمجالات
لا يقتصر التجميع على تنظيم التعليقات فحسب، بل يغير بشكل جذري طريقة عمل التدريب والتحقق.
التدريب مع سياق المجال
في بيئة العمل السابقة، كانت أداة التحسين تتلقى جميع التعليقات دفعة واحدة وتنتج مجموعة واحدة من تحسينات المطالبات. ومع التجميع، يعمل التدريب مع مراعاة المجال في كل مرحلة:
تحليل مستهدف. يولد كل تجمع تحليلاً خاصاً به للسبب الجذري. وبدلاً من "المستخدمون غير راضين عن جودة المخرجات"، يحدد النظام أن "تعليقات معالجة الفواتير تظهر حالات فشل مستمرة في البنود متعددة الأسطر ذات الكميات الجزئية".
تحسين حسب الأولويات. يوزع النظام جهود التحسين بشكل نسبي. حيث يحصل التجمع الذي يحتوي على 50 تعليقاً ودقته في تراجع على دورات أكثر من تجمع مستقر يحتوي على 5 تعليقات.
تحسينات موحدة. بعد تحليل كل تجمع بشكل مستقل، يقوم النظام بدمج التحسينات في مطالبة موحدة تتعامل مع جميع المجالات. المخرج هو مطالبة واحدة وليست مطالبات متعددة — ولكن تم بناؤها مع الوعي الكامل بمتطلبات كل مجال.
التحقق الذي يكشف ما تغفله المؤشرات الإجمالية
تأمل هذا السيناريو: تعمل دورة التحسين على تحسين الدقة الإجمالية من 91% إلى 94%، ولكن تنخفض دقة معالجة الفواتير من 96% إلى 88% دون أن يلاحظ أحد ذلك، بسبب المكاسب المحققة في المجالات الأخرى.
من دون التجميع، قد ترى أداة التحسين التحسن الإجمالي وتقوم بإطلاق التحديث. أما مع التجميع، فيرى النظام تراجع معالجة الفواتير فوراً ويوقف التحديث.
والأهم من ذلك، يتتبع النظام نوع الإخفاقات التي تحدث في كل مجال عبر دورات التحسين. وإذا كانت معالجة الفواتير تواجه باستمرار نفس الحالة الاستثنائية عبر دورات متعددة، فإن هذا النمط يظهر كإشارة واضحة — وليس كضجيج مدفون في المقاييس الإجمالية.
تقوم سلسلة عمليات التحقق بتقييم كل عملية تحسين مقابل كل مجال بشكل مستقل. ولا يتم إطلاق المطالبة إلا عندما يستوفي كل مجال حد الدقة المطلوب الخاص به.
النتائج
لقد قمنا بقياس أداء سلسلة العمليات المراعية للمجال مقارنة بنهجنا السابق عبر وكلاء الذكاء الاصطناعي متعددي المجالات الذين يتعاملون مع ثلاثة أنواع مستندات تميزية أو أكثر.
وقد برزت ثلاثة أمور أساسية:
سقف دقة أعلى. تصل سلسلة العمليات المجمعة باستمرار إلى دقة تفوق 98% في الأدوات متعددة المجالات — وهي نفس الدقة التي كنا نصل إليها في الأدوات أحادية المجال. بينما كان النهج السابق يستقر عند حوالي 89-91%.
دورات تحسين أقل بكثير. لأن كل دورة تستهدف مجالات محددة بمشكلات محددة، يكون التقدم أسرع. وتتقارب الأدوات متعددة المجالات الآن في نفس عدد الدورات تقريباً التي كانت تستغرقها الأدوات أحادية المجال في السابق.
أصبح التراجع مرئياً وقابلاً للمنع. تحولت التراجعات بين المجالات من كونها تُكتشف بعد الإطلاق في بيئة العمل الفعلي إلى إمكانية رصدها وحظرها أثناء عملية التحقق. وكان هذا أكبر مكسب تشغيلي لنا.
ماذا يعني هذا لمستخدمي Beam AI
بالنسبة للفرق التي تبني على Beam AI، فإن هذا الأمر غير مرئي إلى حد كبير — وهو الهدف الأساسي. فكل ما في الأمر أن وكلائك متعددي المجالات يضبطون أنفسهم بشكل أفضل، ويتقاربون بشكل أسرع، ولا يتراجعون بصمت.
ابنِ وكلاء أوسع نطاقاً بكل ثقة. تتعامل أداة الضبط الآن مع تعقيدات التحسين متعدد المجالات، لذا لا يتعين عليك تصميم وهيكلة مشاريعك للالتفاف حول هذه المشكلة. فلم يعد ضبط وكيل واحد يتولى وظيفة كاملة أصعب من ضبط أداة بسيطة للمهمة الواحدة.
ثق بالدقة عبر جميع مجالاتك. يعني التحقق لكل مجال أن أداة الضبط لن تضحي بجزء من سير عملك لتحسين جزء آخر. ويجب أن ينجح كل مجال قبل إطلاق أي تحسين.
توقع تقارباً أسرع. مع التحسين المنظم والمراعي للمجال، تصل أداة الضبط إلى أهداف الدقة الخاصة بها في دورات أقل. ووقت أقل في الضبط يعني وقتاً أسرع لمباشرة العمل الفعلي.
الهدف من التطور من الضبط أحادي المجال إلى الضبط متعدد المجالات لم يكن جعل أداة التحسين أكثر ذكاءً، بل كان تزويدها بمعلومات أفضل تنظيماً للعمل من خلالها.
ومع استمرار اتساع نطاق عمل الوكلاء — للتعامل مع مجالات أكثر، وأنواع مستندات أكثر، وحالات استثنائية أكثر — فإن القدرة على الضبط عبر المجالات دون حدوث تراجعات لم تعد ميزة إضافية فحسب، بل هي الأساس الذي يجعل الوكلاء الأوسع نطاقاً قابلين للعمل بكفاءة في بيئة العمل الفعلية.
