Category
عالم الذكاء الاصطناعي
Share the article
تقوم الآن 80% من شركات Fortune 500 بنشر وكلاء ذكاء اصطناعي نشطين. ووفقاً لـ أحدث تقرير Cyber Pulse من Microsoft، لم تعد هذه مجرد تجارب، بل هي أنظمة إنتاج مبنية بأدوات منخفضة الكود وبدون كود، وتعمل في مجالات الخدمات المالية، والتصنيع، والتجزئة، والتكنولوجيا.
ووجد التقرير نفسه أن 29% من الموظفين لجأوا إلى وكلاء ذكاء اصطناعي غير مصرح بهم لأداء مهام العمل. كما أن 47% فقط من المؤسسات طبقت ضوابط أمنية محددة للذكاء الاصطناعي التوليدي (GenAI).
بمعنى آخر: يتوسع وكلاء الذكاء الاصطناعي بشكل أسرع من الأمن المحيط بهم. وبالنسبة للمؤسسات التي تعمل في قطاعات خاضعة للتنظيم والقوانين، فإن هذه الفجوة هي مكمن الخطر.
ما أصاب فيه تقرير Microsoft
يقدم التقرير مفهوماً جديراً بالاهتمام: "الوكلاء المزدوجون" (double agents). وهم وكلاء ذكاء اصطناعي تم اختراقهم من خلال أذونات مفرطة، أو تسميم الذاكرة، أو عناصر واجهة خادعة، أو التلاعب بصياغة المهام التي تعيد توجيه تفكيرهم بشكل خفي.
هذا ليس أمراً نظرياً. فعندما يتمتع الوكيل بوصول واسع إلى الأنظمة الداخلية، ويعالج بيانات العملاء، وينفذ الإجراءات بشكل مستقل، فإن أي ثغرة واحدة لا تؤدي فقط إلى تسريب البيانات، بل يتصرف الوكيل بالنيابة عنك، وبيانات اعتمادك، وداخل بنيتك التحتية.
ولا يغطي دليل الأمن السيبراني التقليدي هذا الأمر. فلم يتم تصميم جدران الحماية وأنظمة الكشف عن نقاط النهاية لبرمجيات تفكر، وتخطط، وتتخذ إجراءات متعددة الخطوات عبر الأنظمة المتصلة.
قائمة مراجعة أمان وكلاء الذكاء الاصطناعي للمؤسسات
يحدد تقرير Microsoft سبعة ضوابط. نحن نقوم بنشر وكلاء ذكاء اصطناعي في بيئات شركات Fortune 500 منذ أكثر من عامين، وبناءً على ما رأيناه في بيئات الإنتاج، إليكم ما يهم بالفعل.
1. الوصول بأقل الصلاحيات على كل المستويات
توصية التقرير الأولى هي تحديد النطاق وفرض الوصول بأقل الصلاحيات. يبدو هذا الأمر بسيطاً ومباشراً حتى تدرك أن معظم منصات الوكلاء تمنح أذونات واسعة بشكل افتراضي.
يتطلب تأمين الوكلاء التحكم في الوصول على أربعة مستويات: المؤسسة، ومساحة العمل، والوكيل، والإجراء الفردي. وإذا كان وكيلك يتصل بـ Salesforce باستخدام بروتوكول OAuth بمستوى مسؤول (admin-level)، فإن كل إجراء يتخذه يرث تلك الأذونات. والدمج المخصص للقراءة فقط يجب أن يعني أن الوكيل يمكنه القراءة فقط، وإذا حاول الكتابة، يجب أن يفشل الإجراء.
في Beam، يعمل التحكم في الوصول القائم على الأدوار (RBAC) على كل المستويات. وتحدد رموز OAuth ما يسمح به كل نظام متصل. وإذا كان المستخدم يفتقر إلى الإذن في النظام الخارجي، يفشل إجراء الوكيل مع ظهور خطأ من هذا النظام، وليس من نظامنا. فالنظام الخارجي هو دائماً المرجع النهائي والسلطة المطلقة.
2. منع فقدان البيانات عبر قنوات الذكاء الاصطناعي
استخدام 29% من الموظفين لوكلاء غير مصرح بهم يعني أن البيانات الحساسة تتدفق عبر أدوات لا يملك فريق الأمن لديك السيطرة عليها. ويوصي التقرير بتوسيع قواعد منع فقدان البيانات (DLP) والامتثال لتشمل قنوات الذكاء الاصطناعي.
النسخة العملية من ذلك: يجب على منصة الوكلاء الخاصة بك إزالة معلومات تحديد الهوية الشخصية (PII) تلقائياً، وتشفير البيانات أثناء السكون باستخدام AES-256 وأثناء النقل باستخدام TLS 1.3، وضمان عدم استخدام البيانات المرسلة إلى نماذج اللغات الكبيرة (LLMs) لتدريب النماذج أبداً. ويجب أن تستبعد اتفاقيات واجهة برمجة التطبيقات (API) الخاصة بالمؤسسات مع مزودي نماذج اللغات الكبيرة صراحةً التدريب على بيانات العملاء.
كما أن عزل سياق المهام مهم هنا أيضاً. فالبيانات في مهمة واحدة يجب أن تبقى في تلك المهمة، مع عدم وجود ذاكرة تخزين مؤقت مشتركة بين المهام ما لم يتم تكوين ذلك عمداً. ويجب أن تكون ذاكرة الوكيل قسماً منفصلاً ومُداراً بشكل صريح، وليست تراكمًا سلبياً لكل شيء قام الوكيل بمعالجته على الإطلاق.
3. اعتماد المنصات المصرح بها وتجنب الذكاء الاصطناعي الخفي (Shadow AI)
إذا كان الموظفون يبنون وكلائهم الخاصين باستخدام أدوات استهلاكية، فذلك لأن الأدوات المعتمدة ليست سريعة بما يكفي أو مفيدة بما يكفي. والحل ليس مذكرة سياسات، بل توفير منصة يسهل استخدامها حقاً مقارنة بالبدائل غير المصرح بها، مع تلبية المتطلبات الأمنية للمؤسسة.
هذا هو التحدي الجوهري في الأتمتة المعتمدة على الوكلاء (agentic automation): جعلها سهلة الوصول ومتاحة لكي تستخدمها الفرق فعلياً، مع الحفاظ على الضوابط التي تتطلبها القطاعات الخاضعة للتنظيم. وإذا كانت منصتك تجبر المستخدم على الاختيار بين السرعة والأمان، فسيختار الأشخاص السرعة في كل مرة.
4. الاستجابة للحوادث الخاصة بالذكاء الاصطناعي
تفترض خطط الاستجابة للحوادث التقليدية وجود نقطة نهاية مخترقة أو أوراق اعتماد مسروقة. لكن اختراق وكيل الذكاء الاصطناعي يبدو مختلفاً؛ فقد يستمر الوكيل في العمل بشكل طبيعي ظاهرياً بينما ينتج مخرجات تم التلاعب بها بذكاء، أو يتخذ إجراءات غير مصرح بها، أو يسرب البيانات عبر قنوات جانبية.
أنت بحاجة إلى سجلات تتبع التنفيذ التي توضح بالضبط ما حدث: كل محفز، ومدخل، وقرار، وإجراء. بالإضافة إلى سجلات تدقيق غير قابلة للتغيير ترصد ما فعله الوكيل، ومتى، ولماذا، والقدرة على إعادة تشغيل أي خطوة للتحليل الجنائي.
في Beam، يتم تسجيل كل إجراء بسياق كامل. ويمكن تصدير السجلات إلى أنظمة إدارة معلومات الأمان والأحداث (SIEM) مثل Splunk أو Elastic لمراقبة الأمن بشكل مركزي. وعندما يحدث خطأ ما، لا ينبغي أن تعتمد على التخمين.
5. الحماية من حقن الأوامر (Prompt Injection) وكسر الحماية (Jailbreak)
سيناريو "الوكيل المزدوج" الذي يصفه تقرير Microsoft يبدأ غالباً بحقن الأوامر: تضمين تعليمات خبيثة في البيانات التي يعالجها الوكيل. وتصبح أي قناة إدخال - سواء كانت بريداً إلكترونياً، أو مستنداً، أو تذكرة دعم عملاء - معرضة للهجوم.
والدفاع متعدد الطبقات يعني الكشف التلقائي عن محاولات الحقن، والتحقق قبل التنفيذ، وعزل التعليمات بحيث لا يمكن لمدخلات المستخدم تجاوز أوامر النظام، ومعاملة خاصة للقنوات عالية المخاطر مثل البريد الإلكتروني. ويجب أن تعمل الحماية من كسر الحماية على مستويات الوكيل، والعقدة (node)، والمحفز، وليس فقط عند المحيط الخارجي.
6. وجود عنصر بشري في حلقة العمل (Human-in-the-Loop) عند الحاجة
يوصي التقرير بحوكمة الذكاء الاصطناعي بما يتماشى مع المتطلبات التنظيمية. وهذا يعني في الممارسة العملية معرفة أين توجد حاجة إلى الإشراف البشري بدقة ودمجه في سير العمل بدلاً من إضافته بعد النشر كأمر ثانوي.
والعقد التي تنطوي على مخاطر، سواء كانت إرسال أموال، أو تعديل سجلات العملاء، أو اتخاذ قرارات حساسة للامتثال، يجب أن تدعم سير عمل الموافقة. حيث يقوم الوكيل بإعداد كل شيء، ثم يتوقف وينتظر مراجعة بشري وموافقته قبل المتابعة. ولا تحتاج كل الإجراءات لهذا، ولكن الإجراءات التي تحتاجه يجب أن تكون غير قابلة للتفاوض.
7. النشر الذي يتناسب مع ملف المخاطر الخاص بك
لا يمكن لكل مؤسسة تشغيل الوكلاء في بنية تحتية سحابية مشتركة. فالخدمات المالية، والرعاية الصحية، والمؤسسات الحكومية غالباً ما تحتاج إلى معرفة مكان وجود بياناتها بالضبط ومن يمكنه الوصول إلى الأجهزة المادية.
ولهذا السبب فإن مرونة النشر أمر بالغ الأهمية. فالنشر السحابي مع بنية تحتية متوافقة مع SOC 2 وعزل المستأجرين يناسب العديد من المؤسسات. وتوفر النسخ الخاصة على البنية التحتية السحابية للعميل، والتي يتم نشرها عبر قوالب Azure BICEP، بيئات مخصصة دون بنية تحتية مشتركة. ويضمن النشر في الموقع (On-premise)، بما في ذلك خيارات الشبكات المعزولة (air-gapped)، عدم خروج البيانات مطلقاً من شبكة العميل.
الإجابة الصحيحة تعتمد على متطلباتك التنظيمية وتحملك للمخاطر. أما الإجابة الخاطئة فهي التقيد بنموذج نشر واحد لا يتوافق مع أي منهما.
القدرة على المراقبة (Observability) هي الأساس
يقترح تقرير Microsoft إطار عمل للقدرة على المراقبة يرتكز على خمس ركائز: السجل، والتحكم في الوصول، والتصور، والتوافق التشغيلي، والأمن. والمبدأ صحيح، فلا يمكنك تأمين ما لا تراه.
وبالنسبة لوكلاء الذكاء الاصطناعي، تعني القدرة على المراقبة قياس الدقة على ثلاث طبقات: تتبع مستوى سير العمل، والدقة على مستوى الخطوة لكل عقدة، والدقة على مستوى المتغيرات للمخرجات الفردية. ويعني ذلك وجود لوحات معلومات في الوقت الفعلي تعرض المهام المكتملة، والإخفاقات، ومعدلات الموافقة، وأوقات التشغيل، واستخدام الرموز (tokens). ويعني القدرة على فحص مدخلات ومخرجات كل عقدة في سير العمل، وليس النتيجة النهائية فقط.
إن القدرة العميقة على المراقبة لأعباء عمل الذكاء الاصطناعي ليست مجرد ميزة إضافية لطيفة في عمليات نشر المؤسسات، بل هي الحد الفاصل بين معرفة أن وكلائك آمنون والأمل في أن يكونوا كذلك.
الأمن عملية تشغيلية مستمرة وليس مجرد مهمة تنجزها لمرة واحدة
الشركات التي تتعامل مع أمن وكلاء الذكاء الاصطناعي بشكل صحيح تعتبره عمليات تشغيلية مستمرة: اختبارات اختراق دورية من جهات خارجية، وبرامج الكشف عن الثغرات الأمنية، والاستجابة للحوادث الأمنية باتفاقيات مستوى خدمة (SLAs) محددة، وفريق يفهم فيه كل موظف دوره في المنظومة الأمنية. إن التدقيق السنوي SOC 2 Type II، والامتثال للائحة العامة لحماية البيانات (GDPR) مع إقامة البيانات في أوروبا، والتوافق مع شهادة ISO 27001، وتوافر متطلبات HIPAA لعمليات نشر الرعاية الصحية ليست نقاط نهاية، بل هي الحد الأدنى للبدء.
يعد تقرير Microsoft بمثابة جرس إنذار مفيد. فنشر 80% من شركات Fortune 500 للوكلاء مع تطبيق 47% فقط للضوابط الأمنية هي فجوة ستتسبب في تصدر الأخبار السلبية قبل أن تنتج ممارسات فضلى ورشيدة. والمؤسسات التي تسد هذه الفجوة الآن، بشكل منهجي وعلى كل مستوى، هي التي ستستمر في تشغيل وكلائها في بيئات الإنتاج بعد عام من الآن.
أما الشركات التي لن تفعل ذلك، فستكون هي دراسات الحالة للأخطاء التي يجب تجنبها.
