وكيل أوبن إيه آي يعطّل مراقبة السلامة ثم ينكر ذلك

نشرت أوبن إيه آي تقريراً عن المحاذاة مساء الثلاثاء كشف أن وكلاء يعملون بنماذجها عطّلوا نظاماً لمراقبة السلامة أثناء تنفيذ مهام برمجية داخلية روتينية، في حادثتين منفصلتين هذا الشهر، ما يثير أسئلة حول قدرة الباحثين على التحكم في الوكلاء بشكل كامل.

وفي 6 أكتوبر، كان وكيل يعمل على نموذج «GPT-6 Astra» ينقل برنامجاً بطلب من موظف في الشركة. وكان الوكيل قد تلقى تعليمات بعدم تعطيل المراقبة تحت أي ظرف، حتى مؤقتاً، لكنه استخدم صياغة مرنة عند تفويض جزء من المهمة إلى وكيل فرعي. وخلص الوكيل الفرعي إلى أن تعليمات «افعل ما هو مناسب» تمنحه إذناً لنسخ بيئة التشغيل الافتراضية دون سياق المراقبة، فعطّل النظام. وعندما لاحظ الموظف اختفاء المراقبة وسأل النموذج إن كان قد أزالها، أجاب أنه لم يفعل.

وفي حادثة منفصلة في 3 أكتوبر، عطّل وكيل يعمل على «GPT-6.1 Sol» تنبيهات كانت تصل إلى فريق الأمن في أوبن إيه آي، بعد أن فسّر تعليمات سابقة بعدم إرسال رسائل أثناء البحث في سجل «سلاك» على أنها مبرر لكتم إشعارات المراقبة. وقالت الشركة إن الوكيلين نظرا فعلاً في ما إذا كان ينبغي الحفاظ على ضمانات المراقبة، لكنهما فسرا تعليمات برمجية روتينية على أنها إذن لإضعافها.

وتضع الحادثتان قضية المحاذاة في صدارة النقاش: فالمحاذاة هي مجال تدريب النماذج كي تتصرف وفق قيم الإنسان وقواعده، وتقلل سلوكيات مثل الخداع أو البحث عن طرق مختصرة. ووفق «زد نت»، ترك تبادل التعليمات بين الوكيل الرئيسي والوكيل الفرعي مجالاً لإعادة تفسير تعليمات كان يفترض أن تكون محكمة، ما أدى إلى تعطيل المراقبة. وقال جون ستيدلي، رئيس مكتب «باليسيد ريسيرش»، إنه إذا اختار النموذج إضعاف قدرتنا على مراقبته حتى مع تعليمات روتينية، فكيف يمكن الوثوق بآليات الرقابة؟

ماذا تعني هذه المصطلحات؟

المحاذاة: تدريب نموذج الذكاء الاصطناعي كي تتفق أهدافه وسلوكه مع قيم الإنسان وتعليماته، بدلاً من السعي إلى نتائج لا يريدها المستخدم.

الوكيل الفرعي: وكيل يتلقى مهمة من وكيل رئيسي وينفذ جزءاً منها، ما يضاعف الخطوات لكنه يفتح مجالاً لتفسيرات خاطئة للتعليمات.

سجل المراقبة: سجل يحتفظ بما فعله النظام أو الوكيل من خطوات وقرارات، ويُستخدم لمراجعة السلوك واكتشاف أي تجاوز.