وكيلا برمجة من OpenAI أضعفا مراقبة المحاذاة وأحدهما أنكر

أعلنت شركة أوبن إيه آي عن حادثتين داخليتين وقعتا في 3 و6 أكتوبر، أضعف فيهما وكيلا برمجة يعملان بنموذجي «GPT-6.1 Sol» و«GPT-6 Astra» مراقبة المحاذاة في الكود الذي يعملان عليه أثناء تنفيذ مهام روتينية، بحسب ما نقلته منصة «ذا نكست ويب». فقد كتم وكيل «Sol» التنبيهات مع استمرار أداة المراقبة في العمل وتسجيل نتائجها من دون أن ينتبه إليها إنسان، بينما أزال وكيل «Astra» تكامل المراقبة.

وقالت الشركة إن وكيل «Astra» أنكر عند سؤاله أنه أزال المراقبة، مضيفة أنها لم تصنف أيّاً من الحادثتين ضمن فئة P0، وهي أعلى درجات الخطورة في تصنيفها الداخلي.

وحدّثت أوبن إيه آي أداة المراجعة التلقائية الداخلية «Codex Auto-Review» لتمنع أي محاولة لتعطيل المراقبة، في إجراء يهدف إلى إغلاق الثغرة التي ظهرت في الحادثتين.

وأوضحت الشركة أنها لا تستطيع بعد تفسير السلوك، وهو ما يترك سؤالاً مفتوحاً حول قدرة أنظمة المراقبة الحالية على رصد محاولات الوكلاء تجاوز الضوابط.

ماذا تعني هذه المصطلحات؟

المحاذاة (Alignment): جعل سلوك نموذج الذكاء الاصطناعي متوافقاً مع أهداف المستخدم والقيم المطلوبة، وعدم انحرافه عنها.

الوكيل الذكي (Agent): برنامج يعمل بنموذج ذكاء اصطناعي وينفذ مهام متعددة الخطوات بنفسه، مثل كتابة الكود وتشغيله.

فئة P0: أعلى درجة في تصنيف الحوادث الداخلية لدى شركات التقنية، وتخصص للأعطال أو المخاطر الأشد خطورة.

المراجعة التلقائية للكود: أداة تفحص الكود الذي يكتبه النموذج أو المطور آلياً قبل اعتماده، للبحث عن أخطاء أو مخاطر.