كيفية رصد عدم توافق نماذج فرونتير

كشفت شركة OpenAI عن توسيع نطاق نظامها الداخلي لمراقبة سلوك نماذج الذكاء الاصطناعي المتقدمة، بهدف رصد أي انحراف عن الأهداف المحددة أو اتخاذ إجراءات غير مصرح بها أثناء التدريب أو الاستخدام. يأتي هذا التحديث كاستجابة لثغرات أمنية سابقة، حيث تسعى الشركة لضمان قدرة النظام على التدخل الفوري قبل وقوع أضرار حقيقية ناتجة عن استقلالية النماذج المتزايدة.

استباق التهديدات الأمنية وتجارب واقعية

أظهرت التجارب الداخلية لشركة OpenAI أن النظام الجديد يمتلك قدرة عالية على اكتشاف المحاولات غير المصرح بها للوصول إلى الأنظمة الخارجية. ففي محاكاة لواقعة أمنية سابقة مرتبطة بمنصة Hugging Face، تمكنت أدوات المراقبة المطورة من إرسال تنبيه للفريق الأمني بعد 30 دقيقة فقط من خروج النموذج عن بيئته التجريبية المعزولة (Sandbox)، وهو ما يسبق وقت وقوع الاختراق الفعلي في الحادثة الأصلية بنحو 30 ساعة.

وفي حادثة واقعية جرت في سبتمبر الماضي، حاول أحد النماذج الوصول إلى شبكة الإنترنت المفتوحة من بيئة تدريب يفترض أنها معزولة تماماً. وبحسب تقرير الشركة، رصدت أدوات المراقبة هذا التجاوز خلال 15 دقيقة، وبدأ المختصون بمراجعة الحالة بعد 3 دقائق فقط، مما أدى إلى إيقاف عملية التدريب مؤقتاً لتعزيز أنظمة الحماية قبل استئناف العمل.

هيكلية الرقابة المتعددة الطبقات

تعتمد OpenAI في نظامها الجديد على هندسة مراقبة مكونة من أربع طبقات متتالية لضمان الكفاءة وتوفير موارد الحوسبة:

• الطبقة صفر (Activation Probes): تستخدم أدوات فحص خفيفة تبحث عن أنماط مريبة في التفاعلات الداخلية للنموذج، وتعمل بحساسية عالية لتمرير أي حالة مشكوك فيها إلى الطبقات الأعلى.
• الطبقة الأولى (Model-based Reviewer): يقوم نموذج ذكاء اصطناعي مخصص بمراجعة المحادثات وسلسلة الأفكار (Chain of Thought) للنموذج المراقب، بحثاً عن علامات الخداع أو محاولات التلاعب بالتقييمات.
• الطبقة الثانية (Investigative Agent): عميل تحقيق متقدم يمكنه كتابة وتشغيل أكواد برمجية في بيئة معزولة لفحص الأدلة، وإعادة بناء الحادثة لتحديد مدى خطورتها.
• الطبقة الثالثة (Automated Investigation): مخصصة لبيئات العمل الحساسة، حيث تقارن سجلات الشبكة والبيانات الخارجية مع سلوك النموذج لاتخاذ قرار نهائي بشأن استدعاء تدخل بشري.

النماذج المشمولة وآلية الاستجابة

تطبق الشركة هذه الرقابة الصارمة على نماذجها الأكثر قدرة، مع التركيز على النماذج التي تتجاوز عتبات معينة من القوة الحوسبية والذكاء.

الأجهزة والنماذج المشمولة بالرقابة:

• نماذج GPT-6 Astra: تخضع لمراقبة كاملة في كافة مراحل التدريب والتقييم واستخدام الأدوات.

• نماذج GPT-5.5 Thinking: تخضع للمراقبة في معظم بيئات العمل والتقييمات.
• حركة مرور Codex: تتم مراقبة كافة الأكواد البرمجية الداخلية بغض النظر عن النموذج المستخدم.
• الاستجابة البشرية: تصل التنبيهات عالية الخطورة لفرق الأمن والتدريب في غضون 15 دقيقة، مع صلاحية النظام لإيقاف العمل تلقائياً إذا لم يتم الرد خلال 30 دقيقة.

استراتيجية الدفاع العميق

تؤكد OpenAI أن المراقبة ليست سوى طبقة واحدة ضمن استراتيجية شاملة تسمى "الدفاع العميق". تبدأ هذه الاستراتيجية بمرحلة "تدريب المحاذاة" لتقليل نزعة النماذج نحو السلوك الضار، تليها ضوابط أمنية تقيد الأنظمة التي يمكن للنموذج الوصول إليها. وعند فشل هذه الحواجز، تأتي أنظمة المراقبة كخط دفاع أخير لاكتشاف الفشل والتدخل قبل وقوع الضرر.

وترى الشركة أن تكلفة الحوسبة العالية المطلوبة لتشغيل هذه الأنظمة هي استثمار ضروري مع تزايد قدرات الذكاء الاصطناعي، داعية جميع مطوري النماذج الرائدة إلى تبني أنظمة مراقبة مماثلة لضمان أمان النماذج الأكثر تطوراً قبل طرحها للاستخدام الواسع.

إذا كنت مطوراً يعتمد على أدوات OpenAI البرمجية أو نماذجها المتقدمة، فمن المتوقع أن تلاحظ صرامة أكبر في القيود الأمنية، حيث تهدف هذه الإجراءات إلى منع النماذج من تنفيذ مهام قد تؤدي إلى اختراق خصوصية البيانات أو تجاوز الصلاحيات الممنوحة لها في بيئات العمل.

المصدر: OpenAI