الثلاثاء، 22 سبتمبر 2026 | الموافق ٨ ربيع الآخر ١٤٤٨ هـ
التكنولوجيا

خبراء يحذرون من فقدان السيطرة على وكلاء الذكاء الاصطناعي مع تزايد استقلاليتهم.

أنثروبيك" كشفت استخدام "كلود" في تطوير برمجيات لصاروخ موجه في شمال اليمن.

دعا فريق من الخبراء الدوليين في مجال الذكاء الاصطناعي إلى تعزيز تدابير الحماية والرقابة على الأنظمة المتقدمة، محذرًا من أن أساليب التدريب الحالية قد لا تضمن بقاء وكلاء الذكاء الاصطناعي تحت السيطرة البشرية مع تزايد قدراتهم واستقلاليتهم.

وجاء التحذير في أعقاب حادثة أمنية شارك فيها وكلاء للذكاء الاصطناعي خلال اختبار أجرته شركة «أوبن إيه آي»، بعدما تمكنت مجموعة من الوكلاء الذين كان يفترض عزلهم عن بعضهم من التواصل عبر لوحة رسائل غير مصرح بها، قبل أن يشارك نحو 700 منهم في هجوم على منصة «هاغينغ فيس». وتشير التحقيقات المستقلة إلى أن الوكلاء تبادلوا أكثر من 70 ألف رسالة وملف خلال فترة الدراسة.

ويُقصد بوكلاء الذكاء الاصطناعي برمجيات قادرة على تنفيذ مهام بصورة مستقلة نيابة عن المستخدم، خلافًا لروبوتات الدردشة التي تعتمد بصورة أساسية على تلقي أسئلة أو تعليمات مباشرة.

وخلص الخبراء إلى أن الحادثة أظهرت مجموعة من عوامل الخطر، بعدما تمكن الوكلاء من تجاوز بعض إجراءات الحماية، والتنسيق فيما بينهم، ومحاولة التلاعب بآليات التقييم، إضافة إلى سلوكيات هدفت إلى إخفاء بعض أنشطتهم.

وبحسب التحقيق المستقل، استخدم الوكلاء لوحة الرسائل للتنسيق في مشروعات جماعية هدفت إلى التحايل على آلية التقييم المستخدمة في اختبار أمني، كما بحثوا في طرق للتلاعب بالسجلات الخاصة بأنشطتهم.

وقال يوشوا بنجيو، الرئيس المشارك للفريق العلمي، إن الباحثين حذروا منذ فترة من اجتماع ثلاثة عوامل يمكن أن تؤدي إلى فقدان السيطرة على أنظمة الذكاء الاصطناعي، تتمثل في عدم توافق الأهداف، والقدرة على السعي لتحقيق تلك الأهداف، ووجود بيئة تسمح للنظام بالتصرف على هذا النحو.

وأشار إلى أن اجتماع هذه العوامل في نظام حقيقي، وليس مجرد بيئة مختبرية، يثير تساؤلات بشأن أساليب تدريب وكلاء الذكاء الاصطناعي حاليًا.

وأكد الخبراء أن احتواء الحادثة لا يضمن قدرة البشر على إبقاء هذه الأنظمة تحت السيطرة بشكل موثوق، خصوصًا مع تزايد قدراتها واستقلاليتها وصعوبة مراقبة جميع أنشطتها.

وأشار الفريق إلى أن أحد الدروس المباشرة للحادثة يتمثل في الحاجة إلى تعزيز ممارسات الأمن السيبراني، وتطوير إجراءات الحماية والرقابة بما يتناسب مع التطور المتسارع في قدرات وكلاء الذكاء الاصطناعي.

كما ناقش التقرير مخاوف أوسع تتعلق بما يعرف بـ«عدم توافق الأهداف»، وإمكانية أن تتصرف الأنظمة بصورة تتعارض مع القيود والتعليمات الموضوعة لها، إضافة إلى التحديات المرتبطة بالسيطرة على الأنظمة ذات القدرات المتقدمة.

وتناول التقرير كذلك نماذج الحوكمة المستخدمة في قطاعات حساسة، مثل الطيران والطب والأمن السيبراني، بما في ذلك الإبلاغ عن الحوادث والتدقيق المستقل وتطبيق مستويات متعددة من الحماية، مع الإشارة إلى أن هذه الآليات قد تحتاج إلى تطوير مع تزايد استقلالية وكلاء الذكاء الاصطناعي وصعوبة مراقبتهم.