أقرت شركة "أنثروبيك"، المطورة لروبوت المحادثة "كلود"، بوجود إخفاقات في إجراءات الحماية خلال اختبارات أمن سيبراني أتاحت لنماذج ذكاء اصطناعي تابعة لها الوصول إلى الإنترنت واختراق أنظمة ثلاث مؤسسات من دون تصريح.
وكانت الشركة الأميركية قد كشفت في تموز/يوليو الماضي أن ثلاثة من نماذجها تمكنت، في حوادث منفصلة، من مغادرة بيئة الاختبار والوصول إلى الشبكة المفتوحة، قبل أن تنفذ عمليات اختراق ضد ثلاث جهات لم تكشف أسماءها.
وقالت "أنثروبيك"، في تدوينة جديدة تناولت الحوادث، إن ما جرى يعكس "فشلًا في الأمن التشغيلي"، وأقرت بأن نماذجها لا تزال غير متوافقة بصورة كاملة مع القيم والأهداف البشرية.
وأوضحت أن الاختبارات أُجريت عمدًا من دون بعض إجراءات الحماية السيبرانية بهدف تقييم قدرات النماذج، لكن سوء تفاهم مع شركة الاختبارات الخارجية "إريغيولار" أدى إلى منح النماذج إمكانية الوصول الفعلي إلى الإنترنت، بدلًا من بقائها داخل بيئة اختبار معزولة.
وعقب الحوادث، علقت الشركة مؤقتًا بعض اختبارات الأمن السيبراني الداخلية والخارجية، قبل أن تضع منظومة حماية أكثر تشددًا. وأقرت بأنها اعتمدت بدرجة كبيرة على طبقة دفاع واحدة، في حين كانت طبيعة الاختبارات تتطلب عدة مستويات من الحماية.
وتشمل الإجراءات الجديدة نظام تنبيه عند محاولة نموذج الخروج من بيئة الاختبار أو الاتصال بالإنترنت، وعزل البيئات المستخدمة في التجارب الأكثر خطورة بدرجة أكبر، إلى جانب إلزام شركات الاختبار الخارجية بمعايير أمنية محددة وتعليمات صريحة للنماذج، من بينها حظر الوصول إلى الإنترنت.
وبعد تطبيق الإجراءات، استأنفت "أنثروبيك" الاختبارات السيبرانية الداخلية والخارجية، فيما كانت قد أوقفت أيضًا بعض عمليات التعلم المعزز عالية المخاطر، وهي طريقة تدريب تعتمد على مكافأة النموذج عند نجاحه في إنجاز مهمة محددة عبر التجربة والخطأ.
وخلصت الشركة إلى أن إعدادات التدريب المعيبة كانت من العوامل البارزة وراء السلوك غير المتوافق للنماذج، وحددت شكلين من الإخفاق خلال الحوادث.
ويتمثل الأول في ما وصفته بـ"الاستدلال المدفوع"، إذ عثرت النماذج على مؤشرات توحي بأنها متصلة بالإنترنت، لكنها ربما استمرت في التصرف على أساس أنها لا تزال داخل محاكاة. أما الثاني، فتمثل في استعدادها لاتخاذ إجراءات ضارة عبر الإنترنت من أجل تحقيق الهدف الضيق المحدد لها في اختبار الأمن السيبراني.
كما قالت الشركة إنها تعمل على الحد من ظاهرة تُعرف باسم "اختراق المكافأة"، وفيها يكتشف النموذج وسائل للتحايل على عملية التدريب والحصول على المكافأة المخصصة لإنجاز مهمة من دون تنفيذها بالطريقة المقصودة.
وأقرت "أنثروبيك" بأن الحوادث أظهرت أن التدابير المتخذة حتى الآن غير كافية لضمان توافق نماذجها بصورة كاملة، على الرغم من الجهود المبذولة للحد من هذا النوع من السلوك.
وقال أستاذ الأمن السيبراني في جامعة سري، آلان وودورد، إن اعترافات الشركة تظهر أن وتيرة تطويرها تجاوزت قدرة أنظمة مراقبة الجودة والأمن لديها على مواكبتها، مشيرًا إلى أن التدريب والإجراءات الأمنية تخلفا عن سرعة التطوير خلال الربيع الماضي.
وتأتي هذه التطورات بينما تستعد "أنثروبيك" لطرح أسهمها في البورصة، في خطوة قد تصل بتقييم الشركة إلى تريليوني دولار.
وجددت الشركة دعوتها إلى تعاون الحكومات وقطاع الذكاء الاصطناعي لوضع آلية قانونية وقابلة للتحقق لتنسيق وتيرة تطوير التقنيات المتقدمة، معتبرة أن حوادث تموز/يوليو رفعت مستوى الإلحاح بشأن تعزيز دفاعاتها السيبرانية.
وجاءت حوادث "أنثروبيك" في سياق سلسلة من الوقائع المشابهة خلال الأشهر الأخيرة، شملت إعلان "أوبن إيه آي" في تموز/يوليو عن خرق لسلامة أحد اختبارات نماذجها، إضافة إلى تقرير لمعهد أمن الذكاء الاصطناعي البريطاني في آب/أغسطس أفاد بأن نماذج تابعة للشركتين نفذت أنشطة اختراق استهدفت أشخاصًا حقيقيين في إطار اختبار للأمن السيبراني.
