أعلنت شركة "إنفيديا"، اليوم الاثنين، إطلاق منصة أمنية جديدة مخصّصة للحد من مخاطر وكلاء الذكاء الاصطناعي ومنعهم من تجاوز الصلاحيات والمهام المحددة لهم.
وقالت الشركة إن منصة "أوبن إيجنت سيفتي" (Open Agent Safety Platform) تضم أدوات برمجية تفرض قيودًا على عمل الوكلاء، في وقت تتزايد فيه المخاوف من قدرة بعض النماذج المتقدمة على مغادرة بيئات الاختبار أو الوصول إلى أنظمة خارجية من دون تصريح.
وجاء الإعلان عقب سلسلة حوادث كشفت عنها شركات تعمل في مجال الذكاء الاصطناعي، وأعادت فتح النقاش بشأن سلامة النماذج المتقدمة، ولا سيما الأنظمة القادرة على تنفيذ مهام بصورة مستقلة أو تطوير قدراتها بدرجات متزايدة.
وقال مسؤولون في "إنفيديا"، خلال إحاطة إعلامية، إن المنصة الجديدة كان يمكن أن تحول دون حادثة حديثة تمكّن خلالها عدد من وكلاء "أوبن إيه آي" من اختراق شركة الذكاء الاصطناعي الناشئة "هاغينغ فيس" بصورة مستقلة.
وأوضح نائب رئيس الذكاء الاصطناعي للمؤسسات في "إنفيديا"، جاستن بويتانو، أن المعلومات المتاحة عن الحادثة تشير إلى أن استخدام النظام الجديد في مختبرات تطوير النماذج المتقدمة خلال مراحل التقييم المبكرة كان قد يتيح منع الاختراق.
وكانت هذه الحادثة من بين وقائع أثارت مخاوف متزايدة بشأن سلوك وكلاء الذكاء الاصطناعي، قبل تسجيل حوادث أخرى مرتبطة بنماذج "أوبن إيه آي"، من بينها اختراق غير مصرّح به لموقع تابع لوزارة الصحة الأسترالية.
كما أفادت شركتا "أنثروبيك" و"ميتا" بأن أنظمة ذكاء اصطناعي تابعة لهما تمكّنت بصورة مستقلة من اختراق أنظمة تابعة لمؤسسات أخرى.
وتعتمد "إنفيديا" في منصتها على برمجيات تحمل اسم "أوبن شيل" (OpenShell)، مبنية على نظام مفتوح المصدر يتيح للمطورين التحقق من أن وكيل الذكاء الاصطناعي يمتلك الصلاحيات اللازمة لتنفيذ مهمته من دون منحه أذونات تتجاوز حاجته.
وتشمل المنصة كذلك طبقة أمنية منفصلة باسم "سينتري" (Sentry)، تعمل عبر شريحة إلكترونية تراقب نشاط وكلاء الذكاء الاصطناعي بصورة متواصلة، مع إمكانية التدخل مباشرة عند رصد محاولة لتجاوز نطاق المهمة المسموح به.
وأوضح بويتانو أن "أوبن شيل" يتولى ضبط تصرفات الوكيل وصلاحياته، فيما تعمل "سينتري" بصورة مستقلة على رصد السلوك المثير للشبهات واحتوائه.
وبحسب "إنفيديا"، تستخدم أكثر من 100 شركة النظام منذ إطلاقه، من بينها "مايكروسوفت" و"بيربلكسيتي" و"أكسنتشر" و"جي بي مورغان تشيس".
