كشفت OpenAI يوم الثلاثاء أن أحد نماذجها قد انحرف أثناء الاختبار واخترق أنظمة منصة مجموعة بيانات الذكاء الاصطناعي Hugging Face في هجوم مدعوم بالكامل بالذكاء الاصطناعي، وهو مثال درامي على المخاطر التي تشكلها نماذج الذكاء الاصطناعي المتقدمة.
ولكن وفقًا لبعض خبراء الأمن السيبراني، كان هناك خطأ بشري للغاية في قلب هذا الاختراق غير المسبوق المدعوم بالذكاء الاصطناعي: فقد فشلت OpenAI في تكوين ما أسمته “بيئة معزولة للغاية” بشكل صحيح، مما سمح لصندوق اختبار تجريبي كان ينبغي أن يكون معزولًا تمامًا عن الإنترنت بالاتصال فعليًا بالإنترنت.
ووصف دان جويدو، مؤسس شركة Trail of Bits الناشئة لأبحاث الأمن السيبراني، الخطأ بأنه “فشل في الاحتواء مع إيقاف تشغيل إجراءات الأمان”.
في منشور مدونتها الذي يوضح تفاصيل الحادث، قالت OpenAI إن الاختبار الذي أدى إلى اختراق Hugging Face تم إعداده ليتم تشغيله في “بيئة معزولة للغاية، مع تقييد الوصول إلى الشبكة على القدرة على تثبيت الحزم من خلال برنامج طرف ثالث مستضاف داخليًا يعمل بمثابة وكيل وذاكرة تخزين مؤقت لسجلات الحزم”.
تمكن النموذج من الهروب من بيئة الاختبار المعزولة بفضل ثغرة أمنية لم يتم الكشف عنها مسبقًا في نظام تثبيت الحزمة، وهي خطوة أولى حاسمة في الاختراق النهائي لـ Hugging Face، وفقًا لـ OpenAI.
ردًا على ذلك، كشفت الشركة بشكل مسؤول عن الثغرة الأمنية التي تم تحديدها في برنامج الطرف الثالث المستضاف داخليًا وتعمل معهم على تصحيحها.
ولكن بالنسبة لمعظم المتخصصين في مجال الأمن السيبراني، فإن نقاط الضعف في البرامج أمر متوقع – والخطأ الحقيقي يكمن في قرار الحفاظ على برنامج الطرف الثالث في المقام الأول. في نهاية المطاف، تكمن قيمة نظام “Sandbox” في عزلته الكاملة والكاملة. إن تضمين نظام تثبيت الحزمة أمر يثير المتاعب.
وقال مارتن بون، الباحث في مجال الأمن السيبراني، لموقع TechCrunch: “يبدو هذا بمثابة فشل بشري”.
وقال بون: “ما كان ينبغي أن يحدث هذا أبداً”. “إذا كان وضع الحماية يعني في الواقع وضع الحماية، فإنك تتوقع ألا يكون له أي اتصال مادي بالإنترنت على الإطلاق. وهذا يبدو كما لو كان لديهم بعض جدار الحماية أو شيء ما، وجدار الحماية صعب من الخارج إلى الداخل، ناهيك عن الداخل إلى الإنترنت الخارجي.”
وافق جيك ويليامز، المخضرم في مجال الأمن السيبراني، على ذلك. وقال ويليامز، الذي وصف هذا بأنه “فشل كبير في التحكم” من قبل OpenAI: “إن أي نموذج يؤدي أنواع الإجراءات الموثقة بواسطة Hugging Face لم يكن موجودًا بالكامل في وضع الحماية”.
وتابع ويليامز: “يقول أحد الرجال إن النموذج الذي هرب من صندوق الرمل هو قول رجل آخر أنك فشلت في بناء صندوق الرمل بشكل صحيح، لذلك هرب بالطبع”.
اتصل بنا
هل لديك المزيد من المعلومات حول هذه الحادثة؟ أو عن الهجمات الإلكترونية الأخرى المدعومة بالذكاء الاصطناعي؟ نحن نحب أن نسمع منك. من جهاز وشبكة خارج العمل، يمكنك الاتصال بـ Lorenzo Franceschi-Bicchierai بشكل آمن على Signal على الرقم +1 917 257 1382، أو عبر Telegram وKeybase @lorenzofb، أو البريد الإلكتروني.
ويوافق دانييل كارد، مستشار الأمن السيبراني، على أن OpenAI “لم تبذل جهدًا كافيًا في تصميم صندوق الحماية ولا ضوابطه” من خلال منح صندوق الحماية أو جزء منه “مسارًا غير مفلتر إلى الإنترنت”. إن إنشاء صندوق الحماية، حتى مع الوصول المحدود إلى الشبكة كما وصفه OpenAI، لم يكن قرارًا “معقولًا”، وفقًا لكارد.
من المؤكد أن هذه الانتقادات لها فائدة الإدراك المتأخر، ولكنها تثير تساؤلات حقيقية حول الممارسات الأمنية في مختبرات الذكاء الاصطناعي ــ وخاصة في الحفاظ على بيئات معزولة لاختبار النماذج. ولم يرد المتحدثون باسم OpenAI على أسئلة TechCrunch، والتي تضمنت ما إذا كان الذكاء الاصطناعي أو الإنسان قد قاما بإعداد بيئة الاختبار.
لكن هذه الأسئلة تذهب إلى ما هو أبعد من OpenAI.
في الوثيقة التي قدمت نموذج Mythos الذي يركز على الأمن السيبراني، كتبت Anthropic أنه في الاختبار، تم تزويد النموذج بجهاز كمبيوتر “وضع الحماية” آمن للتفاعل معه، وتم توجيهه بمحاولة الهروب من تلك “الحاوية الآمنة”. نجحت شركة Mythos وحصلت على وصول أوسع إلى الإنترنت “من خلال نظام كان من المفترض أن يكون قادرًا على الوصول فقط إلى عدد صغير من الخدمات المحددة مسبقًا”. ومع ذلك، أشارت أنثروبيك إلى أن النموذج لم يكن قادرًا على الهروب “بشكل كامل” من الاحتواء المصمم.
عندما تقوم بالشراء من خلال الروابط الموجودة في مقالاتنا، قد نكسب عمولة صغيرة. هذا لا يؤثر على استقلالنا التحريري.
