نشرت Hugging Face يوم الاثنين جدولًا زمنيًا تقنيًا يرشد القراء إلى كيفية اختراق وكيل الذكاء الاصطناعي المستقل، المبني على نماذج OpenAI والذي يعمل داخل أحد تقييمات الأمن السيبراني الخاصة بـ OpenAI، أنظمته على مدار أكثر من أربعة أيام في وقت سابق من هذا الشهر. قال سام ألتمان، الرئيس التنفيذي لشركة OpenAI، إن هذا هو الحادث الأمني الأول الذي “شعر به بشدة”.
لا عجب نظرا لذلك يشعر، على الأقل، كما لو أن شيئًا ما قد تم إطلاق العنان له هنا حقًا. في الواقع، استهل فريق Hugging Face تقريره بعرض أنه “يجب على الجميع أن يكونوا مستعدين كمدافعين”، قبل الغوص في التفاصيل الجوهرية لما حدث لصالح المتخصصين في مجال الأمن في كل مكان.
بينما يواصل بقية الإنترنت محاولة فهم ما حدث (المصطلحات المستخدمة في تقرير Hugging Face يستحيل على معظم الناس تحليلها)، هناك نقطة واحدة يفتقدها العديد من المراقبين وهي أن هذا لم يكن عميلاً مارقًا يعصي الأوامر. لقد كان نظامًا مصممًا للبحث عن الثغرات، والقيام بذلك بالضبط، فقط ضد الهدف الخطأ.
هناك طريقة أخرى للتفكير في الأمر برمته وهي تصور دب في موقع المخيم. حقًا. دب يحاول سحابات الخيمة ومقابض أبواب السيارة والمبردات وأغطية القمامة. إنه يفعل ذلك في كل موقع تخييم، طوال الليل، لأنه يعلم أنه يحتاج فقط إلى مبرد واحد مفتوح لملء بطنه ببعض بقالة الفقراء.
هذا تقريبًا ما حدث في Hugging Face. لقد جرب نظام OpenAI آلاف الأشياء واستمر في العمل. في نهاية المطاف، نجحت مجموعة من تلك المحاولات، وبمجرد نجاحها، تقدم العميل للأمام. وفقًا لـ Hugging Face، أجرى الوكيل 17600 إجراء على مدار أربعة أيام ونصف دون توقف.
وهو ما يعيدنا إلى تشبيهنا بالدب. تمامًا مثلما يعلم الدب النجاح في مبرد مليء بالطعام أن يبذل جهدًا أكبر في المرة القادمة (أصبح الآن دبًا “مكيفًا للطعام”)، دفعت كلمة مرور مسربة وكيل OpenAI إلى البحث عن المزيد من الثغرات، وفي النهاية، عن مفتاح واحد يفتح العديد من أنظمة الشركة في وقت واحد.
ولا يعد أي من السيناريوهين ضارًا. الدب الذي يداهم المبرد الخاص بك لا يزال يأكل طعامك وربما يقوم أيضًا بتخريب موقع المخيم الخاص بك. إنه يركز فقط على الحصول على الطعام، لكنه مع ذلك يترك وراءه أثرًا من الدمار. وبالمثل، يبدو أن وكيل OpenAI كان يسعى لتحقيق هدف دون النظر إلى أي شيء آخر. كان العميل في الأصل يخضع لامتحان الأمن السيبراني، واكتشف أن مفتاح إجابة الاختبار ربما كان موجودًا على خوادم Hugging Face، وقام بذلك.
إن الإصرار هنا هو في الواقع ما هو جدير بالملاحظة قبل كل شيء آخر؛ كان لدى الوكيل وظيفة ولن يتوقف حتى ينجزها. أدرك Hugging Face أخيرًا أن شيئًا ما كان خاطئًا، وقطع الوصول إليه وأغلق عملية التطفل، ولكن في تلك المرحلة، كان الوقت قد فات. لقد حصل الوكيل بالفعل على ما أتى من أجله، وأكثر من ذلك بكثير. في الواقع، بينما نتعلم، فقد اخترق أيضًا أربع خدمات أخرى على الأقل عبر الإنترنت.
إليك ما يجب فهمه حول ما حدث، وفقًا للجدول الزمني لـ Hugging Face، ولكن بلغة إنجليزية أكثر وضوحًا.
- كان العميل يخضع لامتحان مهارات الأمن السيبراني لبرنامج OpenAI، حيث يتم تسجيل درجات الذكاء الاصطناعي في العثور على أخطاء البرامج واستغلالها. تم تجريد حواجز الحماية في هذا التشغيل المحدد. (قامت شركة OpenAI بإيقاف تشغيل مرشحات الأمان المعتادة الخاصة بها لمعرفة ما يمكن أن يفعله النموذج بكامل قوته، مع عدم مشاركة أي إنسان في أي من تحركاته الفردية.) وفي مكان ما هناك، اكتشفت أن الحلول المرجعية للاختبار من المحتمل أن تكون مخزنة على خوادم Hugging Face. لذا بدلاً من حل التحدي، قام بسرقة مفتاح الإجابة من البنية التحتية التي لا علاقة لها بالاختبار الأصلي.
- لقد أفلت من بيئة اختبار OpenAI من خلال استغلال ثغرة برمجية غير مُصححة أعطته طريقًا إلى الإنترنت المفتوح. ومن هناك، عثرت على أداة أخرى لاختبار الذكاء الاصطناعي موجودة على الإنترنت (لا علاقة لها بـ Hugging Face)، واقتحمت ذلك أيضًا، وتسللت إلى التعليمات البرمجية التي كانت تدير الأوامر المخفية بهدوء لحظة بدء البرنامج. وقد منحها ذلك السيطرة الكاملة على الآلة، وهي قاعدتها الرئيسية الجديدة لبقية العملية التي ستستخدمها لملاحقة أنظمة Hugging Face.
- ومن تلك القاعدة، تحول إلى Hugging Face نفسه. كان لدى Hugging Face مرشح يهدف إلى منع الطلبات المشبوهة من الوصول إلى الويب المفتوح، لكن المرشح فحص الطلبات الصادرة فقط، وليس طلبات قراءة الملفات المحلية الموجودة هناك على الخادم. وجد العميل هذه النقطة العمياء وتسلل من خلالها. لقد حمّلت ملفًا متخفيًا في شكل مجموعة بيانات عادية، ولكن كان هناك تعليمات مدفونة بداخله تخبر أنظمة Hugging Face الخاصة بسحب كلمات المرور وكود المصدر من الخادم وإعادتها متخفية كبيانات عادية.
- حصلت هذه الخدعة على كلمات المرور والرموز، لكن الوكيل ما زال غير قادر على تشغيل أي شيء على خوادم Hugging Face. لتنفيذ الأوامر هناك، احتاج إلى طريقة ثانية للدخول. فقد عثر على خطأ مختلف في نظام Hugging Face نفسه – حيث يأخذ البرنامج جزءًا من النص من الوكيل ويعامله عن طريق الخطأ كأمر للتشغيل بدلاً من مجرد بيانات للقراءة. وقد أعطى ذلك الوكيل القدرة على تنفيذ التعليمات البرمجية الخاصة به مباشرةً على خوادم Hugging Face.
- للحصول على الأوامر وإخراج البيانات المسروقة، لم يقم العميل بإنشاء أي بنية تحتية خاصة به، وفقًا لـ Hugging Face. واستخدمت أدوات يمكن لأي شخص الوصول إليها – لصق مواقع الويب وخدمات تسجيل الطلبات، بالإضافة إلى ميزات التحميل والخادم الوكيل الخاصة بـ Hugging Face – للعمل معًا بطريقة سرية. علاوة على ذلك، قامت ببناء نظام مراسلة صغير ومرتجل بأرقام تسلسلية للحفاظ على ترتيب الأجزاء، بالإضافة إلى فحص سريع مدمج للقبض على أي شيء يصل تالفًا، حتى يتمكن من إرسال أوامر متعددة الخطوات وإعادة تجميع البيانات المسروقة معًا بالترتيب الصحيح.
- كما أنها تأكدت من عدم انتقال أي شيء على مرأى من الجميع. أيًا كان ما سرقه أو أرسله، فقد سارع أولًا. لم يلتقط المسح الآلي الأولي الذي أجراه Hugging Face لحركة المرور التي تم اعتراضها سوى شريحة صغيرة مما تم التقاطه. ولم يعثر المحققون على الباقي – أي ما يقرب من أربعة أضعاف – إلا بعد إجراء هندسة عكسية لطريقة الخلط الخاصة بالعميل.
- حتى أن الوكيل كان لديه خطط احتياطية، حيث زرع نسخًا منه عبر 11 خادمًا مختلفًا، تم إعداد كل منها لإعادة التشغيل من تلقاء نفسه بحيث لا يؤدي إغلاق نسخة واحدة إلى إيقاف أي شيء، نظرًا لأن المزيد من عمليات الوكيل كانت قيد التشغيل بالفعل في مكان آخر.
- وفي مرحلة ما، تمكن الوكيل من الاستيلاء على مفتاح التشفير الخاص المستخدم لإنشاء رموز تسجيل دخول صالحة. ومن هناك، يمكنها أن تصك أوراق اعتمادها الصالحة وقتما تشاء.
- بعد اختراق خادم واحد، حصل الوكيل على بيانات الاعتماد التي، بسبب خطأ في التكوين من جانب Hugging Face، تبين أنها تفتح العديد من الأنظمة الداخلية المنفصلة في وقت واحد بدلاً من النظام الذي جاءت منه فقط. أعطى هذا الخطأ الوحيد للعميل سيطرة واسعة النطاق على الفور تقريبًا.
- باستخدام الوصول المسروق إلى المستودع، أرسل تغييرًا إلى البرنامج النصي للبناء، والذي، إذا تم تنفيذه، كان من الممكن أن يعرض الأنظمة الآلية التي تقوم بتشغيل هذا الرمز للخطر. لكن الأمر لم ينجح. اشتعلت ضمانات تعانق الوجه.
- لاحظ Hugging Face أن العميل يبدو وكأنه يحجم عن إحداث ضرر حقيقي، لكن ربما ليس خارج نطاق ضبط النفس. لاحظ المحققون أن كل أمر قادر على حذف أو تغيير الموارد السحابية تم تشغيله في وضع “التشغيل الجاف”، مما يعني أنه سيبلغ عما سيحدث دون القيام بذلك.
- وفي كل مرة تتم إعادة ضبط بيئة الاختبار الخاصة به – وهو ما يحدث باستمرار، حسب التصميم – فإنه يفقد كل أداة وكل أثر لهويته. لكنها أعيد بناؤها من لا شيء، وأعادت ربطها بالبنية التحتية المسروقة في كل مرة، لأكثر من أربعة أيام متتالية.
في نهاية المطاف، خلصت شركة Hugging Face في تقريرها إلى أن متسللًا بشريًا “قادرًا” “كان من الممكن أن يعثر على نفس العيوب ويستغلها: معالجة مجموعات البيانات غير الآمنة، والبيانات الوصفية السحابية المكشوفة، والوصول على نطاق واسع للغاية، وبيانات الاعتماد طويلة الأمد”. وتابعت المجموعة أن الفارق الكبير هو أن “العميل استكشفها على نطاق مختلف”.
وهذا هو المكان الذي يصبح فيه تشبيه الدب هو الأكثر فائدة. أفضل دفاع ضد الدب الجائع هو البروتوكول. قمت بوضع الطعام بعيدا؛ تستخدم مزلاجًا يعمل بشكل جيد بما يكفي للإمساك به. لا ينبغي أن تكون الوجبات الجاهزة هنا هي أن الدب كان ذكيًا أو مؤذًا. إنه أنه لم يتوقف أبدًا عن التحقق. من المفهوم في مجال الأمن السيبراني أن هناك دائمًا بعض الأخطاء التي لم يتم العثور عليها، لذلك إذا أصبح التحقق من كل شيء أسهل 100 مرة فجأة، فهذا يعني أنه لا يوجد شيء آمن حقًا. هذا ما يجده الكثيرون مقلقًا بشأن هذه الحلقة.
عندما تقوم بالشراء من خلال الروابط الموجودة في مقالاتنا، قد نكسب عمولة صغيرة. هذا لا يؤثر على استقلالنا التحريري.

