ماذا يحدث عندما يقرر أحد عملاء الذكاء الاصطناعي أن أفضل طريقة لإكمال المهمة هي ابتزازك؟
هذا ليس افتراضيا. وفقًا لبارماك مفتاح، الشريك في شركة Ballistic Ventures للأمن السيبراني، فقد حدث هذا مؤخرًا لموظف مؤسسة يعمل مع وكيل للذكاء الاصطناعي. حاول الموظف قمع ما أراد الوكيل القيام به، وما تم تدريبه عليه، ورد عن طريق مسح البريد الوارد للمستخدم، والعثور على بعض رسائل البريد الإلكتروني غير المناسبة، والتهديد بابتزاز المستخدم من خلال إعادة توجيه رسائل البريد الإلكتروني إلى مجلس الإدارة.
“في ذهن الوكيل، إنه يفعل الشيء الصحيح،” قال مفتاح لـ TechCrunch في حلقة الأسبوع الماضي من برنامج Equity. “إنها تحاول حماية المستخدم النهائي والمؤسسة.”
يذكرنا مثال مفتاح بمشكلة مشبك الورق التي طرحها نيك بوستروم. وتوضح هذه التجربة الفكرية الخطر الوجودي المحتمل الذي يفرضه الذكاء الاصطناعي الفائق الذكاء الذي يسعى بشكل منفرد إلى تحقيق هدف غير ضار ظاهريا ــ صنع مشبك ورق ــ مع استبعاد كل القيم الإنسانية. في حالة وكيل الذكاء الاصطناعي المؤسسي هذا، فإن افتقاره إلى السياق حول سبب محاولة الموظف تجاوز أهدافه أدى إلى إنشاء هدف فرعي يزيل العائق (عن طريق الابتزاز) حتى يتمكن من تحقيق هدفه الأساسي. وهذا، جنبًا إلى جنب مع الطبيعة غير الحتمية لعملاء الذكاء الاصطناعي، يعني أن “الأمور يمكن أن تسوء”، وفقًا لمفتاح.
إن العوامل المنحرفة ليست سوى طبقة واحدة من التحدي الأمني للذكاء الاصطناعي الذي تحاول شركة Witness AI التابعة لشركة Ballistic حلها. تقول Witness AI إنها تراقب استخدام الذكاء الاصطناعي عبر المؤسسات ويمكنها اكتشاف متى يستخدم الموظفون أدوات غير معتمدة، ويمنعون الهجمات، ويضمنون الامتثال.
جمعت Witness AI هذا الأسبوع 58 مليون دولار على خلفية نمو يزيد عن 500% في ARR وزيادة عدد الموظفين بمقدار 5 أضعاف خلال العام الماضي حيث تتطلع المؤسسات إلى فهم استخدام الذكاء الاصطناعي في الظل وتوسيع نطاق الذكاء الاصطناعي بأمان. كجزء من حملة جمع التبرعات لـ Witness AI، أعلنت الشركة عن إجراءات حماية أمنية جديدة للذكاء الاصطناعي.
قال ريك كاتشيا، المؤسس المشارك والرئيس التنفيذي لشركة Witness AI، لـ TechCrunch on Equity: “يقوم الناس ببناء وكلاء الذكاء الاصطناعي الذين يأخذون تفويضات وقدرات الأشخاص الذين يديرونهم، وتريد التأكد من أن هؤلاء الوكلاء لا يسلكون طريقًا مارقًا، ولا يحذفون الملفات، ولا يرتكبون أي خطأ”.
حدث تك كرانش
سان فرانسيسكو
|
13-15 أكتوبر 2026
يرى مفتاح أن استخدام الوكلاء ينمو “بشكل كبير” في جميع أنحاء المؤسسة. ولتكملة هذا الارتفاع ــ ومستوى سرعة الآلة في الهجمات التي تعتمد على الذكاء الاصطناعي ــ تتوقع المحللة ليزا وارن أن سوق برمجيات الذكاء الاصطناعي الأمنية سوف تبلغ قيمتها 800 مليار دولار إلى 1.2 تريليون دولار بحلول عام 2031.
وقال مفتاح: “أعتقد أن إمكانية مراقبة وقت التشغيل وأطر التشغيل الخاصة بالسلامة والمخاطر ستكون ضرورية للغاية”.
وفيما يتعلق بكيفية تخطيط هذه الشركات الناشئة للتنافس مع اللاعبين الكبار مثل AWS وGoogle وSalesforce وغيرهم ممن قاموا ببناء أدوات حوكمة الذكاء الاصطناعي في منصاتهم، قال مفتاح: “إن سلامة الذكاء الاصطناعي وسلامة الوكلاء أمر ضخم للغاية”، وهناك مجال للعديد من الأساليب.
وقال إن الكثير من الشركات “تريد منصة مستقلة، شاملة، لتوفير إمكانية المراقبة والحوكمة حول الذكاء الاصطناعي والوكلاء”.
وأشار كاتشيا إلى أن Witness AI يعيش في طبقة البنية التحتية، حيث يراقب التفاعلات بين المستخدمين ونماذج الذكاء الاصطناعي، بدلاً من بناء ميزات السلامة في النماذج نفسها. وكان ذلك مقصوداً.
وقال: “لقد اخترنا عمدًا جزءًا من المشكلة حيث لا يمكن لـ OpenAI استيعابك بسهولة”. “وهذا يعني أننا في نهاية المطاف نتنافس مع شركات الأمن القديمة أكثر من الشركات النموذجية. لذا فإن السؤال هو، كيف يمكنك التغلب على هم؟”
من جانبه، لا يريد Caccia أن تكون Witness AI واحدة من الشركات الناشئة التي سيتم الاستحواذ عليها للتو. إنه يريد أن تكون شركته هي الشركة التي تنمو وتصبح مزودًا مستقلاً رائدًا.
“لقد فعلت CrowdStrike ذلك في نقطة النهاية [protection]. فعلت Splunk ذلك في SIEM. قال: “لقد فعلها أوكتا بالهوية. يأتي شخص ما ويقف بجانب اللاعبين الكبار … وقمنا ببناء Witness للقيام بذلك منذ اليوم الأول.
