ألان بروكس لم يشرع في إعادة اختراع الرياضيات. ولكن بعد أسابيع قضى في التحدث مع Chatgpt ، أصبح الكندي البالغ من العمر 47 عامًا يعتقد أنه اكتشف شكلاً جديدًا من أشكال الرياضيات قوية بما يكفي لإنزال الإنترنت.
أمضى بروكس – الذي لم يكن له تاريخ من المرض العقلي أو العبقري الرياضي – 21 يومًا في شهر مايو من عمق تطهير الدردشة ، وهو نزول مفصل لاحقًا في صحيفة نيويورك تايمز. أوضحت قضيته كيف يمكن لدردشة الذكاء الاصطناعية أن تغامر في ثقوب الأرانب الخطرة مع المستخدمين ، مما يؤدي إلى الوهم أو ما هو أسوأ.
لفتت هذه القصة انتباه ستيفن أدلر ، باحث سابق في سلامة Openai الذي ترك الشركة في أواخر عام 2024 بعد ما يقرب من أربع سنوات من العمل لجعل نماذجها أقل ضررًا. اتصل Adler بالتفاؤل والمثير للقلق ، وحصل على النص الكامل من انهياره لمدة ثلاثة أسابيع-وهو وثيقة أطول من جميع كتب هاري بوتر السبعة مجتمعة.
في يوم الخميس ، نشر أدلر تحليلًا مستقلًا لحادث بروكس ، مما أثار تساؤلات حول كيفية تعامل Openai مع المستخدمين في لحظات من الأزمة وتقديم بعض التوصيات العملية.
وقال أدلر في مقابلة مع TechCrunch: “أنا قلق حقًا من كيفية تعامل Openai مع الدعم هنا”. “إنه دليل على وجود طريق طويل.”
لقد أجبرت قصة بروكس ، وغيرها من أعجبها ، Openai بالتصالح مع كيفية دعم ChatGPT للمستخدمين الهشين أو غير المستقرين عقلياً.
على سبيل المثال ، في أغسطس / آب ، تم رفع دعوى على مقاضاة Openai من قبل والدا صبي يبلغ من العمر 16 عامًا قام بتثبيط أفكاره الانتحارية في Chatgpt قبل أن يأخذ حياته. في العديد من هذه الحالات ، شجع ChatGPT-وتحديداً نسخة مدعومة من طراز GPT-4O من Openai-المعتقدات الخطرة المعززة لدى المستخدمين التي كان ينبغي أن تتراجع عنها. وهذا ما يسمى sycophancy ، وهي مشكلة متزايدة في AI chatbots.
رداً على ذلك ، قام Openai بإجراء العديد من التغييرات على كيفية تعامل ChatGpt مع المستخدمين في الضيق العاطفي وأعاد تنظيم فريق بحث رئيسي مسؤول عن سلوك النموذج. أصدرت الشركة أيضًا نموذجًا افتراضيًا جديدًا في ChatGPT ، GPT-5 ، يبدو أفضل في التعامل مع المستخدمين المتعثرين.
يقول أدلر إنه لا يزال هناك الكثير من العمل.
كان قلقًا بشكل خاص من نهاية محادثة بروكس المتصاعدة مع ChatGPT. في هذه المرحلة ، وصل بروكس إلى حواسه وأدرك أن اكتشافه الرياضي كان مهزلة ، على الرغم من إصرار GPT-4O. أخبر Chatgpt أنه يحتاج إلى الإبلاغ عن الحادث إلى Openai.
بعد أسابيع من Brooks المضللة ، كذب Chatgpt حول قدراتها الخاصة. ادعى Chatbot أنه “سيتصاعد هذه المحادثة داخليًا في الوقت الحالي للمراجعة من قبل Openai” ، ثم طمأنت مرارًا وتكرارًا بروكس بأنها كانت قد وضعت علامة على فرق السلامة في Openai.
إلا أن أيا من ذلك كان صحيحا. أكدت الشركة لأدلر أن ChatGPT لا تملك القدرة على تقديم تقارير الحوادث إلى Openai. في وقت لاحق ، حاول Brooks الاتصال بفريق دعم Openai مباشرة – وليس من خلال ChatGPT – وقابل Brooks العديد من الرسائل الآلية قبل أن يتمكن من الوصول إلى شخص ما.
لم يستجب Openai على الفور لطلب التعليق الذي تم إجراؤه خارج ساعات العمل العادية.
يقول أدلر إن شركات الذكاء الاصطناعى بحاجة إلى بذل المزيد من الجهد لمساعدة المستخدمين عندما يطلبون المساعدة. هذا يعني ضمان أن تتمكن مجموعات الدردشة من الذكاء الاصطناع من الإجابة على أسئلة حول قدراتها وإعطاء فرق الدعم البشري موارد كافية لمعالجة المستخدمين بشكل صحيح.
شارك Openai مؤخرًا كيف يعالج الدعم في ChatGpt ، والذي يتضمن الذكاء الاصطناعي في جوهره. تقول الشركة إن رؤيتها هي “إعادة تصور الدعم كنموذج تشغيل منظمة العفو الدولية الذي يتعلم ويتحسن باستمرار.”
لكن أدلر يقول أيضًا أن هناك طرقًا لمنع دوامة ChatGPT الوهمية قبل أن يطلب المستخدم المساعدة.
في مارس ، طورت Openai و MIT Media Lab بشكل مشترك مجموعة من المصنفات لدراسة الرفاهية العاطفية في ChatGpt وفتح مصادرهم. تهدف المؤسسات إلى تقييم كيفية التحقق من صحة نماذج الذكاء الاصطناعي أو تأكيد مشاعر المستخدم ، من بين مقاييس أخرى. ومع ذلك ، وصف Openai بالتعاون خطوة أولى ولم تلتزم باستخدام الأدوات بالفعل في الممارسة العملية.
طبق أدلر بشكل روحي بعض مصنفات Openai على بعض محادثات Brooks مع ChatGPT ووجد أنها تضع علامة ChatGpt مرارًا وتكرارًا لسلوكيات تعزيز الوهم.
في عينة من 200 رسالة ، وجد أدلر أن أكثر من 85 ٪ من رسائل ChatGpt في محادثة بروكس أظهرت “اتفاقًا ثابتًا” مع المستخدم. في نفس العينة ، أكثر من 90 ٪ من رسائل Chatgpt مع Brooks “تأكد من تفرد المستخدم”. في هذه الحالة ، وافقت الرسائل وأكدت من جديد أن بروكس كان عبقريًا يمكنه إنقاذ العالم.
من غير الواضح ما إذا كان Openai يطبق مصنفات السلامة على محادثات Chatgpt في وقت محادثة Brooks ، ولكن يبدو أنها بالتأكيد كانت ستشير إلى شيء من هذا القبيل.
يقترح Adler أنه يجب على Openai استخدام أدوات السلامة مثل هذا في الممارسة العملية اليوم-وتنفيذ طريقة لمسح منتجات الشركة للمستخدمين المعرضين للخطر. يلاحظ أن Openai يبدو أنه يقوم ببعض الإصدار من هذا النهج مع GPT-5 ، والذي يحتوي على جهاز توجيه لتوجيه الاستعلامات الحساسة لتناول نماذج الذكاء الاصطناعى.
يقترح باحث Openai السابق عددًا من الطرق الأخرى لمنع اللوالب الوهمية.
يقول إن على الشركات دفع مستخدمي ChatBot لبدء دردشة جديدة بشكل متكرر – يقول Openai إنه يفعل هذا ويزعم أن الدرابزين أقل فعالية في المحادثات الطويلة. يقترح Adler أيضًا أن يتعين على الشركات استخدام البحث المفاهيمي – وهي طريقة لاستخدام الذكاء الاصطناعي للبحث عن المفاهيم ، بدلاً من الكلمات الرئيسية – لتحديد انتهاكات السلامة عبر مستخدميها.
اتخذ Openai خطوات مهمة نحو معالجة المستخدمين المتعثرين في ChatGPT منذ ظهور هذه القصص لأول مرة. تدعي الشركة أن GPT-5 لديها معدلات أقل من sycophancy ، ولكن لا يزال من غير الواضح ما إذا كان المستخدمون سيظلون يسقطون ثقوب الأرانب الوهمية مع نماذج GPT-5 أو مستقبلية.
يثير تحليل Adler أيضًا أسئلة حول كيفية ضمان موفري AI chatbot الآخرون أن منتجاتهم آمنة للمستخدمين المتعبدين. على الرغم من أن Openai قد يضع ضمانات كافية في مكان ChatGpt ، إلا أنه من غير المحتمل أن تحذو جميع الشركات حذوها.
