واحدة من أكبر نقاط البيع لأنظمة الذكاء الاصطناعي الحديثة هي قدرتها على التكيف مع المستخدمين. في كل مرة يتولى فيها مساعد الذكاء الاصطناعي مهمة نيابة عنك، فإنه يتكيف أيضًا مع أسلوبك وتفضيلاتك، والتي يتم دمجها كسياق للمهام المستقبلية. مع المزيد من السياق وفهم أفضل للمستخدم، يمكن أن يتحسن النموذج في كل مرة تستخدمه – أو على الأقل هذه هي النظرية.
يشير بحث جديد إلى أن القدرات التكيفية للنماذج قد تكون نعمة ونقمة. يوم الأربعاء، نشر باحثون في شركة الذكاء الاصطناعي رايتر ورقتين بحثيتين توضحان كيف يمكن لأنظمة الذاكرة الشائعة أن تجعل النماذج أسوأ، مما يدفعها نحو المفاهيم الخاطئة أو سوء الفهم الذي يقدمه المستخدم. عندما تملأ مدخلات المستخدم مساحة أكبر من نافذة سياق النموذج، يصبح النموذج أكثر تملقًا – وأقل التزامًا بالدقة.
قال دان بيكل، رئيس قسم الذكاء الاصطناعي لدى Writer، والذي عمل على الأوراق البحثية: “أردنا أن نكون قادرين على تحديد عدد المرات التي سيهتم فيها النموذج بشكل مفيد بتفضيلات المستخدم مقابل إعطاء إجابة محتملة خاطئة”. وكما قال بيكل لـ TechCrunch، “مع كل تخزين إضافي لتفضيلات المستخدم واسترجاعها، فإنك تتعرض لخطر متزايد.”
في أحد الأشكال، اختبر الباحثون نماذج الذكاء الاصطناعي من خلال تسجيل أن الكتاب المفضل للمستخدم هو “Station Eleven”، ثم طلبوا من النموذج تسمية الكتاب الأكثر مبيعًا. أصبحت العارضات أكثر ميلاً إلى تسمية “Station Eleven” في إجاباتهن، على الرغم من أن السؤال لا يتعلق بالكتاب المفضل للمستخدم. ويزداد هذا الاتجاه عند استخدام أدوات ضغط الذاكرة مثل Mem0 وZep.
وكما تقول الورقة، “تكافح جميع أنظمة الذاكرة بشكل أساسي للتمييز بين السياق ذي الصلة والمرتكزات غير ذات الصلة، مما يقوض بشدة التنوع والإبداع ويقدم طرقًا غير مقصودة للتحيز يمكن أن تحد من فائدة النظام”.
وتوضح الورقة الثانية كيف يمكن لنفس الديناميكية أن تؤدي إلى تدهور الأداء بشكل فعال، مما يقدم للمستخدم مفاهيم خاطئة حول التمويل ومن ثم تحدي النموذج لتحليل أداء الشركة. كلما زاد السياق الذي يحتوي عليه النموذج، كان أداؤه أسوأ.
وجاء في المنشور: “مع عدم وجود ذاكرة أو تخصيص، فإن نموذج الذكاء الاصطناعي يقيّم بشكل صحيح أن الشركة عبارة عن شركة كثيفة رأس المال وتعاني من اضطراب كبير في العملاء”. “ولكن مع تشغيل هذه الميزات، فإنه سيسعده تغيير إجابته للموافقة على خطأ المستخدم أو تزويده بإجابة غير صحيحة بناءً على تقييمه لتفضيلاته السابقة.”
ومن الجدير بالذكر أن البحث لم ينظر إلى نموذج Opus 4.8 الأخير من Anthropic، والذي تم تدريبه على مقاومة أخطاء الإدخال مثل تلك المقدمة. الأنماط التي اكتشفها الباحثون كانت صحيحة عبر نماذج مختلفة. إنه دليل على مدى دقة التوازن في سياق الذكاء الاصطناعي، وكيف يمكن أن يكون للأدوات المفيدة عواقب غير مقصودة إذا أخلت بهذا التوازن.
عندما تقوم بالشراء من خلال الروابط الموجودة في مقالاتنا، قد نكسب عمولة صغيرة. هذا لا يؤثر على استقلالنا التحريري.
