أصدر الباحثون في ديبسيك يوم الاثنين نموذجًا تجريبيًا جديدًا يسمى V3.2-EXP ، المصمم لخفض تكاليف الاستدلال بشكل كبير عند استخدامه في عمليات السياق الطويل. أعلن Deepseek عن النموذج مع منشور على وجه المعانقة ، كما نشر ورقة أكاديمية مرتبطة على Github.
تسمى أهم ميزة في النموذج الجديد الاهتمام المتفرق ، وهو نظام معقد موضح بالتفصيل في الرسم البياني أدناه. في جوهره ، يستخدم النظام وحدة نمطية تسمى “مؤشر البرق” لتحديد أولويات مقتطفات محددة من نافذة السياق. بعد ذلك ، يختار نظام منفصل يسمى “نظام اختيار الرمز المميز ذو الحبيبات الدقيقة” الرموز المميزة من داخل تلك المقتطفات لتحميلها في نافذة الاهتمام المحدودة للوحدة. مجتمعة ، فإنها تسمح لنماذج الاهتمام المتفرقة بالعمل على أجزاء طويلة من السياق مع أحمال خادم صغيرة نسبيًا.
بالنسبة لعمليات السياق الطويل ، تعتبر فوائد النظام مهمة. وجد الاختبار الأولي من قبل Deepseek أن سعر استدعاء API البسيط يمكن تخفيضه بمقدار ما يصل إلى النصف في حالات السياق الطويلة. ستكون هناك حاجة إلى مزيد من الاختبارات لبناء تقييم أكثر قوة ، ولكن نظرًا لأن النموذج مفتوح الوزن ومتوفر بحرية على وجه المعانقة ، فلن يمر وقت طويل قبل أن تتمكن اختبارات الطرف الثالث من تقييم المطالبات المقدمة في الورقة.
يعد نموذج Deepseek الجديد أحد سلسلة من الاختراقات الحديثة التي تعالج مشكلة تكاليف الاستدلال-في الأساس ، تكاليف خادم تشغيل نموذج الذكاء الاصطناعي تم تدريبه مسبقًا ، كما تختلف عن تكلفة تدريبه. في حالة Deepseek ، كان الباحثون يبحثون عن طرق لجعل بنية المحولات الأساسية تعمل بشكل أكثر كفاءة – ووجد أن هناك تحسينات كبيرة يجب إجراءها.
مقرها في الصين ، كان Deepseek شخصية غير عادية في طفرة الذكاء الاصطناعى ، وخاصة بالنسبة لأولئك الذين ينظرون إلى أبحاث الذكاء الاصطناعى على أنها صراع قومي بين الولايات المتحدة والصين. صنعت الشركة موجات في بداية العام من خلال نموذج R1 ، المدربين باستخدام التعلم التعزيز في المقام الأول بتكلفة أقل بكثير من منافسيها الأمريكيين. لكن هذا النموذج لم يشعل ثورة بالجملة في تدريب الذكاء الاصطناعي ، كما تنبأ البعض ، وانحسرت الشركة من الأضواء في الأشهر التي تلت ذلك.
من غير المرجح أن ينتج عن نهج “الانتباه المتناثر” الجديد نفس الضجة مثل R1 – لكن لا يزال من الممكن أن يعلمنا مقدمي الخدمات التي تمس الحاجة إليها للمساعدة في الحفاظ على انخفاض تكاليف الاستدلال.
