قال المستشار العلمي للبيت الأبيض، مايكل كراتسيوس، إن شركة Moonshot، الشركة الصينية التي تقف وراء Kimi K3، وهي أكبر شركة LLM متاحة للوزن المفتوح، قامت ببناء نموذجها عن طريق نسخ Anthropic’s Fable LLM مع استخدام رقائق غير مصرح بها للتصدير إلى الصين.
وكتب كراتسيوس، وسط مناقشات وردت حول حظر النماذج الصينية ذات الوزن المفتوح التي عصفت بقطاع الذكاء الاصطناعي: “إن التقطير الصناعي السري واسع النطاق الذي يهدف إلى سرقة التكنولوجيا الأمريكية المملوكة وتقويض الأبحاث الأمريكية أمر غير مقبول”. ولم ترد شركة Moonshot على الأسئلة المتعلقة بعملية التدريب الخاصة بها، ولم يشارك كراتسيوس المزيد من التفاصيل حول مصادر ادعاءاته.
رددت تغريدة كراتسيوس تعليقات وزير الخزانة سكوت بيسينت التي قال فيها: “إننا نجد علامات مائية لنماذجنا اللغوية الأمريكية الكبيرة على العديد من النماذج الصينية، وهذا غير مقبول”. ليس من الواضح مما تتكون هذه العلامات المائية، ولم ترد وزارة الخزانة على الاستفسار.
ومع ذلك، يشكك الخبراء في أن التقطير – عملية الاستعلام عن LLM لتحديد أعماله الداخلية ونسخ قدراته – هو المسؤول عن القدرات المتقدمة التي يعرضها Kimi K3.
قال برادن هانكوك، الباحث في معهد Laude والمؤسس المشارك لشركة Snorkel AI، لـ TechCrunch: “لا أعتقد أنك تحصل على نموذج بهذه القوة وهذا سريعًا في أعقاب Fable الذي يقوم بالتقطير الصارم”. “ليس هناك وقت حتى بصراحة، أليس كذلك؟ لقد أصبحت Fable متاحة للعامة فقط منذ الأول من يوليو. لا يمكنك استخلاص هذا الكم من البيانات، وتدريب نموذج، وإصداره في غضون أسبوعين.”
“لقد كنت أرى أن تأثير التقطير أصبح أقل فأقل بمرور الوقت مع اقتراب النماذج الصينية من الحدود وتحول نظام التدريب إلى [reinforcement learning]قال ناثان لامبرت، الباحث في الذكاء الاصطناعي في معهد ألين للذكاء الاصطناعي، في بث صوتي صدر أمس.[I]إذا كان الأمر كذلك، فسيكون الجميع قادرين بسهولة على اللحاق بـ GLM أو K3 باستخدام بياناتها للتقطير. ولكننا لم نفعل ذلك، أو لن نرى ذلك، من خلال الضبط الدقيق الخاضع للإشراف وحده.»
يتطلب إجراء التقطير من المعمل الاستعلام بشكل منهجي عن النموذج المستهدف من أجل توليد البيانات التي يمكن استخدامها في مرحلة ما بعد التدريب. في بعض الأحيان يتضمن هذا بشكل صريح مطالبة النموذج بتوضيح سلسلة أفكاره لفهم كيفية حل المشكلات. وفي أحيان أخرى، يتم استخدام المطالبات والاستجابات من النموذج لتدريب نموذج جديد في عملية تسمى الضبط الدقيق الخاضع للإشراف، أو SFT.
إنها عملية الضبط الدقيق هذه التي يمكن أن تؤدي إلى نموذج تم إنشاؤه ظاهريًا بواسطة طرف ثالث يدعي أنه كلود. الضبط الدقيق، من وجهة نظر لامبرت، هو المكان الذي “يكتسب فيه النموذج أخلاقه”.
لكن لامبرت يقول إن فوائد SFT أصبحت أقل أهمية مع زيادة تعقيد النماذج. من المحتمل أن يتطلب استخلاص القدرات الشبيهة بالخرافة تقنيات التعلم المعزز. في كثير من الحالات، يعني ذلك وجود وكيل للنموذج الأكبر يقوم بتقييم استجابات النموذج الأصغر، والتعديل بناءً على الدرجة.
وتتطلب التقنيات الأكثر تقدمًا أيضًا بنية تحتية أكثر أهمية. يمكن أن تتطلب عمليات التعلم المعزز الكبيرة عشرات الملايين من الوكلاء. إن استخدام واجهة برمجة التطبيقات (API) الخاصة بمختبر حدودي للقيام بذلك “سيكون مكلفًا للغاية، ومن المحتمل أن يكون بمثابة اختناق زمني لأن هذه النماذج بطيئة جدًا، ولكي أكون صريحًا، فقد لا تمنحك حتى رفعًا في الأداء.”
ويبدو من المحتمل أن النماذج الحدودية السابقة ربما تكون قد ساهمت في ظهور كيمي؛ اتهمت شركة Anthropic علنًا شركات Moonshot وDeepSeek وMiniMax بتقطير نماذجها بشكل منهجي في وقت سابق من هذا العام. وقالت Anthropic إنها اكتشفت ملايين التبادلات بين نماذجها والمستخدمين الذين حددتهم في تلك الشركات من خلال عناوين IP والبيانات التعريفية الأخرى. وكانت تلك الاستعلامات “متميزة عن أنماط الاستخدام العادية، وتعكس استخراجًا متعمدًا للقدرات بدلاً من الاستخدام المشروع”. لم تستجب Anthropic لاستفسارات TechCrunch حول تقطير Fable.
ومع ذلك، يُنظر إلى التقطير على أنه أمر شائع بين شركات الذكاء الاصطناعي، وليس فقط في الصين. شهد إيلون موسك في وقت سابق من هذا العام أن شركته SpaceXAI قامت بتقطير نماذج OpenAI لتطوير Grok، وأن هذه الممارسة كانت شائعة في الصناعة. على سبيل المثال، يمكن أن يكون الخط الفاصل بين التقطير وتطوير مجموعات البيانات الاصطناعية ضبابيًا إلى حد ما.
“[I]وقال هانكوك: “بشكل عام، يتفهم الأمريكيون الخبرة الفنية لهذه الفرق الصينية. وكان أحد مؤسسي Moonshot طالب دكتوراه في جامعة كارنيجي ميلون. هؤلاء باحثون ومهندسون شرعيون يقومون بعمل قوي. …إذا توقفت النماذج الأمريكية، أعتقد أن تقدم الصين سوف يتباطأ، لكنه سيستمر. إنهم لا يركبون المعطف هنا فقط.
من الصعب أيضًا فصل التقطير عن الجزء الثاني من تعليق Kratsios – وهو أن Moonshot حصلت على رقائق Nvidia المتقدمة وGrace Blackwell 300s، كما تمكنت أيضًا من الوصول إلى خوادم GB300 المجهزة في تايلاند. يُحظر تصدير هذه الرقائق إلى الصين، لكن هناك سوقًا سوداء، وفقًا لسام بريسنيك، زميل الأبحاث في مركز جورج تاون للأمن والتكنولوجيا الناشئة. وفي شهر مايو/أيار، تم توجيه الاتهام إلى مؤسس شركة سوبرمايكرو، وهي شركة بناء خوادم أمريكية، بتهمة تهريب رقائق متقدمة إلى الصين.
وقال بريسنيك: “أنا من أنصار قوانين “اعرف عميلك” الخاصة بمراكز البيانات في جميع أنحاء العالم”. “إذا كنت تسمح لشركة ما بإجراء عمليات تدريب ضخمة على أجهزتك الحديثة، فيجب أن تكون هناك آلية لإعداد التقارير حول هوية تلك الشركة وما تفعله.”
اقترحت وزارة التجارة في عهد الرئيس جو بايدن قواعد اتحادية تعرف على عميلك لمراكز البيانات في عام 2024، ولكن يبدو أنه لم يتم إحراز أي تقدم آخر في عهد دونالد ترامب. ومع ذلك، من المفترض أن يتأكد المصدرون الذين يقومون بشحن الرقائق المتقدمة إلى الخارج من استخدامها للأغراض المعتمدة فقط.
عندما تقوم بالشراء من خلال الروابط الموجودة في مقالاتنا، قد نكسب عمولة صغيرة. هذا لا يؤثر على استقلالنا التحريري.
