في شهر مارس الماضي، قدمنا Android Bench – لوحة المتصدرين LLM الخاصة بنا لمهام تطوير Android في العالم الحقيقي. كان هدفنا هو توفير الشفافية حول إمكانات النموذج في تطوير Android وتشجيع تحسينات النموذج، لنمنحك المزيد من خيارات الذكاء الاصطناعي المفيدة لسير عملك اليومي. منذ ذلك الحين، قمنا بتحسين المعيار بناءً على تعليقاتك، بما في ذلك تقييم النماذج ذات الوزن المفتوح وإضافة أبعاد التكلفة والكفاءة إلى لوحة المتصدرين.
لكن قدرات الذكاء الاصطناعي تتطور باستمرار، ويجب أن يحذو القياس حذوها. كجزء من إصدارنا لشهر يوليو، اعتمدنا إطار عمل Harbour، والذي يتضمن نسخة محدثة من وكيل قياس الأداء المستخدم لتقييم النماذج.
إلى جانب هذا التغيير في تقييمنا، سنضيف في إصدار شهر يوليو هذا 8 نماذج جديدة (كلود فابل 5، كلود سونيت 5، كلود أوبوس 4.8، جي إل إم 5.2، كيمي K2.7 كود، ميني ماكس إم 3، كوين 3.7 بلس وكوين 3.7 ماكس) إلى المتصدرين. نحن أيضًا نشارك الفرص المتاحة لك، لمجتمع مطوري Android، للمساهمة في المعيار.
ترقية منهجيتنا باستخدام إطار عمل Harbour
عندما قمنا بتصميم Android Bench، قمنا بإرساء منهجيتنا على معايير الصناعة الرائدة المتاحة في ذلك الوقت. استخدمنا mini-swe-agent v1، وهو وكيل قياس الأداء للأغراض العامة، وقمنا بتكييفه مع الفروق الدقيقة في تطوير Android لتوفير قياس أساسي لقدرات النماذج لمهام تطوير Android الشائعة.
لمواصلة تزويدك بأحدث التقييمات التي تقيس بدقة أحدث إمكانات النموذج في تطوير Android، فإننا نعمل على توحيد معاييرنا مع إطار عمل Harbour. يحدد Harbour المعايير وعمليات التكامل التي تسهل على أي شخص تشغيل المعيار أو تقييم الإعداد المفضل لديه أو مشاركة النتائج – مما يوفر لك المزيد من الشفافية والرؤية.
تمكننا هذه الترقية من تقييم النماذج وإمكانياتها بدقة أكبر، كما قمنا بإعادة تشغيل المعيار على جميع النماذج لإنشاء خط أساس محدث. وهذا يعني أن هناك تحولًا طفيفًا في التسجيل، ولكن سيظل بإمكانك عرض النتائج التاريخية داخل الأرشيف على موقعنا الإلكتروني.
نريد أن نتأكد من أن Android Bench مفيد لك، لذلك سنقوم بتحديثه باستمرار مع تطور تقييماتنا ونضج الصناعة.
توسيع لوحة المتصدرين بـ 8 نماذج جديدة
كجزء من التزامنا بالحفاظ على تحديث لوحة المتصدرين، أضفنا Claude Fable 5 وClaude Sonnet 5 وClaude Opus 4.8 وGLM 5.2 وKimi K2.7 Code وMiniMax M3 وQwen 3.7 Plus وQwen 3.7 Max إلى لوحة المتصدرين لنظام Android Bench.
سوف ترى ذلك كلود فابل 5 في الجزء العلوي من المتصدرين برصيد 84.5، تليها جي بي تي 5.5 مع 80.2 مع كلود سونيت 5 في المركز الثالث بنتيجة 76.2.
عند مقارنة النماذج ذات الوزن المفتوح فقط، جي إل إم 5.2 في الأعلى بـ 72.2، يليه كود كيمي K2.7 بنتيجة 70.4.
يمكنك التحقق من مقاييس أداء النموذج وكفاءته على لوحة الصدارة المحدثة لمعرفة كيف تتغلب هذه النماذج الجديدة والسابقة على التحديات الخاصة بنظام التشغيل Android مثل عمليات ترحيل Jetpack Compose والشبكات القابلة للارتداء وتحديثات واجهة برمجة تطبيقات النظام الأساسي.
فتح Android Bench لمساهمات المجتمع
منذ البداية، قمنا بتقدير النهج المنفتح والشفاف، ولهذا السبب جعلنا منهجيتنا الأصلية وأدوات الاختبار متاحة للعامة على GitHub. لقد طلبت طريقة لتقديم التعليقات على مجموعة البيانات الخاصة بنا، لذا فإننا الآن نخطو التعاون خطوة أخرى إلى الأمام من خلال إعطائك، مجتمع مطوري Android، فرصة لتشكيل Android Bench.
بدءًا من اليوم، يمكنك المساهمة في Android Bench بطريقتين:
سنقوم بمراجعة المهام المقدمة وسنقوم بتقييم ما إذا تمت إضافتها إلى المعيار أم لا. نأمل في بناء معيار يعكس حقًا الحقائق اليومية المتنوعة لمجتمع مطوري Android العالمي.
نتطلع إلى الأمام
مع المزيد والمزيد من خيارات التطوير الوكيل، يضمن الحفاظ على معيار متطور أن مساعدة الذكاء الاصطناعي التي تعتمد عليها تظل أكثر ذكاءً وأكثر فائدة وأكثر فعالية. توجه إلى مستودع GitHub الخاص بنا للتحقق من المهام. نحن ندعوك إلى إرسال مهمة إلى فريقنا للمراجعة، ويمكنك مراجعة Harbour Hub لاستكشاف مجموعة البيانات أو إرسال التقييمات.
كما هو الحال دائمًا، يمكنك العثور على لوحة المتصدرين المحدثة، أو قراءة المنهجية على موقعنا.
Android Bench، LLM Leaderboard، Harbour Framework، تطوير Android، Claude Fable 5، GPT 5.5، Claude Sonnet 5، GLM 5.2، Kimi K2.7 Code، MiniMax M3، Qwen 3.7 Plus، Qwen 3.7 Max، قياس الذكاء الاصطناعي، ترحيل Jetpack Compose، الشبكات القابلة للارتداء، وكيل الذكاء الاصطناعي المحمول، Zoe Lopez-Latorre، تقييم النماذج، نماذج الوزن المفتوح، مساهمات مجتمع المطورين.
