شرح مقاييس أداء الذكاء الاصطناعي (٢٠٢٦): ما الذي يقيسه كل منها ومن يتصدّرها؟

مقاييس أداء الذكاء الاصطناعي هي مجموعة ثابتة من المهام تُستخدم لتقييم قدرة النموذج، بحيث يُمكن
مقارنة نماذج مختلفة على نفس الاختبار. لا يوجد مقياس أداء وحيد يُقرّر أي نموذج هو الأفضل — فكل مقياس يقيس جانباً ضيّقاً، وبعض أبرز المقاييس المعروفة
وصلت الآن إلى درجة تشبعٍ عالية. والنهج العملي هو الاطلاع على اثنين أو ثلاثة مقاييس تتطابق مع حِمل العمل الفعلي الخاص بك، ومعاملة أي رقم رئيسي واحد بحذرٍ شديد.
من يتصدّر حالياً؟
مرتّب وفق مؤشر التحليل الاصطناعي للذكاء، وهو مؤشر مركّب يجمع عدة تقييمات مستقلة بدلاً من اختبار واحد. أما العمود الأخير فهو ما تتجاهله معظم المقارنات: النتيجة مقسومةً على السعر المدمج، وهو ما تشتريه فعلياً.

نتيجة الذكاء

النتيجة لكل دولار
النتائج مُعطاة وفق مقياس مؤشر التحليل الاصطناعي للذكاء، وهو مؤشر مركّب يجمع عدة تقييمات مستقلة بدلاً من أي اختبار وحيد — وهذا هو النهج الصحيح لتفسير أي ادعاءٍ إعلامي عن «أفضل نموذج». وأقوى نموذج ذي أوزان مفتوحة المصدر هو
بنتيجة ٥٧. ويمكنك ترتيب المجموعة الكاملة بنفسك عبر

كتبها دكاترة متخصصون في مجالات الأحياء والفيزياء والكيمياء، وصُمّمت عمداً بحيث لا يساعد البحث عبر الويب في الإجابة عنها. وهي تجيب عن سؤال مختلف عن سؤال إم إم إل يو: فهي لا تسأل «هل قرأ النموذج كثيراً؟» بل تسأل «هل يستطيع النموذج الاستنتاج والتفكير في مشكلة صعبة حقاً ضمن مجال تقني؟». وبما أنها تقاوم كلاً من الحفظ والبحث والاسترجاع، فقد حافظت على قيمتها كأداة تمييز أفضل من إم إم إل يو مع مرور الزمن.

تقارير أخطاء فعلية من مستودعات جيت هاب الحقيقية، وتُقيَّم بناءً على ما إذا كانت التصحيحات التي قدّمها النموذج تجعل البرنامج

أسئلة متعددة الخيارات عبر 57 موضوعًا، تبدأ من الرياضيات الابتدائية وتنتهي بالمواضيع المهنية
والقانون. ولسنواتٍ عديدة كانت النتيجة الافتراضية الرئيسية المُعلَّقة في هذا الاختبار، والآن تكمن المشكلة في أن النماذج الرائدة تتجمع بإحكام شديد عند القمة بحيث تقع الفروق بينها داخل نطاق الضوضاء الإحصائية. ولا يزال اختبار MMLU مفيدًا لمقارنة نموذج صغير مفتوح المصدر مع نموذج كبير جدًّا، لكنه يكاد يكون عديم الفائدة في التمييز بين نموذجين رائدين. وعليه، فعليك اعتبار أي ادعاءٍ متعلقٍ بنسبة الأداء في اختبار MMLU لعام 2026 بمثابة اختبارٍ للحد الأدنى من الأداء لا كأداةٍ لترتيب النماذج.
يظل اختبار MMLU مفيدًا لوضع نموذج صغير مفتوح المصدر مقابل نموذج كبير جدًّا، لكنه يكاد يكون عديم الفائدة في التمييز بين نموذجين رائدين. وعليه، فعليك اعتبار أي ادعاءٍ متعلقٍ بنسبة الأداء في اختبار MMLU لعام 2026 بمثابة اختبارٍ للحد الأدنى من الأداء لا كأداةٍ لترتيب النماذج.
يظل اختبار MMLU مفيدًا لوضع نموذج صغير مفتوح المصدر مقابل نموذج كبير جدًّا، لكنه يكاد يكون عديم الفائدة في التمييز بين نموذجين رائدين. وعليه، فعليك اعتبار أي ادعاءٍ متعلقٍ بنسبة الأداء في اختبار MMLU لعام 2026 بمثابة اختبارٍ للحد الأدنى من الأداء لا كأداةٍ لترتيب النماذج.
يظل اختبار MMLU مفيدًا لوضع نموذج صغير مفتوح المصدر مقابل نموذج كبير جدًّا، لكنه يكاد يكون عديم الفائدة في التمييز بين نموذجين رائدين. وعليه، فعليك اعتبار أي ادعاءٍ متعلقٍ بنسبة الأداء في اختبار MMLU لعام 2026 بمثابة اختبارٍ للحد الأدنى من الأداء لا كأداةٍ لترتيب النماذج.

GPQA (أسئلة وأجوبة على مستوى الدراسات العليا، غير قابلة للبحث عبر محرك جوجل)

كتبها خبراء حاصلون على درجة الدكتوراه في مجالات الأحياء والفيزياء والكيمياء، وصُمِّمت عمداً بحيث لا يساعد البحث عبر الويب في إيجاد الإجابات.
ويجيب هذا الاختبار عن سؤالٍ مختلفٍ عن السؤال الذي يطرحه اختبار MMLU: فهو لا يسأل «هل قرأ النموذج كثيرًا؟» بل يسأل «هل يستطيع النموذج الاستنتاج المنطقي لحل مشكلةٍ بالغة الصعوبة في مجالٍ تقنيٍّ معيَّن؟».
ويجيب هذا الاختبار عن سؤالٍ مختلفٍ عن السؤال الذي يطرحه اختبار MMLU: فهو لا يسأل «هل قرأ النموذج كثيرًا؟» بل يسأل «هل يستطيع النموذج الاستنتاج المنطقي لحل مشكلةٍ بالغة الصعوبة في مجالٍ تقنيٍّ معيَّن؟».
وبما أن هذا الاختبار يقاوم كلًّا من الحفظ الآلي واسترجاع المعلومات، فقد ظل أكثر ثباتًا من اختبار MMLU كأداةٍ تمييزيةٍ مع مرور الزمن.

سو-بنش مُحقَّق

تقارير أخطاء فعلية مستخلصة من مستودعات GitHub الحقيقية، ويتم تقييمها بناءً على ما إذا كانت التعديلات التي قدَّمها النموذج تُصلح الخطأ أم لا.
اختبارات المشروع الخاصة تمر بنجاح. أما مجموعة «المُحقَّق» فهي الجزء الذي تم التحقق من صحته يدويًّا، بعد ترشيحه لإزالة
المهام المعطوبة أو المستحيلة — ولذلك يجب أن تتحقق من ذلك أيّ SWE-bench
يقدِّمه المورِّد. وهذه هي أكثر المقاييس صلةً بالقرار عند اختيارك نموذجًا لوكيل برمجي (coding agent)، لأن المهمة ونظام التقييم كليهما أصيلان. ويبلغ أداء نموذج Claude Sonnet 5
85.2% على مجموعة SWE-bench المُحقَّقة، و63.2% على مجموعة SWE-bench Pro الأصعب.
Terminal-Bench

مهام وكيلية تُنفَّذ في واجهة طرفية حقيقية: مثل تثبيت برنامج ما، أو تشخيص عطلٍ ما، أو كتابة نص برمجي لإصلاح مشكلة ما.

وهي تقاس مهارة مختلفة عن كتابة تصحيح برمجي (patch) — وهي القدرة على التحمُّل أثناء إنجاز مهام متعددة الخطوات، حيث يجب على النموذج قراءة مخرجات الأخطاء التي يولدها بنفسه والتعافي منها.
وأبلغ نموذج Claude Sonnet 5 عن نتيجة 80.4% على Terminal-Bench 2.1. فإذا كان استخدامك المقصود هو وكيل مستقل (autonomous agent) بدلًا من مساعد برمجي تفاعلي (inline code assistant)، فإن هذه المجموعة وOSWorld توفران لك معلوماتٍ أكثر فائدةً من تلك التي تقدِّمها SWE-bench.
استخدام الحاسوب في بيئة سطح مكتب حقيقية — مثل فتح التطبيقات، والنقر عبر واجهات المستخدم، وإتمام مهمة قد يقوم بها الإنسان باستخدام الفأرة.
والنتائج هنا منخفضةٌ جدًّا مقارنةً بالمقاييس النصية على امتداد المجال بأسره، وهي إشارة صادقةٌ إلى مدى حداثة (أو بدائية) وكلاء استخدام الحاسوب حتى الآن.
وأبلغ نموذج Claude Sonnet 5 عن نتيجة 81.2% على OSWorld-Verified؛ بينما أبلغ نموذج Nemotron 3 Nano Omni من شركة NVIDIA، وهو نموذج مفتوح الحجم 30 مليار معلَّمة، عن نتيجة 47.4% على OSWorld، وهي نتيجة معقولةٌ بالنسبة لحجمه.

أو إس وورلد

ARC-AGI
ألغاز استدلال بصري مجرَّد مُصمَّمة بحيث لا يُمكن للنمذجة القائمة على مطابقة الأنماط في بيانات التدريب أن تنتقل (transfer) إليها.
وتتكوَّن كل مهمة من عدد قليل من تحويلات الشبكة (grid transformations) التي يجب على النموذج استنتاجها من زوجٍ أو اثنين من الأمثلة.
ويعتبر ARC-AGI أقرب ما وصل إليه المجال إلى اختبارٍ حقيقيٍّ للتعميم الحقيقي (genuine generalisation) بدلًا من الاسترجاع (recall)، ولذلك فإن التقدُّم فيه بطيءٌ جدًّا، وتُعامَل أي قفزات نوعية فيه باعتبارها ذات أهمية كبيرة.
وأُبلغ عن أداء نموذج Claude Opus 5 على ARC-AGI 3 بأنه يعادل تقريبًا ثلاثة أضعاف أفضل نموذج تالي له.

أسئلة وضعها خبراء في تخصصات عديدة، وصُمِّمت خصيصًا لمقاومة التشبع (saturation) الذي أصاب مقياس MMLU.

والهدف التصميمي هو إنشاء مقياس يظل صعبًا مع تحسُّن النماذج، وبالتالي تكون النتائج منخفضةً بطبيعتها، وتكتسب المكاسب الصغيرة دلالةً كبيرةً.
اقرأ هذا المقياس باعتباره مُميِّزًا للحدود الأمامية (frontier discriminator)، وليس كمقياسٍ لمدى فائدته في العمل العادي.
ليس اختبارًا بحد ذاته، بل هو تركيبة (composite) تدمج عدة تقييمات مستقلة في درجة واحدة.
وهذا هو قيمته: فمن السهل استهداف أي مقياس فردي، بينما يصعب جدًّا التلاعب بمزيجٍ منه.
وهو المقياس المستخدم في الجدول أعلاه. ويتصدَّر نموذج Claude Opus 5 الترتيب حاليًّا بنتيجة 61، يليه Claude Fable 5 بنتيجة 60، ثم GPT-5.6 Sol بنتيجة 59 — بينما حقق نموذج Kimi K3 نتيجة 57، وهي أفضل نتيجة مسجَّلة حتى الآن بين النماذج المفتوحة الوزن (open-weight)، وتقترب من أفضل نموذج مغلق (closed model) بفارق أربع نقاط فقط.

امتحان البشرية الأخير

كيف تقرأ ادعاءً حول نتيجة اختبار أداء (benchmark claim)
اسأل: من الذي أجرى الاختبار؟
فالنتيجة التي يعلن عنها المورِّد على صفحة إطلاق منتجه تختلف تمامًا عن التقييم المستقل، إذ إن اللوحات القيادية المستقلة تطبِّق نفس الإطار (harness) على جميع النماذج، بينما يختار المورِّد ظروفه الخاصة.
تحقَّق من وجود تلوث (contamination).

مؤشر التحليل الاصطناعي للذكاء

إذا كانت أسئلة المقياس قد سبقت تاريخ إغلاق بيانات التدريب الخاصة بالنموذج ووجدت علنًا في مكانٍ ما، فمن المرجح أن تكون بعضها موجودةً في بيانات التدريب.
وهذا هو السبب الرئيسي في أن المقاييس القديمة تميل إلى التضخُّم مع مرور الوقت، ولذلك صُمِّمت المقاييس الجديدة لتكون «محصَّنة ضد جوجل» (Google-proof) أو يتم الاحتفاظ بها بعيدًا تمامًا عن بيانات التدريب.
انتبه إلى تحوُّل خط النهاية (moved goalpost).
مثل ذكر «SWE-bench» دون تحديد «المُحقَّقة»، أو الإشارة إلى مجموعة فرعية غير مسمَّاة، أو استخدام عدد مختلف من المحاولات، أو مقارنة نتيجة تشمل استخدام أدوات (tool use) مع أخرى لا تشملها — هذه هي الطرق المعتادة التي تتوقف فيها المقارنة عن أن تكون «من نظيرٍ لنظير» (like for like).
احذر التشبع (saturation).

فعندما يحصل كل نموذج جاد على نتيجة تزيد عن 90 في اختبارٍ ما، فهذا يعني أن الاختبار توقَّف عن التمييز بين النماذج.

وبالتالي فإن الاختلافات التي لا تتجاوز نقطة أو نقطتين في قمة مقياسٍ مشبعٍ ما هي ضوضاء (noise)، وليست إشارةً ذات دلالة (signal). السعر جزءٌ من الدرجة.
فالنموذج الأفضل بدرجتين لكنه أغلى ستة أضعاف ليس بالضرورة أفضل لمعظم حالات الاستخدام.
ولهذا السبب يتضمَّن الجدول أعلاه عمودًا لـ«النتيجة لكل دولار»، ولماذا يوجد مؤشر «الأداء مقابل السعر» (price-performance index).

أي مقياس أداء يجب أن تهتم به فعليًّا؟ لبناء وكيل برمجي (coding agent): ابدأ أولًا بمجموعة SWE-bench المُحقَّقة، ثم Terminal-Bench ثانيًا.
تاريخ قطع بيانات التدريب، وهي متوفرة علنًا، ومن المحتمل أن تكون بعض هذه التقارير موجودةً بالفعل ضمن بيانات التدريب.
السبب الرئيسي في أن الاختبارات القديمة تزداد قيمتها بشكل مُضخَّم مع مرور الوقت، ولماذا تُصمَّم الاختبارات الأحدث لتكون
«محصَّنة ضد جوجل» أو تُستبعد تمامًا.

انتبه إلى انتقال خط النهاية. اختبار «SWE-bench» بدون علامة «Verified»، وهو مجموعة فرعية غير مسمَّاة،
عدد مختلف من المحاولات، أو درجة تحقَّق باستخدام أدوات مقارنةً بتلك التي لا تستخدم أدوات — هذه
هي الطرق المعتادة التي تتوقَّف بها المقارنة عن كونها «مقابلةً لمقابلة».

احذر من التشبع. عندما يحصل كل نموذجٍ جادٍّ على درجة تفوق ٩٠ في اختبار ما، فإن هذا
الاختبار يتوقف عن التمييز بين النماذج. فالاختلافات التي تبلغ نقطة أو نقطتين في قمة اختبارٍ مشبعٍ
هي ضوضاءٌ وليست إشارةً ذات دلالة.

السعر جزءٌ من الدرجة. نموذجٌ أفضل بدرجتين وأعلى تكلفةً بستة أضعاف
الغالي ليس بالضرورة الأفضل بالنسبة لمعظم أحمال العمل. ولهذا السبب تتضمن الجدول أعلاه عمود «النتيجة لكل دولار»،
ولهذا السبب توجد مؤشر الكفاءة السعرية
أيضًا. أي اختبار معياري يجب أن تهتم به فعليًّا؟

بناء وكيل برمجي:

يُفضَّل اختبار SWE-bench المُحقَّق أولًا، ثم اختبار Terminal-Bench ثانيًا. SWE-bench تم التحقق منه أولًا، وTerminal-Bench ثانيًا.
تجاهل اختبار MMLU تمامًا.

بناء وكيلٍ لاستخدام الحاسوب أو سطح المكتب: OSWorld، ثم Terminal-Bench.
توقَّع أن تكون الأرقام المطلقة منخفضةً نسبيًّا.

الإجابة عن الأسئلة التقنية أو العلمية: GPQA، وامتحان البشرية الأخير (Humanity's Last Exam) إذا كانت
أسئلتك بالفعل على مستوى الخبراء المتخصصين.

الوكيل العام أو روبوت الدردشة: المؤشر المركب يوفِّر معلوماتٍ أكثر فائدةً من أي اختبارٍ واحدٍ، لأنَّه لا يوجد اختبارٌ وحيدٌ يُماثل التنوُّع الواسع في الأسئلة التي يطرحها المستخدمون الفعليون.
اختبارٌ واحدٌ فقط، لأنَّ أيَّ اختبار معين لا يعكس التنوُّع الواسع في المهام التي يطلبها المستخدمون الحقيقيون فعلًا.

اختيار نموذج صغير للتشغيل الذاتي (Self-hosting): تلعب الاختبارات دورًا أقل أهميةً مقارنةً بمدى ملاءمة النموذج لاحتياجاتك. تحقَّق أولًا من
ما يمكنه التشغيل فعليًّا على أجهزتك المادية، ثم قارن
حاسبة ذاكرة الفيديو (VRAM) نتائج الاختبارات فقط بين النماذج التي تتوافق مع مواصفات أجهزتك.
النتائج المنشورة للاختبارات في قاعدتنا البيانات

النتائج المنشورة

الأسئلة الشائعة