نشرت شركة OpenAI منشورًا بعنوان «كيف أدّى تمكين إعدادين إلى مضاعفة درجاتنا ثلاث مرات في معيار أداء ARC-AGI-3»، وأفاد موقع the-decoder.com بأن الشركة تستخدم تلك النتائج للادعاء بأنها GPT-5.6 Sol ARC-AGI-3 تتفوّق على النموذج المنافس Opus 5 عند تشغيل المعيار عبر أحدث واجهة برمجة تطبيقات تابعة لـOpenAI مع تفعيل هذين الإعدادين الإضافيين. ويكتسب هذا الادعاء أهميته ليس لمكانة النموذج في قائمة الترتيب فحسب، بل لما يشير إليه من اعتماد كبير لنتائج المعايير على التكوين الدقيق المستخدم لإنتاجها — وهي تفصيلة نادرًا ما تنجو من رحلة الانتقال من منشور ترويجي صادر عن الشركة المصنِّعة إلى رسم بياني في عرض تقديمي.
أبرز الاستنتاجات
- أصدرت شركة OpenAI منشورًا تدّعي فيه أن تمكين إعدادين اثنين أدى إلى مضاعفة درجاتها ثلاث مرات في معيار أداء ARC-AGI-3، وفق العنوان الرئيسي الذي وضعته الشركة نفسها.
- يُفيد موقع the-decoder.com بأن شركة OpenAI تدّعي أن GPT-5.6 Sol نموذج GPT-5.6 Sol يتغلّب على نموذج Opus 5 في معيار ARC-AGI-3 باستخدام أحدث واجهة برمجة تطبيقات تابعة لها بالإضافة إلى هذين الإعدادين الإضافيين.
- تنبع هذه التحسّن المبلغ عنه بنسبة ثلاثة أضعاف من تغييرات في التكوين وليس من إطلاق نموذج جديد، استنادًا إلى الصياغة الواردة في المنشور الصادر عن شركة OpenAI نفسها.
- ولا يقدّم أي من المصدرين المقتبسين درجات رقمية محددة، أو هوية الإعدادين، أو تواريخ التقييم، وبالتالي لا ينبغي افتراض وجود تلك الأرقام.
- أما بالنسبة للمطوّرين، فإن الدرس العملي هو أن تكوين واجهة برمجة التطبيقات يمكن أن يؤثّر تأثيرًا بالغ الأهمية في نتائج المعايير؛ إذ لا يمكن مقارنة النتائج إلا عندما يكون إطار الاختبار (harness) متطابقًا تمامًا.
ما ادّعته شركة OpenAI فعليًّا بشأن GPT-5.6 نموذج Sol في معيار ARC-AGI-3
المصدر الأساسي هنا هو شركة OpenAI نفسها. وعنوان المنشور الصادر عنها هو «كيف أدّى تمكين إعدادين إلى مضاعفة درجاتنا ثلاث مرات في معيار أداء ARC-AGI-3»، وهذا يحدّد ثلاثة أمور: المعيار المعني هو ARC-AGI-3، والتحسّن يُعزى إلى تمكين إعدادين، ومقدار هذا التحسّن وُصف بأنه «مضاعفة الدرجة ثلاث مرات».
أما المصدر الثاني، وهو موقع the-decoder.com، فيضيف الإطار التنافسي. ويوضح تقريره أن شركة OpenAI تدّعي أن نموذج GPT-5.6 Sol يتغلّب على نموذج Opus 5 في معيار ARC-AGI-3 باستخدام أحدث واجهة برمجة تطبيقات تابعة لها مع هذين الإعدادين الإضافيين. وهذه هي الحدود الدقيقة لما ورد في السجلات من المواد المتاحة وقت كتابة هذا التقرير. أما القيم الرقمية الفعلية للدرجات، أو ترتيب النماذج قبل تفعيل الإعدادين، أو عدد المهام التي جرى تنفيذها، أو ميزانية الحوسبة أو عدد الرموز (tokens) المخصصة لكل محاولة، فهي غير محددة في المقاطع المصدرية، ولا ينبغي لأي قارئ مسؤول أن يملأ هذه الفراغات باستنتاجات غير مؤكدة.
ويجدر التعبير بدقة عن طبيعة هذا الادعاء، لأن من السهل سوء فهمه. فلم تُبلَغ شركة OpenAI عن إطلاق نموذج جديد. بل أُبلغ عن إعلانها عن نتيجة جديدة لنموذجٍ موجودٍ مسبقًا، حُصل عليها بتغيير طريقة استدعائه (invocation). إن مضاعفة درجة معيار الأداء ثلاث مرات فقط عبر تغييرات في التكوين يُعد تحوّلًا كبيرًا، ويُشير إلى مشكلة أوسع في كيفية مقارنة النماذج داخل القطاع. فعمليات التقييم المتقدمة ليست مجرد مسألة إرسال موجه (prompt) وتسجيل الإجابة. فالنتيجة تعتمد على البنية التحتية المحيطة بالنموذج: كعدد المحاولات المسموح بها له، ومدة التفكير المتاحة له قبل الإجابة، وقدرته على استدعاء الأدوات، وكيفية تحليل مخرجاته، وكيفية إعادة المحاولة عند حدوث فشل. وبتغيير أيٍّ من هذه العوامل تتغير النتيجة تبعًا لذلك.
لماذا تُعد عبارة «إ(setting)ان إعدادين» هي العبارة الأهم في هذه القصة
هذه معلومات سياقية عامة وليست تفصيلًا واردًا في التقارير — فالمصادر لا تحدد أي إعدادين قامت شركة OpenAI بتمكينهما. لكن اتجاه النتيجة يتماشى مع نمط معروف جيدًا: ففي المعايير المصممة لاختبار القدرة على الاستنتاج والتكيف بدلًا من الاكتساب التلقائي للمعلومات (recall)، غالبًا ما تفسّر البنية التحتية (harness) قدر التباين نفسه الذي تفسّره الأوزان الأساسية للنموذج. ولذلك فإن عنوانًا مثل «النموذج أ تفوّق على النموذج ب» يكون ناقصًا دون ذكر التكوين الذي أنتج تلك النتيجة.
وبالنسبة لأي شخص يُعدّ قائمة مبدئية بالمرشحين من النماذج، فإن هذا سببٌ وجيهٌ لاعتبار المقارنات المنشورة من قِبل الشركات المصنِّعة نقطة انطلاقٍ بدلًا من حكمٍ نهائي. وتتعقّب منصتنا
مواصفات النماذج المنشورة عبر مختلف موفري الخدمات، لكن أي جدول ثابت لا يمكنه تسجيل إعدادات التشغيل التي استُخدمت في اختبار المعيار. قاعدة بيانات نماذج الذكاء الاصطناعي وبالنظر إلى كثافة التغطية الثانوية التي تولّدها ادعاءات كهذه عادةً، فمن المفيد الفصل بين الحقائق المُبلَّغ عنها والتفاصيل الغائبة تمامًا. ويعكس الجدول التالي فقط ما ورد في المصدرين المتوفّرين.
مقارنة GPT-5.6 Sol وOpus 5: ما الذي تؤكده المصادر وما لا تؤكده
الحالة في المصادر المتاحة
| التفاصيل | معيار ARC-AGI-3، المذكور في عنوان منشور شركة OpenAI وتقرير موقع the-decoder.com |
|---|---|
| معيار الأداء (Benchmark) | النماذج المُقارنة |
| GPT-5.6 Sol وOpus 5، وفق تقرير موقع the-decoder.com | النتيجة المُدّعاة |
| تدّعي شركة OpenAI أن نموذج GPT-5.6 Sol يتغلّب على نموذج Opus 5، وفق تقرير موقع the-decoder.com | التحسّن المُبلَّغ عنه |
| «تضاعفت الدرجات ثلاث مرات» بعد تفعيل إعدادين، وفق عنوان منشور شركة OpenAI | الشروط |
| أحدث واجهة برمجة تطبيقات تابعة لشركة OpenAI بالإضافة إلى إعدادين إضافيين، وفق تقرير موقع the-decoder.com | الدرجات المحددة |
| غير موجودة في المقاطع المصدرية | هوية الإعدادين |
| التحقق المستقل | هوية الإعدادين |
| Independent verification | هوية الإعدادين |
الصف الأخير يستحق التأكيد. وكما ورد في التقرير، فإن هذه المعلومة عبارة عن ادّعاء من قِبل مُصنِّعٍ حول نموذج خاصٍ به، نشره المُصنِّع نفسه، وأعادت نشره موقع the-decoder.com باعتباره ادّعاءً وليس نتيجةً مستقلةً مُؤكَّدةً من طرف ثالث. وهذا لا يُعدُّ انتقادًا للعمل المذكور — فنشر تفاصيل التهيئة أكثر شفافيةً من نشر رقمٍ جافٍ دون سياق — لكنه يُحدِّد مع ذلك معيار الأدلة.
ما الذي يعنيه هذا للمطوّرين الذين يبنون تطبيقاتهم على واجهة برمجة تطبيقات OpenAI
المخرج العملي للمطوِّرين ليس «التبديل بين النماذج». بل هو أن الإعدادات الافتراضية التي ترثها عند استدعاء واجهة برمجة التطبيقات (API) قد لا تكون هي الإعدادات التي أنتجت الأرقام التي قرأت عنها. فإذا اعتمدت نتيجة منشورة على إعدادين غير افتراضيين، فإن الفريق الذي يعيد تنفيذ تلك المهمة باستخدام المعايير الافتراضية يجب أن يتوقَّع نتيجةً مختلفةً جوهريًّا.
ويترتَّب على ذلك ثلاثة نتائج. أولًا: ينبغي أن يقترن اختيار النموذج المبني على الاختبارات القياسية (Benchmarks) بتقييم داخليٍّ يُجرى على مهامك الخاصة، عبر التهيئة الدقيقة التي تنوي استخدامها في الإنتاج. ثانيًا: أي إعدادٍ يرفع الدرجات من خلال توسيع جهد الاستنتاج أو المحاولات المتكررة سيزيد عادةً التكلفة أيضًا، وبالتالي فإن المقارنة ذات المعنى هي جودة الأداء لكل وحدة إنفاقٍ، وليس الجودة وحدها — وهي فكرةٌ صُمِّمت منصتنا حاسبة تكلفة واجهات برمجة التطبيقات (API) للذكاء الاصطناعي لجعلها ملموسةً وقابلةً للقياس. ثالثًا: عند المقارنة بين موفِّري الخدمة، يجب أن تتطابق الإعدادات على كلا الجانبين، وإلا لم تكن المقارنة مقارنةً حقيقيةً أصلًا.
ولا تذكر أيٌّ من المصادر الآثار التكلفة ل.settingين اللذين حدَّدهما OpenAI، لذا فإن هذا الربط يُقدَّم هنا كتحليلٍ عامٍّ بدلًا من حقيقةٍ مُبلَّغةٍ. ومع ذلك، فهو السؤال الذي سيطرحه معظم فرق الهندسة بعد ذلك مباشرةً، وهو سؤالٌ معقولٌ تمامًا أن يُوجَّه إلى أي مُصنِّعٍ ينشر نتيجةً تعتمد على التهيئة.
معيار ARC-AGI-3 والتحول نحو التقييم التفاعلي
أصبحت سلسلة مقاييس الأداء ARC-AGI مرجعًا رئيسيًّا في المناقشات المتعلقة بالاستنتاج العام بالضبط لأنها تقاوم استراتيجيات الحفظ التي تضخّم الدرجات على مجموعات الاختبار القديمة. وقد سعت الإصدارات المتتالية إلى مهام تتطلَّب من النموذج اكتشاف القواعد بنفسه دون أن يكون قد رآها من قبل، بدلًا من استرجاع نمطٍ سبق له رؤيته.
ولهذه الصيغة تأثيرٌ جانبيٌّ ذي صلةٍ بهذه القصة: فمقاييس الأداء التي تكافئ الاستكشاف وحل المشكلات متعدد الخطوات تكون حساسةً بشكلٍ غير مألوفٍ تجاه مدى الحرية التي يمنحها إطار الاختبار (Harness) للنموذج للاستكشاف. وبالتالي، فقد يؤدي تغيير التهيئة الذي يسمح بمزيدٍ من التأمُّل أو التفاعل المنظم إلى قفزةٍ أكبر مما قد يحققه نفس التغيير على اختبارٍ تقليديٍّ لأسئلة وأجوبة ذات جولة واحدة. وبعيدًا عن أي ادّعاءٍ متعلقٍ بالإعدادات المحددة التي استخدمتها OpenAI — والتي لا تصفها المصادر — فإن هذا مجرد سياقٍ تمهيديٍّ لكيفية سلوك مثل هذه المقاييس.
وسوف يتعرَّف فريق العمل الذي يقيّم النماذج لأداء مهام ذاتية متعددة الخطوات على هذا النمط من تجاربه الخاصة — فالحساسية نفسها تجاه الهياكل الداعمة (Scaffolding) تظهر عبر أدوات التكامل التي غطّيناها في ملخّصنا عن وكلاء البرمجة بالذكاء الاصطناعي, حيث غالبًا ما يُشكِّل تصميم إطار الاختبار الفارق بين وكيلٍ قابلٍ للاستخدام وآخر غير قابلٍ للاستخدام رغم تشغيلهما لنفس النموذج الأساسي.
كيف تقرأ ادعاءات الشركات حول معايير الأداء دون مبالغة في التصحيح
وثمة غريزةٌ تدفع البعض إلى تجاهل النتائج التي تعتمد على التهيئة باعتبارها تسويقيةً بحتةً. وهذه ليست الدروس المناسبة المستخلصة. فالمُصنِّع الذي ينشر الإعدادات التي فعلها قد قدَّم للمجتمع مادةً للعمل عليها أكثر من المُصنِّع الذي ينشر رقمًا وحيدًا فقط، والادّعاء الناتج قابلٌ للتحقق من حيث المبدأ على الأقل.
والوضع العملي المفيد يقع بين التصديق الأعمى والرفض التام. فتعامل مع الادّعاء كما ورد: تقول OpenAI إن تمكين إعدادين قد ثلَّث درجاتها على مقاس ARC-AGI-3، وتقول إن الأرقام الناتجة تضع نموذج GPT-5.6 Sol أمام Opus 5 في هذا الاختبار. وانتظر إجراء اختبارات مستقلة قبل اعتبار هذا الترتيب نهائيًّا. وعندما تُنشَر التفاصيل الكاملة للإعدادات والنتائج، تحقَّق مما إذا كانت نفس التهيئة متاحةً واقتصاديةً في الطبقة التي تستخدمها فعليًّا. أما عندما تكون التكلفة جزءًا من قرارك، فإن منصتنا مؤشر الأداء السعري للذكاء الاصطناعي تتعقَّب مدى انتشار مستوى جودةٍ معينٍ عبر مختلف موفِّري الخدمة.
الأسئلة الشائعة
ما الذي ادّعاه OpenAI بالضبط حول GPT-5.6 Sol في اختبار ARC-AGI-3؟ وفقًا لموقع the-decoder.com، تدّعي OpenAI أن GPT-5.6 Sol يتفوَّق على Opus 5 في اختبار ARC-AGI-3 عند تشغيله عبر أحدث واجهة برمجة تطبيقات (API) لديها مع تفعيل إعدادين إضافيين. وعنوان المنشور الرسمي من OpenAI هو: «كيف أدّى تفعيل إعدادين إلى مضاعفة درجاتنا ثلاث مرات في اختبار ARC-AGI-3».
ما هذان الإعدادان اللذان تم تفعيلهما؟ لا تسمّي مقاطع المصدر المتاحة هذه الإعدادات. ولن يكون تحديدُها بدقةٍ ممكنًا إلا بعد التأكيد الرسمي من تفاصيل المنشور الكامل لـOpenAI، وإلا فإن أي تحديدٍ محدَّدٍ سيكون مجرد تكهُّن.
هل يعني هذا أن GPT-5.6 Sol نموذجٌ جديدٌ؟ لا شيء في المصادر يشير إلى إطلاق نموذجٍ جديدٍ. فالتعديل المذكور يتعلَّق بكيفية تهيئة نموذجٍ موجودٍ بالفعل واستدعائه عبر أحدث واجهة برمجة تطبيقات (API) من OpenAI.
هل تمت التحقق من هذه النتيجة بشكلٍ مستقلٍّ؟ ليس وفقًا للمواد المتاحة. فموقع the-decoder.com قدَّمها باعتبارها ادّعاءً من OpenAI، ولا توجد أي تأكيدات من أطراف ثالثة في المصادر.
هل ينبغي أن يؤثِّر هذا في اختيار النموذج الذي أستخدمه في الإنتاج؟ لا، ليس من تلقاء نفسه. فالنتيجة المستندة إلى التهيئة في اختبار قياسي تُعتبر دليلًا ضعيفًا لاتخاذ قرارٍ إنتاجيٍّ؛ بينما يبقى التقييم على مهامك الخاصة، باستخدام إعداداتك الخاصة وميزانيتك الخاصة، دليلًا أقوى بكثير.
الخلاصة النهائية
إن الادّعاء المبلغ عنه بشأن GPT-5.6 Sol في اختبار ARC-AGI-3 يُشكِّل نقطة بياناتٍ مفيدةٍ محاطةٍ بتحذيرٍ مهمٍّ جدًّا. فتقول OpenAI إن تفعيل إعدادين قد ثلَّث درجاتها، ويُبلِّغ موقع the-decoder.com أن الشركة تضع الآن GPT-5.6 Sol أمام Opus 5 في هذا الاختبار باستخدام أحدث واجهة برمجة تطبيقات (API) لديها. أما ما لا تقدِّمه المصادر — من درجاتٍ فعليةٍ، أو إعداداتٍ مفصَّلةٍ، أو تكاليفٍ، أو إعادة تحققٍ مستقلةٍ — فهو بالضبط ما يلزم لاعتبار هذا الترتيب ثابتًا بدلًا من كونه مؤقتًا. وحتى تُسجَّل هذه التفاصيل رسميًّا، فإن التفسير الأكثر أمانًا هو أن التهيئة أثبتت أهميتها البالغة في اختبار ARC-AGI-3، وأن أي مقارنةٍ بين النماذج على لوائح الترتيب (Leaderboards) تُجرى دون تطابقٍ تامٍّ في التهيئة لا تقيس حقًّا ما تبدو أنها تقاس.
المصادر: news.google.com. تم الإبلاغ في ٣٠ يوليو ٢٠٢٦.
