نشرت شركة OpenAI منشورًا بعنوان «كيف أدّى تمكين إعدادين إلى مضاعفة درجاتنا ثلاث مرات في معيار أداء ARC-AGI-3»، وأفاد موقع the-decoder.com بأن الشركة تستخدم تلك النتائج للادعاء بأنها GPT-5.6 Sol ARC-AGI-3 تتفوّق على النموذج المنافس Opus 5 عند تشغيل المعيار عبر أحدث واجهة برمجة تطبيقات تابعة لـOpenAI مع تفعيل هذين الإعدادين الإضافيين. ويكتسب هذا الادعاء أهميته ليس لمكانة النموذج في قائمة الترتيب فحسب، بل لما يشير إليه من اعتماد كبير لنتائج المعايير على التكوين الدقيق المستخدم لإنتاجها — وهي تفصيلة نادرًا ما تنجو من رحلة الانتقال من منشور ترويجي صادر عن الشركة المصنِّعة إلى رسم بياني في عرض تقديمي.
أبرز النقاط المستخلصة
- أصدرت شركة OpenAI منشورًا تدّعي فيه أن تمكين إعدادين اثنين أدى إلى مضاعفة درجاتها ثلاث مرات في معيار أداء ARC-AGI-3، وفق العنوان الرئيسي الذي وضعته الشركة نفسها.
- يُفيد موقع the-decoder.com بأن شركة OpenAI تدّعي أن GPT-5.6 Sol يتفوق على Opus 5 في ARC-AGI-3 باستخدام أحدث API له مع هذين الإعدادين الإضافيين.
- تنبع هذه التحسّن المبلغ عنه بنسبة ثلاثة أضعاف من تغييرات في التكوين وليس من إطلاق نموذج جديد، استنادًا إلى الصياغة الواردة في المنشور الصادر عن شركة OpenAI نفسها.
- ولا يقدّم أي من المصدرين المقتبسين درجات رقمية محددة، أو هوية الإعدادين، أو تواريخ التقييم، وبالتالي لا ينبغي افتراض وجود تلك الأرقام.
- أما بالنسبة للمطوّرين، فإن الدرس العملي هو أن تكوين واجهة برمجة التطبيقات يمكن أن يؤثّر تأثيرًا بالغ الأهمية في نتائج المعايير؛ إذ لا يمكن مقارنة النتائج إلا عندما يكون إطار الاختبار (harness) متطابقًا تمامًا.
ما ادّعته شركة OpenAI فعليًّا بشأن نموذج GPT-5.6 Sol في معيار ARC-AGI-3
المصدر الأساسي هنا هو OpenAI نفسها. منشور الشركة بعنوان «How enabling two settings tripled our scores on the ARC-AGI-3 benchmark»، وهو يؤسس ثلاث نقاط: المعيار المعني هو ARC-AGI-3، والتحسن ينسب إلى تفعيل إعدادين، وحجم التحسن موصوف بأنه يضاعف النتيجة ثلاث مرات.
المصدر الثاني، the-decoder.com، يضيف الإطار التنافسي. يذكر تقريره أن OpenAI تؤكد أن GPT-5.6 Sol يتفوق على Opus 5 في ARC-AGI-3 باستخدام أحدث API لديها وإعدادين إضافيين. هذا هو مدى ما هو موثق من المواد المتاحة وقت الكتابة. قيم النتائج الأساسية، وترتيب النماذج قبل تفعيل الإعدادات، وعدد المهام التي تم تشغيلها، والميزانية الحسابية أو ميزانية الرموز لكل محاولة لم تُحدد في مقتطفات المصدر، ولا يجب على أي قراءة مسؤولة ملء هذه الفجوات بالاستدلال.
من المجدي توضيح شكل الادعاء بدقة، لأنه من السهل التفسير الخاطئ. OpenAI لم يُبلغ عنها أنها تعلن عن نموذج جديد. يُبلغ عنها أنها تعلن عن نتيجة جديدة نتيجة لنموذج قائم، تم الحصول عليها بتغيير طريقة استدعاء هذا النموذج.
لماذا تُعد عبارة «إ(setting)ان إعدادين» هي العبارة الأهم في هذه القصة
إن مضاعفة درجة معيار ثلاث مرات من تغييرات التكوين وحده هو تقلب كبير، ويشير إلى مشكلة أوسع في كيفية مقارنة الصناعة للنماذج. التقييمات المتقدمة ليست مسألة إرسال موجه وتسجيل الإجابة ببساطة. تعتمد النتيجة على الهياكل الأساسية حول النموذج: كم عدد المحاولات المسموح بها، كم من الوقت يمكنه التفكير قبل الرد، ما إذا كان يمكنه استدعاء الأدوات، وكيف يتم تحليل مخرجاته، وكيف تتم إعادة محاولة الفشل. غيّر أيًا منها والرقم يتغير معه.
هذا سياق عام بدلاً من تفصيل مبلغ عنه — المصادر لا تحدد أي إعدادين من الإعدادات التي فعلتها OpenAI. لكن اتجاه النتيجة متسق مع نمط معروف جيدًا: في المعايير المصممة لاختبار التفكير والتكيف بدلاً من الاستدعاء، فإن الحزام غالبًا ما يمثل نفس قدر التباين كما تفعل الأوزان الأساسية. هذا يجعل عنوانًا مثل «model A beats model B» غير مكتمل بدون التكوين الذي أنتجه.
بالنسبة لأي شخص يحتفظ بقائمة مختصرة من النماذج المرشحة، هذا سبب للتعامل مع المقارنات المنشورة من قبل البائع كنقطة بداية بدلاً من حكم نهائي. لدينا قاعدة بيانات نماذج الذكاء الاصطناعي يتتبع المواصفات المنشورة عبر المزودين، لكن لا يمكن لأي جدول ثابت التقاط إعدادات وقت التشغيل التي استخدمتها عملية المعيار.
مقارنة GPT-5.6 Sol وOpus 5: ما الذي تؤكده المصادر وما لا تؤكده
نظرًا لحجم التغطية الثانوية التي يميل ادعاء مثل هذا إلى توليدها، من المفيد فصل الحقائق المبلغ عنها عن التفاصيل التي غائبة ببساطة. الجدول أدناه يعكس فقط ما يظهر في المصدرين المتاحين.
| التفاصيل | الحالة في المصادر المتاحة |
|---|---|
| المعيار | ARC-AGI-3، المذكور في عنوان منشور OpenAI وتقرير the-decoder.com |
| النماذج المقارنة | GPT-5.6 Sol و Opus 5، وفقًا لـ the-decoder.com |
| النتيجة المعلنة | تؤكد OpenAI أن GPT-5.6 Sol يتفوق على Opus 5، وفقًا لـ the-decoder.com |
| التحسن المبلغ عنه | تضاعفت الدرجات ثلاث مرات بعد تفعيل إعدادين، وفقًا لعنوان منشور OpenAI |
| الشروط | أحدث API من OpenAI بالإضافة إلى إعدادين إضافيين، وفقًا لـ the-decoder.com |
| النتائج المحددة | غير موجودة في مقتطفات المصدر |
| التحقق المستقل | غير موجودة في مقتطفات المصدر |
| التحقق المستقل | غير موجودة في مقتطفات المصدر |
الصف الأخير يستحق التأكيد. وكما ورد في التقرير، فإن هذه المعلومة عبارة عن ادّعاء من قِبل مُصنِّعٍ حول نموذج خاصٍ به، نشره المُصنِّع نفسه، وأعادت نشره موقع the-decoder.com باعتباره ادّعاءً وليس نتيجةً مستقلةً مُؤكَّدةً من طرف ثالث. وهذا لا يُعدُّ انتقادًا للعمل المذكور — فنشر تفاصيل التهيئة أكثر شفافيةً من نشر رقمٍ جافٍ دون سياق — لكنه يُحدِّد مع ذلك معيار الأدلة.
ما الذي يعنيه هذا للمطوّرين الذين يبنون تطبيقاتهم على واجهة برمجة تطبيقات OpenAI
المخرج العملي للمطوِّرين ليس «التبديل بين النماذج». بل هو أن الإعدادات الافتراضية التي ترثها عند استدعاء واجهة برمجة التطبيقات (API) قد لا تكون هي الإعدادات التي أنتجت الأرقام التي قرأت عنها. فإذا اعتمدت نتيجة منشورة على إعدادين غير افتراضيين، فإن الفريق الذي يعيد تنفيذ تلك المهمة باستخدام المعايير الافتراضية يجب أن يتوقَّع نتيجةً مختلفةً جوهريًّا.
ويترتَّب على ذلك ثلاثة نتائج. أولًا: ينبغي أن يقترن اختيار النموذج المبني على الاختبارات القياسية (Benchmarks) بتقييم داخليٍّ يُجرى على مهامك الخاصة، عبر التهيئة الدقيقة التي تنوي استخدامها في الإنتاج. ثانيًا: أي إعدادٍ يرفع الدرجات من خلال توسيع جهد الاستنتاج أو المحاولات المتكررة سيزيد عادةً التكلفة أيضًا، وبالتالي فإن المقارنة ذات المعنى هي جودة الأداء لكل وحدة إنفاقٍ، وليس الجودة وحدها — وهي فكرةٌ صُمِّمت منصتنا حاسبة تكلفة واجهات برمجة تطبيقات الذكاء الاصطناعي (API) لجعلها ملموسةً وقابلةً للقياس. ثالثًا: عند المقارنة بين موفِّري الخدمة، يجب أن تتطابق الإعدادات على كلا الجانبين، وإلا لم تكن المقارنة مقارنةً حقيقيةً أصلًا.
ولا تذكر أيٌّ من المصادر الآثار التكلفة ل.settingين اللذين حدَّدهما OpenAI، لذا فإن هذا الربط يُقدَّم هنا كتحليلٍ عامٍّ بدلًا من حقيقةٍ مُبلَّغةٍ. ومع ذلك، فهو السؤال الذي سيطرحه معظم فرق الهندسة بعد ذلك مباشرةً، وهو سؤالٌ معقولٌ تمامًا أن يُوجَّه إلى أي مُصنِّعٍ ينشر نتيجةً تعتمد على التهيئة.
معيار ARC-AGI-3 والتحول نحو التقييم التفاعلي
أصبحت سلسلة مقاييس الأداء ARC-AGI مرجعًا رئيسيًّا في المناقشات المتعلقة بالاستنتاج العام بالضبط لأنها تقاوم استراتيجيات الحفظ التي تضخّم الدرجات على مجموعات الاختبار القديمة. وقد سعت الإصدارات المتتالية إلى مهام تتطلَّب من النموذج اكتشاف القواعد بنفسه دون أن يكون قد رآها من قبل، بدلًا من استرجاع نمطٍ سبق له رؤيته.
ولهذه الصيغة تأثيرٌ جانبيٌّ ذي صلةٍ بهذه القصة: فمقاييس الأداء التي تكافئ الاستكشاف وحل المشكلات متعدد الخطوات تكون حساسةً بشكلٍ غير مألوفٍ تجاه مدى الحرية التي يمنحها إطار الاختبار (Harness) للنموذج للاستكشاف. وبالتالي، فقد يؤدي تغيير التهيئة الذي يسمح بمزيدٍ من التأمُّل أو التفاعل المنظم إلى قفزةٍ أكبر مما قد يحققه نفس التغيير على اختبارٍ تقليديٍّ لأسئلة وأجوبة ذات جولة واحدة. وبعيدًا عن أي ادّعاءٍ متعلقٍ بالإعدادات المحددة التي استخدمتها OpenAI — والتي لا تصفها المصادر — فإن هذا مجرد سياقٍ تمهيديٍّ لكيفية سلوك مثل هذه المقاييس.
وسوف يتعرَّف فريق العمل الذي يقيّم النماذج لأداء مهام ذاتية متعددة الخطوات على هذا النمط من تجاربه الخاصة — فالحساسية نفسها تجاه الهياكل الداعمة (Scaffolding) تظهر عبر أدوات التكامل التي غطّيناها في ملخّصنا عن وكلاء البرمجة بالذكاء الاصطناعي, حيث غالبًا ما يُشكِّل تصميم إطار الاختبار الفارق بين وكيلٍ قابلٍ للاستخدام وآخر غير قابلٍ للاستخدام رغم تشغيلهما لنفس النموذج الأساسي.
كيف تقرأ ادعاءات الشركات حول معايير الأداء دون مبالغة في التصحيح
وثمة غريزةٌ تدفع البعض إلى تجاهل النتائج التي تعتمد على التهيئة باعتبارها تسويقيةً بحتةً. وهذه ليست الدروس المناسبة المستخلصة. فالمُصنِّع الذي ينشر الإعدادات التي فعلها قد قدَّم للمجتمع مادةً للعمل عليها أكثر من المُصنِّع الذي ينشر رقمًا وحيدًا فقط، والادّعاء الناتج قابلٌ للتحقق من حيث المبدأ على الأقل.
والوضع العملي المفيد يقع بين التصديق الأعمى والرفض التام. فتعامل مع الادّعاء كما ورد: تقول OpenAI إن تمكين إعدادين قد ثلَّث درجاتها على مقاس ARC-AGI-3، وتقول إن الأرقام الناتجة تضع نموذج GPT-5.6 Sol أمام Opus 5 في هذا الاختبار. وانتظر إجراء اختبارات مستقلة قبل اعتبار هذا الترتيب نهائيًّا. وعندما تُنشَر التفاصيل الكاملة للإعدادات والنتائج، تحقَّق مما إذا كانت نفس التهيئة متاحةً واقتصاديةً في الطبقة التي تستخدمها فعليًّا. أما عندما تكون التكلفة جزءًا من قرارك، فإن منصتنا مؤشر الأداء السعري للذكاء الاصطناعي تتعقَّب مدى انتشار مستوى جودةٍ معينٍ عبر مختلف موفِّري الخدمة.
الأسئلة الشائعة
ما الذي ادّعاه OpenAI بالضبط حول GPT-5.6 Sol في اختبار ARC-AGI-3؟ وفقًا لموقع the-decoder.com، تدّعي OpenAI أن GPT-5.6 Sol يتفوَّق على Opus 5 في اختبار ARC-AGI-3 عند تشغيله عبر أحدث واجهة برمجة تطبيقات (API) لديها مع تفعيل إعدادين إضافيين. وعنوان المنشور الرسمي من OpenAI هو: «كيف أدّى تفعيل إعدادين إلى مضاعفة درجاتنا ثلاث مرات في اختبار ARC-AGI-3».
ما هذان الإعدادان اللذان تم تفعيلهما؟ لا تسمّي مقاطع المصدر المتاحة هذه الإعدادات. ولن يكون تحديدُها بدقةٍ ممكنًا إلا بعد التأكيد الرسمي من تفاصيل المنشور الكامل لـOpenAI، وإلا فإن أي تحديدٍ محدَّدٍ سيكون مجرد تكهُّن.
هل يعني هذا أن GPT-5.6 Sol نموذجٌ جديدٌ؟ لا شيء في المصادر يشير إلى إطلاق نموذجٍ جديدٍ. فالتعديل المذكور يتعلَّق بكيفية تهيئة نموذجٍ موجودٍ بالفعل واستدعائه عبر أحدث واجهة برمجة تطبيقات (API) من OpenAI.
هل تمت التحقق من هذه النتيجة بشكلٍ مستقلٍّ؟ ليس وفقًا للمواد المتاحة. فموقع the-decoder.com قدَّمها باعتبارها ادّعاءً من OpenAI، ولا توجد أي تأكيدات من أطراف ثالثة في المصادر.
هل ينبغي أن يؤثِّر هذا في اختيار النموذج الذي أستخدمه في الإنتاج؟ لا، ليس من تلقاء نفسه. فالنتيجة المستندة إلى التهيئة في اختبار قياسي تُعتبر دليلًا ضعيفًا لاتخاذ قرارٍ إنتاجيٍّ؛ بينما يبقى التقييم على مهامك الخاصة، باستخدام إعداداتك الخاصة وميزانيتك الخاصة، دليلًا أقوى بكثير.
الخلاصة
إن الادّعاء المبلغ عنه بشأن GPT-5.6 Sol في اختبار ARC-AGI-3 يُشكِّل نقطة بياناتٍ مفيدةٍ محاطةٍ بتحذيرٍ مهمٍّ جدًّا. فتقول OpenAI إن تفعيل إعدادين قد ثلَّث درجاتها، ويُبلِّغ موقع the-decoder.com أن الشركة تضع الآن GPT-5.6 Sol أمام Opus 5 في هذا الاختبار باستخدام أحدث واجهة برمجة تطبيقات (API) لديها. أما ما لا تقدِّمه المصادر — من درجاتٍ فعليةٍ، أو إعداداتٍ مفصَّلةٍ، أو تكاليفٍ، أو إعادة تحققٍ مستقلةٍ — فهو بالضبط ما يلزم لاعتبار هذا الترتيب ثابتًا بدلًا من كونه مؤقتًا. وحتى تُسجَّل هذه التفاصيل رسميًّا، فإن التفسير الأكثر أمانًا هو أن التهيئة أثبتت أهميتها البالغة في اختبار ARC-AGI-3، وأن أي مقارنةٍ بين النماذج على لوائح الترتيب (Leaderboards) تُجرى دون تطابقٍ تامٍّ في التهيئة لا تقيس حقًّا ما تبدو أنها تقاس.
المصادر: news.google.com. تم الإبلاغ في 30 يوليو 2026.