باختصار: أخضعنا Claude Opus 5.5 وOpus 5 وFable 5.1 لعشرة طلبات بمستوى عمل المحامين، وجمعنا 120 حكمًا معمّى من حكمين اثنين من خارج Anthropic. جاءت النماذج متقاربة بفارق أربعة أحكام فيما بينها، وشكّلت النتائج حلقة دائرية لا ترتيبًا تنازليًا. كان السعر هو العامل الذي فصل بينها بوضوح، إذ بلغت تكلفة Opus 5.5 نصف تكلفة Fable 5.1 لكل إجابة. وننشر أيضًا ما سار على نحو خاطئ، لأن أحد تلك الأخطاء كاد يقدّم لنا نتيجة زائفة.
الجميع يردد الأرقام الثلاثة نفسها
ابحث عن مقارنة بين نماذج Anthropic الحالية وستجد صفحة من المقالات المتوافقة فيما بينها. Opus 5.5 يضاهي Fable 5.1 في معظم المهام. وهو أرخص بكثير. وهو أسرع.
هذه الأرقام صحيحة، وقد تحققنا منها من مصدرها بدلًا من الاكتفاء بما نقلته التغطية الإعلامية. تذكر صفحة Anthropic نفسها أن رموز الإدخال والإخراج تبلغ "4 دولارات و20 دولارًا لكل مليون، أي أقل بنسبة 20% من Opus 5"، وأن "Opus 5.5 يولّد المخرجات أيضًا أسرع بأكثر من 30% من Opus 5". ومقارنة بسعر Fable 5.1 البالغ 10 دولارات و50 دولارًا، فإن ذلك يعني انخفاضًا بنسبة 60% لكل رمز.
أما ما لم يفعله أحد تقريبًا فهو اختبار النماذج في مواجهة بعضها بصورة مستقلة. التغطية عمل صحفي حقيقي، لكنها تنقل تقييمًا ذاتيًا أجراه المورّد.
ويتفق المقياس القانوني المستقل الذي تمكّنا من التحقق منه من مصدره، ولم نجد سواه، مع المورّد بوجه عام. إذ يمنح Legal Research Bench التابع لـ Vals AI نموذج Opus 5.5 نسبة 50.48%، في المرتبة الرابعة من بين 68 نموذجًا. وهي نتيجة جيدة، لكنها تتعلق بالبحث القانوني، وهو مهمة واحدة. ولا تخبر المستشار القانوني الداخلي ما إذا كان النموذج يصوغ بند الدفعات المشروطة بالأداء (earn-out) بإتقان يفوق النموذج الذي يكلّف الضعف.
بحثنا عن تلك الإجابة فلم نجدها، فأجرينا الاختبار بأنفسنا.
ملاحظة بشأن ما لم ننشره. رقمان يتكرر تداولهما على نطاق واسع بشأن أداء Opus 5.5 في مقياس للوكلاء القانونيين لم يصمدا أمام التحقق من المصدر الأصلي: فصفحة نتائج المقياس نفسها لا تدرج النموذج أصلًا، وصفحة المورّد لا تتضمن الدرجة المنسوبة إليه. وقد استبعدنا الرقمين كليهما. وإذا رأيت هذين الرقمين مقتبسين في موضع آخر، فاسأل عن مصدرهما.
ما الذي اختبرناه
عشرة طلبات، صيغت بوصفها مهامّ يعرفها المحامي الممارس لا أسئلة امتحان:
- مراجعة بند سقف المسؤولية في اتفاقية SaaS مع تتبّع التعديلات
- مذكرة بمنهج IRAC بشأن قابلية شرط عدم المنافسة للتنفيذ
- بحث غني بالإحالات بشأن الاختصاص الشخصي
- رأي قانوني بشأن نقل بيانات عبر الحدود من الإمارات العربية المتحدة إلى فرنسا
- صياغة بند الدفعات المشروطة بالأداء (earn-out)
- فرز أوّلي وفق قانون الذكاء الاصطناعي الأوروبي لمنتج تقنية قانونية
- مذكرة استراتيجية: التحكيم مقابل التقاضي
- مؤشرات الخطر في العناية الواجبة لصفقة استحواذ بغرض استقطاب الكفاءات (acqui-hire)
- رسالة إلى العميل لإبلاغه بحكم صادر في غير صالحه
- مكافأة نهاية الخدمة: مركز دبي المالي العالمي مقابل البر الرئيسي لدولة الإمارات
اثنان منها يتعلقان بمسائل في منطقة الشرق الأوسط وشمال أفريقيا، لأن هذا هو القانون الذي بُني منتجنا من أجله، ولأن بيانات التدريب فيه شحيحة.
أجاب كل نموذج عن الطلبات العشرة جميعها. ثم وُضعت كل إجابة في مواجهة كل إجابة أخرى ضمن مقارنة ثنائية معمّاة، قيّمها حكمان من خارج Anthropic هما GPT-5.5 وGemini 3.1 Pro. واطّلع كل حكم على كل زوج مرتين، مرة بكل ترتيب، وهو ما يُبطل الميل الموثّق جيدًا لدى النماذج اللغوية إلى تفضيل الإجابة التي تقرؤها أولًا. ثلاث مواجهات، وعشرة طلبات، وحكمان، وترتيبان. 120 حكمًا.
قيّم الحكمان أربعة أبعاد على مقياس من 1 إلى 10: الدقة، والشمول، والفائدة العملية، وجودة الصياغة. وقيل لهما إن الإسهاب ليس جودة، وإن عليهما أن يحكما كما يراجع الشريك عمل المحامي المساعد.
ثمة إعدادان أهم مما يبدوان. فقد ثبّتنا مستوى جهد الاستدلال على "high" في النماذج الثلاثة، كي تقيس المقارنة القدرة عند إعداد ثابت بدلًا من ثلاثة إعدادات افتراضية مختلفة لدى المورّدين. وأغفلنا معامل الحرارة كليًا، لأن Fable 5.1 لا يقبل هذا المعامل عبر OpenRouter. ولو حدّدناه لمنحنا نموذجَي Opus قدرًا من الثبات في المخرجات لا يتاح لـ Fable.
بلغت تكلفة الاختبار كاملًا 15.26 دولارًا. وجميع أسعار النماذج الواردة في هذا المقال هي أسعار القائمة لدى OpenRouter كما قُرئت من واجهة البرمجة في 23 سبتمبر 2026، وجميع تكاليف الإجابة الواحدة محسوبة على أساس الرموز التي استهلكها اختبارنا فعليًا.
النتيجة لا تشكّل ترتيبًا
ثلاث مواجهات مباشرة، 40 حكمًا معمّى لكل منها
عشرة طلبات بمستوى عمل المحامين، وحكمان من خارج Anthropic، وكلا ترتيبَي العرض. التعادلات معروضة على حدة.
Opus 5.5 مقابل Opus 5
Opus 5.5 مقابل Fable 5.1
Opus 5 مقابل Fable 5.1
اقرأ النمط العام لا صفًا بعينه. Opus 5.5 يتفوق على Fable 5.1، وFable 5.1 يتفوق على Opus 5، وOpus 5 يتفوق على Opus 5.5. ولا يوجد ترتيب للنماذج الثلاثة يتسق مع النتائج الثلاث جميعها.
Opus 5.5 يتفوق على Fable 5.1. وFable 5.1 يتفوق على Opus 5. وOpus 5 يتفوق على Opus 5.5.
هذه حلقة دائرية، لا جدول ترتيب. فلا يوجد ترتيب لهذه النماذج الثلاثة يتسق مع النتائج الثلاث جميعها، وهذه أوضح إشارة ممكنة إلى أن الفروق أصغر من دقة القياس.
وإذا نظرت إلى المسألة من الاتجاه الآخر ظهر الأمر نفسه. فكل نموذج يظهر في مواجهتين، ومن ثم يحمل كل منها 80 حكمًا.
الأحكام التي حُسمت لصالح كل نموذج، من أصل 80
واجه كل نموذج النموذجين الآخرين في الطلبات العشرة جميعها، فيحمل كل منها 80 حكمًا من أصل 240.
فارق أربعة أحكام. في هذه المجموعة من المهام، وبهذا الحجم من العيّنة، تتساوى النماذج الثلاثة من حيث الجودة ويمكن أن يحل أيّ منها محل الآخر.
كان بوسعنا أن نكتب العنوان على النحو المعاكس. فعبارة "Opus 5.5 يتفوق على Fable 5.1 في العمل القانوني" صحيحة، وهي ما تقوله أرقامنا نفسها، وكانت ستنتشر أوسع بكثير مما سينتشر هذا المقال. لكنها كانت ستعني أيضًا تقديم هامش من ثلاثة أحكام من أصل أربعين على أنه نتيجة ثابتة. ولا نعتقد أن ذلك سيصمد عند إعادة الاختبار، ونفضّل أن نقول ذلك على أن نكتشفه على الملأ.
ما الذي يعنيه فعلًا فارق أربعة أحكام
يجيب المقياس عن السؤال الذي تستطيع تحمّل كلفة طرحه، لا عن السؤال الذي أردت طرحه. فعشرة طلبات هي ما يشتريه مبلغ 15 دولارًا عند مستوى جهد استدلال مرتفع. وهذا يكفي لرصد فارق كبير ولا يكفي لحسم فارق صغير، وما وجدناه فارق صغير.
القراءة الأمينة هي أن هذه النماذج الثلاثة، في هذه المجموعة من المهام وبهذا الحجم من العيّنة، متكافئة من حيث الجودة. ومن ينشر ترتيبًا واثقًا لها استنادًا إلى مقياس بهذا الحجم إنما ينقل ضجيجًا إحصائيًا مزيّنًا بفاصلة عشرية.
النموذج الذي يفوز بنتيجة 35 مقابل 39 لم يخسر. والنموذج الذي يفوز بنتيجة 85 مقابل 15 قد فاز.
ليس هذا انتقادًا للمقاييس. بل هو دعوة إلى قراءتها من حيث حجم الأثر لا من حيث المرتبة.
اختلف الحكمان، وهذا الاختلاف جوهري
استعنّا بحكمين تحديدًا كي لا يتمكن أيّ منهما من حسم النتيجة منفردًا. ولم يتفقا، واختلافهما منهجي لا عشوائي.
| الحكم | Opus 5.5 | Opus 5 | Fable 5.1 | التعادلات | ما يكافئه |
|---|---|---|---|---|---|
| GPT-5.5 | 21 | 16 | 23 | 0 | الحذر، ونظافة المراجع |
| Gemini 3.1 Pro | 14 | 23 | 13 | 10 | الإحاطة، والشمول |
وضع GPT-5.5 نموذج Fable 5.1 في المقدمة ولم يعلن تعادلًا واحدًا. أما Gemini 3.1 Pro فوضع Opus 5 في المقدمة بفارق واسع وأعلن عشرة تعادلات.
وبقراءة المبررات يتضح السبب. فـ GPT-5.5 يكافئ الحذر ونظافة المراجع والالتزام بحدود التكليف. أما Gemini 3.1 Pro فيكافئ الإحاطة، وفضّل باستمرار الإجابة الأطول التي ترصد مزيدًا من الالتزامات وتنبّه إلى مزيد من الاحتمالات.
لا أحد منهما مخطئ. إنهما رؤيتان وجيهتان لما يبدو عليه العمل الجيد للمحامي المساعد، وتُفرزان فائزين مختلفين من الإجابات نفسها. وإن كان ثمة أمر واحد ينبغي أن تخرج به من هذا المقال فهو هذا: حين يعرض مقياس ما درجة واحدة، اسأل من كان الحكم وما الذي يكافئه، لأن هذا الاختيار يؤدي دورًا أكبر مما يبدو.
ثمة نتيجة واحدة تصمد لدى الحكمين كليهما. إذ يحلّ Opus 5.5 ثانيًا لدى كل منهما، فلا يضعه أيّ من الحكمين في المرتبة الأخيرة.
حيث تتباين الدرجات فعلًا
الأحكام الثنائية متقاربة. أما درجات الأبعاد فهي أكثر دلالة، لأنها تُظهر النماذج وهي تخفق في اتجاهات مختلفة.
متوسط درجة الحكمين حسب البعد، من 1 إلى 10
متوسط جميع الأحكام التي ظهر فيها كل نموذج. الأعمدة مرسومة على المقياس الكامل من 0 إلى 10.
الدقة
الشمول
الفائدة العملية
الصياغة
تبدو الأعمدة متشابهة لأنها متشابهة فعلًا: فالتفاوت الكلي بين ثلاثة نماذج وأربعة أبعاد يبلغ 1.26 نقطة. اقرأ القيم لا الأطوال. هذا التسطّح هو النتيجة، لا خلل في العرض.
في الدقة تعادل في الصدارة. إذ يبلغ متوسط كل من Opus 5.5 وFable 5.1 درجة 8.55. ويأتي Opus 5 دونهما بدرجة 8.18.
أما الشمول فيسير في الاتجاه المعاكس. يتصدر Opus 5 بدرجة 9.44، ويليه Fable 5.1 بدرجة 9.22، ويتأخر Opus 5.5 بدرجة 8.93.
هذا الانقلاب هو أنفع ما في الاختبار. فقد كتب Opus 5 أطول الإجابات وأكثرها استفاضة في المجموعة، وحصل على أعلى الدرجات في الشمول والفائدة العملية، بينما حصل على أدناها في الدقة. وكتب Opus 5.5 إجابات أقصر رأى الحكمان أنها أكثر إحكامًا. وجاء Fable 5.1 الأقرب إلى القمة في البعدين كليهما.
في كثير من الأعمال، الشمول هو المطلوب. أما في العمل القانوني، فالمفاضلة بين هذين البعدين خيار ينبغي أن تتخذه عن قصد لا أن ترثه من جدول ترتيب، لأن الإجابة التي تغطي نطاقًا أوسع بدقة أقل ليست بالضرورة الإجابة التي ينبغي إرسالها إلى العميل.
جرّب HAQQ AI مجاناً
اختبر الصياغة والبحث القانوني بالذكاء الاصطناعي
الأمر الذي لا تقارب فيه
تكلفة الإجابة الواحدة، مقيسة على الرموز الفعلية
عشرة طلبات قانونية لكل نموذج عند مستوى جهد استدلال مرتفع، محسوبة بأسعار القائمة لدى OpenRouter في 23 سبتمبر 2026.
تُحتسب رموز الاستدلال بوصفها مخرجات. وقد استغرق Opus 5.5 أطول وقت في التفكير بين النماذج الثلاثة، بمعدل 10,031 رمز استدلال لكل إجابة مقابل 6,953 لدى Fable 5.1، ومع ذلك جاء الأرخص.
عند القياس على الرموز الفعلية لا على سعر القائمة، أجاب Opus 5.5 عن هذه الطلبات العشرة بتكلفة 0.3647 دولار لكل إجابة. وبلغت تكلفة Opus 5 مبلغ 0.4362 دولار. أما Fable 5.1 فبلغت 0.7249 دولار، أي ما يقارب ضعف Opus 5.5، مقابل فارق في الجودة لا تستطيع بياناتنا حسمه.
وأشارت السرعة إلى الاتجاه نفسه. فقد بلغ متوسط Opus 5.5 مدة 184 ثانية لكل إجابة، وFable 5.1 مدة 193 ثانية، وOpus 5 مدة 238 ثانية.
ما يتقاضاه كل نموذج مقابل التفكير يستحق فقرة مستقلة، لأنه فاجأنا. فقد كان Opus 5.5 الأرخص بين النماذج، وهو أيضًا الذي فكّر أطول وقت. وكتب Fable 5.1 أقصر الإجابات الظاهرة بين الثلاثة ومع ذلك كان الأعلى كلفة، لأن سعر القائمة لديه يبلغ 2.5 ضعف سعر Opus 5.5. فرخص الرمز الواحد منح Opus 5.5 متسعًا للتفكير بعمق أكبر مع بقائه متقدمًا في الفاتورة.
المقياس كاد يضللنا
هذا هو الجزء الذي تغفله معظم التقارير عن المقاييس، وهو الجزء الذي نودّ قراءته أكثر من سواه.
حدّدت الجولة الأولى سقفًا لكل إجابة قدره 32,000 رمز. وكان لدينا ما يسند هذا الرقم: فقد أثبت اختبار سابق على مجموعة الطلبات نفسها أن سقف 32 ألفًا لا يُحدث أي اقتطاع، إذ جاءت أطول إجابة دون 11,000 رمز.
غير أن ذلك الدليل لم يكن قابلًا للنقل، والسبب تفصيل جدير بالمعرفة. فرموز الاستدلال تُحتسب بوصفها مخرجات وتُخصم من ميزانية الرموز نفسها المخصصة للإجابة. وقد أضاف تثبيت جهد الاستدلال على "high" نحو 8,000 رمز استدلال لكل إجابة، فصارت الميزانية التي كانت مريحة ضيقة.
في طلب صياغة بند الدفعات المشروطة بالأداء، بلغ نموذجا Opus السقف وانقطعا في منتصف الإجابة. أما Fable 5.1 فأنهى إجابته على نحو طبيعي. لذا لم نكن في ذلك الطلب نقارن بين ثلاثة نماذج. بل كنا نقارن نموذجًا واحدًا بنموذجين بُترت خاتمتا إجابتيهما، وجاءت الأحكام الناتجة موجّهة مباشرة ضد النموذجين الخاضعين للاختبار.
عند إعادة التشغيل بسقف 64,000 رمز، استخدم Opus 5.5 ما مقداره 51,358 رمزًا في ذلك الطلب وحده. كان سقف 32 ألفًا يقتطع إجابته إلى النصف تقريبًا.
وكان وراء الخطأ الأول خطأ ثانٍ. فقد قاطعنا تشغيلًا في منتصف مرحلة التحكيم، وكان قد خزّن في الذاكرة المؤقتة أحكامًا محسوبة على الإجابات المقتطعة. وبقيت تلك الأحكام المخزّنة بعد إعادة توليد الإجابات، لأن الإجابة المقتطعة ليست خطأً، فبدت للذاكرة المؤقتة مكتملة. واضطررنا إلى تحديد كل حكم يخص الطلبات المتأثرة واستبعاده ثم إعادة توليده.
وكان لذلك أثر حاسم. ففي المجموعة الفرعية السليمة لكن الناقصة المؤلفة من ثمانية طلبات، كان Fable 5.1 متقدمًا على Opus 5.5. وحين أُعيد الطلبان المصحّحان انقلبت النتيجة. فسقف كانت لدينا أسباب وجيهة للوثوق به، مضافًا إليه ذاكرة مؤقتة نسينا وجودها، كان سينتج عنوانًا واثقًا وخاطئًا.
ما الذي غيّرناه
- باتت منظومة الاختبار توقف التشغيل إذا عادت أي إجابة بسبب انتهاء غير التوقف السليم. وكانت في السابق تطبع تحذيرًا وتواصل. والتحذير في السجل ليس حاجزًا.
- لم تعد الخلية المقتطعة تُعامل على أنها مخزّنة في الذاكرة المؤقتة. فاختبار التقادم يفحص سبب الانتهاء، لا مجرد وجود حقل خطأ، لأن الاقتطاع ليس خطأً.
- تُكتب كل خلية على القرص فور اكتمالها، بحيث يُستأنف التشغيل المقطوع دون دفع الكلفة مجددًا، ويسجّل كل حكم نسخة الإجابة التي حكم عليها.
نذكر ذلك لأن نمط الإخفاق هذا قابل للتعميم. فإذا كنت تقارن نماذج استدلال ببعضها ووضعت سقفًا للرموز كان منطقيًا لنماذج لا تعتمد الاستدلال، فالأرجح جدًا أنك تقيس السقف.
رأي HAQQ
نحن نبني ذكاءً اصطناعيًا قانونيًا، فلسنا محايدين في اختيار النماذج، وسنقول بوضوح ما الذي غيّره هذا الاختبار لدينا.
نقلنا الصياغة القانونية الروتينية إلى Opus 5.5. لا لأن بياناتنا تتوّجه، فهي لا تستطيع ذلك، بل لأنه لا يمكن تمييزه من حيث الجودة عن النموذجين الأعلى كلفة، مع كونه أسرع. وحين يكون خياران متساويين قياسًا وأحدهما بنصف السعر، فالقرار ليس متقاربًا حتى وإن كان المقياس كذلك.
وأبقينا Fable 5.1 للجولات النهائية الخاضعة لتقييم الجودة، أي العمل الذي يقرأ إجابته شخص من خارج الشركة. وهذا احتياط لا نتيجة. فأرقامنا لا تسوّغه، وقد تُسقطه مجموعة طلبات أوسع.
بالنسبة إلى فريق قانوني يختار نموذجًا، فالخلاصة المفيدة ليست أيّ النماذج فاز. بل هي أن فجوة الجودة بين النماذج الرائدة الحالية في المهام القانونية باتت صغيرة بما يكفي لأن يصبح السعر وزمن الاستجابة وطريقة إخفاق النموذج أهم من أيّها يتصدر جدول الترتيب. اختر النموذج الذي تستطيع التعايش مع نمط إخفاقه، ثم اختبره على قضاياك أنت، لأن قضاياك ليست طلباتنا العشرة.
القيود
- عشرة طلبات عيّنة صغيرة. تكفي لرصد فارق كبير، ولم ترصد أيّ فارق. تعامل مع كل هامش ثنائي هنا على أنه مؤقت.
- حكمان، وكلاهما نموذج لغوي. استعنّا بحكمين من خارج Anthropic وبدّلنا مواضع الإجابات للحد من التحيزات الواضحة، لكن الحكم القائم على نموذج لغوي ليس محاميًا، وقد كتبنا في موضع آخر عن مدى سوء إخفاق الحكّام من النماذج اللغوية في هذا النوع من المهام تحديدًا.
- اختلاف الحكمين لم يُحسم. أفرز حكمانا فائزين مختلفين. ونعرض النتيجتين كلتيهما بدلًا من دمجهما في متوسط واحد يخفي الانقسام.
- تشغيل واحد بلا تكرار. لم نشغّل كل طلب مرات متعددة، لذا لا نستطيع الفصل بين تباين النموذج وقدرته.
- مجموعة طلباتنا خاصة بنا. تميل نحو العمل التجاري والعابر للحدود وعمل منطقة الشرق الأوسط وشمال أفريقيا، لأن هذا ما نبني من أجله.
أبرز الخلاصات
- جاءت ثلاثة نماذج رائدة من Anthropic متقاربة بفارق أربعة أحكام فيما بينها عبر 240 حكمًا معمّى جمعناها على مهام قانونية بمستوى عمل المحامين. ولا يوجد ترتيب موثوق بينها بهذا الحجم من العيّنة.
- النتائج غير متعدية: Opus 5.5 يتفوق على Fable 5.1، وFable 5.1 يتفوق على Opus 5، وOpus 5 يتفوق على Opus 5.5. وهذا النمط بحد ذاته دليل على أن الفروق أصغر من دقة القياس.
- أفرز حكمان فائزين مختلفين من الإجابات نفسها. وحين يعرض مقياس رقمًا واحدًا، اسأل عمّا يكافئه حكمه.
- كان السعر هو الفاصل الواضح. فقد أجاب Opus 5.5 بنحو نصف تكلفة Fable 5.1 لكل إجابة، ولم يكن أيّ نموذج في المجموعة أسرع منه.
- سارت الدقة والشمول في اتجاهين متعاكسين. فالنموذج الأكثر استفاضة في المجموعة حصل على أدنى درجة في الدقة.
- إذا ثبّتّ جهد الاستدلال، فأعد التحقق من سقف الرموز. فرموز الاستدلال تُخصم من الميزانية نفسها، والسقف الذي كان آمنًا من قبل سيقتطع الإجابات دون أي تنبيه.
