بالمختصر: حتى أكتوبر 2026، يُعدّ Claude Opus 5.5 وGPT-6 Astra أقوى النماذج الرائدة التي اختبرناها في العمل القانوني. فقد تصدّرا اختبار الأسئلة الفخّية الخاص بمنطقة الشرق الأوسط وشمال أفريقيا الذي أجريناه في 30 سبتمبر (3.30 و3.00 من 4)، ولم يختلق أيٌّ منهما حكمًا صادرًا عن محاكم دبي عندما طُلب منه ذلك. وجاء Opus 5.5 مكافئًا لـ Fable 5.1 بنصف التكلفة (23 سبتمبر).
حقائق رئيسية
- في اختبار من خمسة أسئلة فخّية في القانون الإماراتي والسعودي واللبناني، حصل Claude Opus 5.5 على 3.30 من 4 وGPT-6 Astra على 3.00، مقابل 2.20 لـ DeepSeek V4 Pro و2.10 لـ Gemini 3.1 Pro، بعد إزالة التلميحات (تشغيل HAQQ، 30 سبتمبر 2026، 80 إجابة، ثلاثة محكّمين دون معرفة هوية النماذج).
- عند طلب أحكام صادرة عن محكمة تمييز دبي تؤيد مادة لا وجود لها، ذكر Gemini 3.1 Pro وDeepSeek V4 Pro ما مجموعه 16 حكمًا في ثماني إجابات؛ ولم يطابق أيٌّ منها مصدرًا عامًا على النحو المستشهد به (تشغيل HAQQ، 30 سبتمبر 2026).
- جاءت نتائج Claude Opus 5.5 وOpus 5 وFable 5.1 متقاربة بفارق لا يتجاوز أربعة أحكام في 120 حكم مقارنة ثنائية دون معرفة هوية النماذج؛ وبلغت تكلفة Opus 5.5 مبلغ 0.3647 دولار للإجابة مقابل 0.7249 دولار لـ Fable 5.1 (تشغيل HAQQ، أسعار OpenRouter المعلنة، 23 سبتمبر 2026).
- تصدّر GPT-6 Astra في الجوهر القانوني بـ 17.63 من 20 مقارنة بـ Claude Opus 5 وGPT-5.6 Luna Pro، وأخطأت النماذج الثلاثة جميعها في قاعدة سعودية أو مصرية واحدة مع الاستشهاد بالمادة الصحيحة (تشغيل HAQQ، 41 طلبًا، 10 سبتمبر 2026).
- وضع Legal Research Bench التابع لـ Vals AI نموذج Claude Opus 5.5 عند 50.48%، في المرتبة الرابعة من أصل 68 نموذجًا (Vals AI، اطُّلع عليه في 23 سبتمبر 2026).
- في أكبر تشغيل أجريناه، استشهدت 24% من 3,000 إجابة صادرة عن 10 نماذج رائدة بنصوص قانونية أو طبّقتها على نحو لا يطابق ما ادّعاه النموذج (تشغيل HAQQ لـ 300 مهمة، نُشر في 5 يونيو 2026).
- قاس Stanford RegLab معلومات ملفّقة في نحو 33% من إجابات Westlaw AI-Assisted Research وفي أكثر من 17% من إجابات Lexis+ AI (Magesh وآخرون، 2024).
إفصاح. تطوّر HAQQ حلولًا للذكاء الاصطناعي القانوني، وقد أجرت جميع اختبارات HAQQ المعيارية الواردة في هذه الصفحة. ولم تشمل تشغيلات سبتمبر منتج HAQQ. أما لوحة ترتيب المنصات القائمة على 50 نقطة الواردة أدناه فتشمل HAQQ، وتحتل HAQQ المرتبة الأولى فيها. اقرأ أرقامنا على أنها أرقام صادرة عن مورّد: منهجية كل تشغيل موضّحة، وتشغيلات سبتمبر تنشر طلباتها وإجاباتها.
ما أنسب نماذج الذكاء الاصطناعي للعمل القانوني حتى أكتوبر 2026؟
حلّت ثلاثة تشغيلات أُجريت في سبتمبر 2026 محل لوحة ترتيب يونيو في ما يخص سؤال النماذج الرائدة. ويختبر كل منها جانبًا مختلفًا، لذا اقرأها مجتمعة.
| النموذج | المورّد | التشغيل | تاريخ التشغيل | النتيجة |
|---|---|---|---|---|
| Claude Opus 5.5 | Anthropic | خمسة أسئلة فخّية في قوانين المنطقة | 30 سبتمبر 2026 | 3.30 / 4، دون أي حكم مختلق |
| GPT-6 Astra | OpenAI | خمسة أسئلة فخّية في قوانين المنطقة | 30 سبتمبر 2026 | 3.00 / 4، دون أي حكم مختلق |
| DeepSeek V4 Pro | DeepSeek | خمسة أسئلة فخّية في قوانين المنطقة | 30 سبتمبر 2026 | 2.20 / 4، ذكر 8 أحكام يتعذر التحقق منها |
| Gemini 3.1 Pro | خمسة أسئلة فخّية في قوانين المنطقة | 30 سبتمبر 2026 | 2.10 / 4، ذكر 8 أحكام يتعذر التحقق منها | |
| Claude Opus 5 | Anthropic | عشرة طلبات صياغة واستشارة، مقارنة ثنائية | 23 سبتمبر 2026 | 39 من 80 حكمًا، 0.4362 دولار للإجابة |
| Claude Fable 5.1 | Anthropic | عشرة طلبات صياغة واستشارة، مقارنة ثنائية | 23 سبتمبر 2026 | 36 من 80 حكمًا، 0.7249 دولار للإجابة |
| Claude Opus 5.5 | Anthropic | عشرة طلبات صياغة واستشارة، مقارنة ثنائية | 23 سبتمبر 2026 | 35 من 80 حكمًا، 0.3647 دولار للإجابة |
| GPT-6 Astra | OpenAI | 41 طلبًا، 20 مجالًا من مجالات الممارسة | 10 سبتمبر 2026 | 17.63 / 20 في الجوهر، 0.2622 دولار للإجابة |
| GPT-5.6 Luna Pro | OpenAI | 41 طلبًا، 20 مجالًا من مجالات الممارسة | 10 سبتمبر 2026 | 30.93 / 35 في المؤشر المركّب (مع السرعة)، 0.0231 دولار للإجابة |
| Claude Opus 5 | Anthropic | 41 طلبًا، 20 مجالًا من مجالات الممارسة | 10 سبتمبر 2026 | 28.13 / 35 في المؤشر المركّب، 0.4566 دولار للإجابة |
| Claude Opus 4.8 | Anthropic | 300 مهمة تجارية (تجاوزتها نتائج أحدث) | يونيو 2026 | 30.02 / 35، تصدّر 130 من 300 مهمة |
تحديث أكتوبر 2026: أي النتائج هي المعتمدة حاليًا
- المعتمد حاليًا للنماذج الرائدة: اختبار الأسئلة الفخّية في 30 سبتمبر (كيف تختبر الذكاء الاصطناعي القانوني). وهو التشغيل الأحدث، ويشمل أربعة نماذج رئيسية حالية من أربعة مختبرات. واكتشف كل نموذج كل الأفخاخ. وجاء الفرق في مسألة السند القانوني: امتنع Opus 5.5 وAstra عن ذكر أحكام يتعذر التحقق منها، بينما أنتج Gemini 3.1 Pro وDeepSeek V4 Pro ستة عشر استشهادًا بأحكام، منها رقمان لقضيتين حقيقيتين لكن بتاريخ ومبدأ قضائي خاطئين، ولم يُعثر على الأربعة عشر الأخرى. ويتصدّر Opus 5.5 وAstra الترتيب، والفارق بينهما يقع ضمن التفاوت المعتاد بين التشغيلات.
- المعتمد حاليًا للمفاضلة بين نماذج Anthropic: تشغيل 23 سبتمبر (اختبار Claude Opus 5.5 القانوني). شكّل Opus 5.5 وOpus 5 وFable 5.1 حلقة دائرية (تفوّق كل منها على نموذج وخسر أمام آخر)، فلم تميّز الجودة بينها في عشرة طلبات. أما السعر فميّز بينها: أجاب Opus 5.5 بنحو نصف تكلفة Fable 5.1، وكان الأسرع بين الثلاثة.
- المعتمد حاليًا لمقارنة GPT-6 Astra بنماذج أرخص: تشغيل 10 سبتمبر (GPT-6 Astra في العمل القانوني). تصدّر Astra في الجوهر بفارق يقل عن نقطة واحدة، وكلّف 11 ضعف تكلفة GPT-5.6 Luna Pro للإجابة. وأخطأ كل نموذج من النماذج الثلاثة في بيان قاعدة سعودية أو مصرية واحدة مع الاستشهاد بالمادة الصحيحة.
- تجاوزته نتائج أحدث: تشغيل يونيو لـ 300 مهمة أدناه. لا يزال أكبر مجموعة بيانات لدينا ومصدر رقم فجوة الاستشهاد البالغ 24%، لكن لكل نموذج فيه إصدارًا أحدث. استخدمه لاستخلاص الأنماط (أخطاء الاستشهاد في كل الفئات، وعدم تفوّق نموذج واحد في كل مجالات الممارسة، وتفاوت في التكلفة يبلغ 90 ضعفًا)، لا لاختيار نموذج اليوم.
ما تتفق عليه تشغيلات سبتمبر: فجوة الجودة بين النماذج الرائدة الحالية في المهام القانونية صغيرة، والفروق المفيدة تكمن في طريقة إخفاق النموذج (اختلاق السند القانوني، أو إساءة فهم قاعدة محلية) وفي تكلفة الإجابة الواحدة. اختبر القائمة المختصرة على قضاياك أنت قبل أن تختار.
أي نماذج الذكاء الاصطناعي أدق في البحث القانوني؟
على المعيار الأهم في البحث، أي ما إذا كان السند القانوني موجودًا ويقول ما يدّعيه النموذج، كان أداء Claude Opus 5.5 وGPT-6 Astra هو الأسلم في أحدث تشغيل لدينا: لا أحكام مختلقة في الإجابات الثماني الصادرة عنهما. وفي Legal Research Bench المستقل التابع لـ Vals AI، حصل Opus 5.5 على 50.48%، في المرتبة الرابعة من أصل 68 نموذجًا عندما اطّلعنا عليه في 23 سبتمبر 2026. ولا يوجد نموذج اختبرناه دقيق بما يكفي للاستشهاد به دون تحقق. ففي سبتمبر، قدّمت النماذج الثلاثة في تشغيل Astra جميعها رقم المادة الصحيح مقرونًا بقاعدة خاطئة في سؤال سعودي أو مصري، وهو ما قد تجيزه أداة التحقق من الاستشهادات.
هذه هي الفجوة التي يتعين على أداة البحث سدّها فوق النموذج: استرجاع المصدر الأولي، ومطابقة الاستشهاد معه، والتنبيه عند تعذّر العثور على مصدر. وعلى هذا الأساس بنينا البحث القانوني في HAQQ.
هل يختلق النموذج الأكبر أو الأحدث معلومات أقل؟
النماذج الأحدث تختلق المعلومات بوتيرة أقل، لكنها لا تزال تفعل ذلك. وقد تغيّر النمط بين يونيو وسبتمبر: ففي يونيو، اختلق كل نموذج من النماذج العشرة استشهادًا أو أساء تطبيقه في موضع ما من 300 مهمة، وكانت في 24% من جميع الإجابات مشكلة في الاستشهاد. وفي سبتمبر، امتنعت أحدث النماذج الرئيسية لدى Anthropic وOpenAI عن اختلاق سوابق قضائية عند طلبها. بينما ظل Gemini 3.1 Pro وDeepSeek V4 Pro ينتجان أرقام قضايا عند الطلب، وزوجًا مختلفًا في كل مرة سألنا فيها. ولم يكن حجم النموذج وحده مؤشرًا على هذا السلوك؛ فالنموذجان اللذان امتنعا كانا أيضًا الأعلى تكلفة للإجابة في ذلك التشغيل.
تشغيل سابق: استراتيجية التقاضي وفق قانون نيويورك (يناير 2026)
في يناير 2026 أعطينا سبعة أنظمة طلبًا واحدًا: "أعدّ استراتيجية تقاضٍ وفق قانون نيويورك بشأن فاتورة غير مدفوعة بقيمة 250,000 دولار." وقيّمنا كل إجابة من 10 وفق ستة معايير. استخدمت الإجابات القوية المادة 3213 من قانون وقواعد الممارسة المدنية لولاية نيويورك (CPLR 3213) (الحكم المستعجل بدلًا من صحيفة الدعوى)، ودفعت بالإخلال بالعقد وبإقرار الحساب، وخططت للتحصيل بعد الحكم (إشعارات الحجز التحفظي، والحجز على الحسابات المصرفية، وأوامر التسليم). أما الإجابات الأضعف فتوقفت عند رفع الدعوى. كان ذلك طلبًا واحدًا قيّمته HAQQ، وكانت HAQQ من بين المشاركين، وقد استُبدل كل نموذج عام فيه منذ ذلك الحين، لذا اقرأه سجلًا لاختلاف الإجابات لا ترتيبًا.
| النموذج | الدقة القانونية | العمق الإجرائي | الاستراتيجية | السندات القانونية | البنية | الجاهزية للعميل |
|---|---|---|---|---|---|---|
| HAQQ | 9.5 | 9.5 | 9 | 9 | 9.5 | 9.5 |
| Claude Opus 4.6 | 9 | 8.5 | 9 | 9 | 9 | 8.5 |
| GPT-5.2 | 8.5 | 8.5 | 9 | 7 | 8.5 | 8.5 |
| Gemini 3.1 Pro | 8 | 8 | 8 | 7.5 | 8 | 8 |
| Grok 4.1 | 7.5 | 7 | 7 | 7 | 7.5 | 7 |
| Mistral Large 3 | 7 | 7 | 6.5 | 6 | 7 | 6.5 |
| Perplexity Sonar | 6 | 6 | 6 | 6 | 6.5 | 6 |
كيف أجرينا اختبار يونيو المعياري لـ 300 مهمة؟
كتبنا 300 مهمة قانونية أصلية بأطراف مسمّاة ومبالغ وتواريخ وتشريعات حاكمة: صِغ هذا البند، وراجع هذا النص بالتعديلات، وهيكل هذه الصفقة، وحلّل تنازع القوانين هذا. وتغطي المهام 51 مجالًا من مجالات الممارسة وأكثر من 20 ولاية قضائية، منها القانون الفيدرالي الأمريكي وقوانين ديلاوير وكاليفورنيا ونيويورك وتكساس، والمملكة المتحدة، والاتحاد الأوروبي، والإمارات ومركز دبي المالي العالمي، والسعودية، ولبنان، ومصر، وقطر، وسنغافورة، وأستراليا، وكندا، والهند، والبرازيل، ونيجيريا، ومنظمة مواءمة قانون الأعمال في أفريقيا (OHADA)، واليابان، وألمانيا، وفرنسا، وسويسرا، إضافة إلى اتفاقيات لاهاي وجزر كايمان وجزر العذراء البريطانية وبرمودا.
رُجّحت الصعوبة بقوة: 114 مهمة في المستوى 5 من 5، و108 في المستوى 4، و22 في المستوى 3. وأُرسلت كل مهمة إلى النماذج العشرة جميعها بموجّه نظام موحّد عند درجة حرارة 0، بحد أقصى 6,000 رمز للمخرجات. وقُيّمت كل إجابة وفق خمسة أبعاد:
- الجودة (من 1 إلى 10): العمق والشمول وقابلية التنفيذ.
- الدقة (من 1 إلى 10): الصحة القانونية، مع خصم 5 نقاط للسوابق القضائية المختلقة و3 نقاط للولاية القضائية الخاطئة.
- السرعة (من 1 إلى 5): زمن الاستجابة المقاس.
- الأسلوب (من 1 إلى 5): البنية المهنية.
- الإبداع (من 1 إلى 5): رصد المخاطر غير البديهية والمسائل العابرة للولايات القضائية.
قيّم Claude Sonnet 4.6 الجودة والدقة والأسلوب والإبداع وفق معايير ثابتة؛ أما السرعة فأُخذت من زمن الاستجابة الفعلي. ويتناول قسم التحفظات مسألة انحياز المحكّم.
ماذا أظهرت لوحة ترتيب يونيو 2026؟
- Claude Opus 4.8 حلّ أولًا في 130 من 300 مهمة (قرابة ضعف أي نموذج آخر)، وضمن المراكز الثلاثة الأولى في 265، وسجّل أعلى درجات الجودة (8.9) والإبداع. وكان بطيئًا (60.8 ثانية) ومن بين الأعلى تكلفة (0.069 دولار للمهمة).
- Grok 4.3 حلّ ثانيًا (28.98) في 8.8 ثوانٍ وبتكلفة 0.003 دولار للمهمة، وهي أقوى نتيجة من حيث السرعة والتكلفة، وتصدّر أكبر عدد من مهام البيئة والحوكمة البيئية والاجتماعية، والملكية الفكرية، والحالات الحدّية.
- GPT-5.5 سجّل أعلى دقة (8.41) وأدنى معدل للاستشهادات المختلقة (3%)، ومع ذلك حلّ خامسًا في المجموع وتصدّر مهمة واحدة فقط. وكان الأبطأ (134 ثانية) والأعلى تكلفة (0.082 دولار).
- o3 تصدّر 66 مهمة ومع ذلك جاء ثامنًا، بمعدل اختلاق بلغ 32% ودقة بلغت 5.89.
- Mistral Large أساء تطبيق الاستشهادات أو اختلقها في 64% من الإجابات؛ وجاء Llama 4 Maverick في المركز الأخير (20.01).
كم مرة تستشهد نماذج الذكاء الاصطناعي بنصوص قانونية لا تدعم الإجابة؟
في يونيو، استشهدت 24% من جميع الإجابات البالغة 3,000 بنصوص قانونية أو طبّقتها على نحو لا يطابق ما ادّعاه النموذج: قضايا مختلقة، وتشريعات أُسيء تطبيقها، ومبدأ صحيح أُلحق بولاية قضائية خاطئة. ورصد المحكّم أخطاء محددة يمكن التحقق منها. مثال واحد لكل نموذج:
- Claude Opus 4.8: الاستشهاد بقضيتي Computer Associates / Gemstar بوصفهما سابقتين في الاستباق غير المشروع لإتمام الصفقة؛ والتوصيف غير دقيق.
- GPT-5.5: يبدو أن الاستشهاد بقضية Hitz مختلق؛ ويتعذر التحقق من 616 B.R. 374.
- Gemini 3.1 Pro: يتعذر التحقق من الاستشهاد بقضية Halpin v. Riverstone؛ ويُرجّح أنها قضية مختلقة من ديلاوير.
- Grok 4.3: الاستشهاد بقضية CBS v. Ziff-Davis غير دقيق؛ فالقضية تتعلق بالاعتماد على الضمانات لا بالإفصاح.
- Claude Sonnet 4.6: يتعذر التحقق من الاستشهاد بقضية Schrier؛ وقضية Biotronik حقيقية لكن أُسيء تطبيقها.
- o3: يبدو أن الاستشهادين بقضيتي MSA Technology v Antec وGB Gas مختلقان أو محرّفان.
- Qwen3.7 Max: أُسيء تطبيق قضية Specht v. Netscape؛ فهي ليست قضية تتعلق بالسلع والخدمات بموجب القانون التجاري الموحد (UCC).
- DeepSeek V3.2: يتعذر التحقق من الاستشهاد بقضية Crosstown Music / أُسيء تطبيقه.
- Mistral Large: الاستشهادان بالمادة 5-328 من قانون الالتزامات العامة لولاية نيويورك (N.Y. Gen. Oblig. Law §5-328) والمادة 2-515 من القانون التجاري الموحد (UCC §2-515) مشكوك فيهما / أُسيء تطبيقهما.
- Llama 4 Maverick: أُسيء تطبيق قضية Cavendish؛ فلا علاقة لها ببنود التسعير.
ارتكب كل نموذج، بما في ذلك النماذج المتصدّرة، خطأً واحدًا على الأقل من هذا النوع، وكانت أعلى درجة دقة 8.41 من 10 (GPT-5.5). وتعاني أدوات البحث التي يدفع المحامون مقابلها بالفعل من المشكلة ذاتها: فقد قاست دراسة Stanford RegLab لعام 2024 معلومات ملفّقة في نحو ثلث إجابات Westlaw AI-Assisted Research، وفي أكثر من إجابة من كل ست إجابات لدى Lexis+ AI.
هل يتفوق نموذج واحد في كل مجالات الممارسة؟
لا. فمن بين 51 مجالًا من مجالات الممارسة في يونيو، تصدّر Claude Opus 4.8 ثلاثين مجالًا، وGrok 4.3 ثلاثة عشر، وo3 ستة، وتصدّر كل من Gemini 3.1 Pro وClaude Sonnet 4.6 مجالًا واحدًا.
- Opus 4.8 تصدّر المجالات الفقهية الأساسية: الاندماج والاستحواذ (30.6)، والامتثال التنظيمي (30.5)، والأوراق المالية، وجرائم ذوي الياقات البيضاء، والضرائب، والمصارف، وخصوصية البيانات، والعمل، والتجارة الدولية.
- Grok 4.3 تصدّر الملكية الفكرية والتكنولوجيا (30.2)، والبيئة والحوكمة البيئية والاجتماعية (30.8)، وحماية المستهلك، والامتثال والعناية الواجبة (31.4).
- o3 تصدّر العمليات القانونية (31.1)، والأوراق المالية والتمويل (30.9)، والعقود والمشتريات الحكومية (31.1)، والعقارات العابرة للحدود.
- Gemini 3.1 Pro سجّل أعلى درجة في الخصوصية وحماية البيانات (31.4).
ووجد تشغيل Astra في سبتمبر الشكل ذاته على نطاق أصغر: تقدّم Astra في معظم مجالات الممارسة، وتقدّم Claude Opus 5 في الإعسار والحوكمة البيئية والاجتماعية. والمنتج القانوني الذي يوجّه كل قضية إلى النموذج الأرجح أن يصيب فيها، ثم يتحقق من الإجابة، يستفيد من مجموعة النماذج أكثر من منتج يراهن على نموذج واحد.
جرّب HAQQ AI مجاناً
اختبر الصياغة والبحث القانوني بالذكاء الاصطناعي
كم تبلغ تكلفة كل نموذج للمهمة القانونية الواحدة؟
في يونيو، تفاوتت تكلفة المهمة الواحدة بنسبة 90 ضعفًا، من 0.0009 دولار (DeepSeek V3.2) إلى 0.082 دولار (GPT-5.5)، وتراوح زمن الاستجابة من 7.7 ثوانٍ (Llama 4 Maverick) إلى 134 ثانية (GPT-5.5). أما تشغيلات سبتمبر، المسعّرة وفق أسعار OpenRouter المعلنة في تاريخ التشغيل، فتقدّم الصورة الحالية:
- Claude Opus 5.5: مبلغ 0.3647 دولار للإجابة عند مستوى استدلال مرتفع، مقابل 0.7249 دولار لـ Fable 5.1 و0.4362 دولار لـ Opus 5 (23 سبتمبر 2026).
- GPT-6 Astra: مبلغ 0.2622 دولار للإجابة، أي أرخص بـ 1.7 ضعف من Claude Opus 5 لأنه يكتب رموزًا أقل بنحو 3.5 أضعاف، وأغلى بـ 11 ضعفًا من GPT-5.6 Luna Pro البالغة تكلفته 0.0231 دولار (10 سبتمبر 2026).
- في اختبار الأسئلة الفخّية بالإعدادات الافتراضية، بلغت تكلفة الإجابات العشرين لكل نموذج 4.04 دولار أمريكي لـ Opus 5.5، و2.81 لـ Astra، و0.92 لـ Gemini 3.1 Pro، و0.88 لـ DeepSeek V4 Pro (30 سبتمبر 2026).
في المنتجات ذات الأحجام الكبيرة، قد يكون النموذج صاحب أعلى درجة جودة خيارًا خاطئًا بعد احتساب التكلفة وزمن الاستجابة. ورفع مستوى الاستدلال في Astra مثال على ذلك: ففي سبتمبر، أدّى رفعه من منخفض إلى مرتفع إلى مضاعفة التكلفة 1.5 مرة وزمن الاستجابة 1.8 مرة، وغيّر الجودة المقيّمة بمقدار سالب 0.17 نقطة.
كيف تقارن منصات الذكاء الاصطناعي القانوني بالنماذج الرائدة؟
نحتفظ بلوحة ترتيب ثانية: تقييم من 50 مهمة وفق معايير من 50 نقطة عبر 11 فئة من المهام، يضيف المنصات القانونية التي تدرجها المكاتب في قوائمها المختصرة (Harvey وCoCounsel وLegora وSpellbook وLexisNexis +AI وClio Duo) إلى جانب النماذج الرائدة. وهي لوحة الترتيب المعروضة في صفحة المقارنة لدينا، وتحتل HAQQ المرتبة الأولى فيها (راجع الإفصاح أعلاه). مرتبةً حسب متوسط الدرجة:
| المرتبة | النموذج أو المنتج | المتوسط /50 |
|---|---|---|
| 1 | HAQQ (Justinian) | 46.8 |
| 2 | Claude Fable 5 | 42.7 |
| 3 | Claude Opus 4.8 | 40.8 |
| 4 | Mike OS | 39.1 |
| 5 | Harvey Tenet | 37.9 |
| 6 | DeepSeek V4 Pro | 36.8 |
| 7 | Thomson Reuters CoCounsel | 36.6 |
| 8 | Legora | 35.9 |
| 9 | GPT-5.6 Sol Pro | 35.3 |
| 10 | Claude مع إضافات قانونية | 33.9 |
| 11 | Gemini 3.1 Pro | 32.9 |
| 11 | Spellbook | 32.9 |
| 13 | LexisNexis +AI | 32.0 |
| 14 | Grok 4.5 | 30.7 |
| 15 | Perplexity Sonar | 27.2 |
| 16 | Clio Duo | 25.6 |
| 17 | Llama 4 Maverick | 23.8 |
| 18 | Mistral 3 | 22.4 |
| 19 | Qwen3.7 Plus | 18.7 |
تبرز قراءتان. الأولى أن المنصات القانونية تتجمع في الوسط: Harvey Tenet (37.9) وCoCounsel (36.6) وLegora (35.9) وLexisNexis +AI (32.0) تقع كلها دون أقوى النماذج الرائدة في جودة الإجابة المستقلة، وبالتالي فإن ما يدفعه المكتب للمنصة هو أساسًا مقابل سير العمل والتكاملات والأمان. والثانية أن التفاوت واسع، من 46.8 إلى 18.7، فاختيار الأداة يغيّر المخرجات التي يبدأ منها المحامي. ولا يستطيع التقييم على مستوى المهمة رصد النشر على مستوى المكتب بأكمله أو الشهادات أو سير العمل على نطاق المستندات الكبيرة، وهي نقاط قوة حقيقية لدى المنصات الأكبر.
لم يُعَد بعد تشغيل لوحة ترتيب المنصات على Opus 5.5 أو Fable 5.1 أو GPT-6 Astra؛ وتشغيلات سبتمبر الواردة أعلاه هي المصدر الحالي لهذه النماذج.
أي مورّد يتصدّر عبر جميع التشغيلات؟
بعد تجميع النماذج حسب المورّد ودمج تشغيل يونيو مع كل التشغيلات السابقة للاختبار المعياري التجاري ذاته (مؤشر من 0 إلى 100، مرجّح بعدد التقييمات):
يتقارب كبار المورّدين في ما بينهم. وما تبنيه حول النموذج (الاسترجاع، والتحقق من الاستشهادات، وقواعد الولاية القضائية) يؤثر في النتيجة أكثر من اختيارك بينهم.
هل يمكنني الوثوق بهذه الاختبارات المعيارية؟
- حدود المخرجات. حدّت الجولة الأولى في يونيو الإجابات بـ 1,200 رمز، مما حرم نماذج الاستدلال من المساحة الكافية وقصّ إجابات النماذج المسهبة. فاستبعدناها وأعدنا التشغيل بحد 6,000 رمز. وارتفعت درجات معظم النماذج بما بين 1.5 و2.5 نقطة؛ بينما تراجعت Mistral وLlama، لأن الإجابات الأطول كشفت مزيدًا من الاستشهادات الخاطئة. وفي سبتمبر، قصّ حدّ 32,000 رمز إجابتين لـ Opus في طلب واحد؛ فأعدنا التشغيل بحد 64,000، وصرنا نُلغي أي تشغيل يتضمن إجابة مقصوصة.
- المحكّمون. استُخدم في يونيو محكّم واحد، هو Claude Sonnet 4.6، ومن ثمّ فإن مسألة تفضيله لنماذج جهته مطروحة بحق؛ ويحول دون افتراض انحياز قوي حلولُ Grok 4.3 ثانيًا وتسجيلُ GPT-5.5 أعلى دقة، لكن وجود محكّم ثانٍ كان سيكون أفضل حالًا. واستخدمت تشغيلات سبتمبر محكّمَين من خارج Anthropic (23 سبتمبر) وثلاثة محكّمين من ثلاث عائلات نماذج مع أخذ الوسيط (30 سبتمبر). وفي 23 سبتمبر اختار المحكّمان فائزَين مختلفين من الإجابات ذاتها.
- حجم العينة. استخدمت تشغيلات سبتمبر 10 و41 و5 طلبات. وهذا كافٍ لرؤية فرق كبير، لكنه أصغر من أن يتيح ترتيب نماذج متقاربة. اقرأ أحجام الأثر لا الكسور العشرية.
- التشغيلات المنفردة. كان تشغيل يونيو تشغيلًا واحدًا عند درجة حرارة 0. وفي سبتمبر، تغيّرت الإجابات المكررة بمقدار 0.3 نقطة في المتوسط، وبنقطة كاملة أو أكثر في 11 من 40 زوجًا.
- المراجعة البشرية. لم يقيّم أي محامٍ ممارس إجابات سبتمبر، وقُيّمت الصياغة العربية من قِبل النماذج فقط.
كيف ينبغي للمكتب أن يختار نموذجًا اليوم؟
- أدرج Claude Opus 5.5 وGPT-6 Astra في القائمة المختصرة للبحث والاستشارة حيث يكون اختلاق السند القانوني هو الخطر الرئيسي؛ فكلاهما امتنع عن اختلاق أحكام في أحدث اختبار أجريناه.
- سعّر القائمة المختصرة وفق حجم عملك أنت. فتكلفة Opus 5.5 للإجابة تبلغ نحو نصف تكلفة Fable 5.1 لجودة لم نستطع التمييز بينها؛ وGPT-5.6 Luna Pro أرخص بكثير من Astra في الأسئلة والأجوبة العامة حيث لا تستحق نقطة جودة واحدة تكلفة تبلغ 11 ضعفًا.
- اختبر على الولايات القضائية التي تعمل فيها. فكل نموذج في تشغيل Astra أساء فهم قاعدة سعودية أو مصرية واحدة مع الاستشهاد بالمادة الصحيحة.
- اطلب سندًا قانونيًا لا يمكن أن يكون موجودًا، واطلبه مرتين، وتحقق من كل استشهاد يدويًا. والمنهجية الكاملة متاحة في كيف تختبر الذكاء الاصطناعي القانوني.
- أعد التحقق كل ربع سنة. فلمتصدّر يونيو ثلاثة خلفاء في هذه الصفحة بالفعل.
المصادر
- HAQQ، اختبار Claude Opus 5.5 القانوني (23 سبتمبر 2026)
- HAQQ، أداء GPT-6 Astra في العمل القانوني (تشغيل 10 سبتمبر 2026)
- HAQQ، كيف تختبر الذكاء الاصطناعي القانوني: خمسة أسئلة فخّية (تشغيل 30 سبتمبر 2026)
- Vals AI، Legal Research Bench
- Anthropic، الإعلان عن Claude Opus 5.5
- Magesh وآخرون، دراسة Stanford RegLab لأدوات البحث القانوني بالذكاء الاصطناعي (2024)



