باختصار: هذا هو اختبارنا في مايو 2026. طرحنا على Claude Sonnet 4 وGPT-4o وGemini 2.5 Flash أكثر 100 سؤال شعبية على الإطلاق في r/legaladvice. نجح Claude Sonnet 4 في 88 سؤالًا، وGPT-4o في 87، وGemini 2.5 Flash في 78. وسجّلت النماذج الثلاثة أدنى درجاتها في التحفظات (من 3.0 إلى 3.15 من 5)، وهي أقل بكثير من درجاتها في الدقة القانونية (من 3.98 إلى 4.30).
نتيجة مؤرّخة محفوظة للتوثيق. أُجري هذا الاختبار المعياري في مايو 2026 على نماذج حلّت محلها نماذج أحدث منذ ذلك الحين. للاطلاع على النتائج الحالية، راجع أي ذكاء اصطناعي تختار للعمل القانوني، تحديث أكتوبر 2026، والاختبار المعياري القانوني لـ Claude Opus 5.5 (23 سبتمبر 2026، 120 حكمًا معمّى)، وكيف تختبر ذكاءً اصطناعيًا قانونيًا (30 سبتمبر 2026، خمسة أسئلة مفخّخة تتعلق بالإمارات والسعودية ولبنان، 80 إجابة). الأرقام أدناه لم تتغيّر عن المقال الأصلي.
حقائق أساسية
جرّب HAQQ AI مجاناً
اختبر الصياغة والبحث القانوني بالذكاء الاصطناعي
- معدلات النجاح في أكثر 100 سؤال شعبية على الإطلاق في r/legaladvice: Claude Sonnet 4 بنتيجة 88/100، وGPT-4o بنتيجة 87/100، وGemini 2.5 Flash بنتيجة 78/100 (اختبار HAQQ، مايو 2026).
- البُعد الأضعف لدى النماذج الثلاثة: التحفظات المناسبة، من 3.0 إلى 3.15 من 5. وتراوحت الدقة القانونية بين 3.98 و4.30 (اختبار HAQQ، مايو 2026).
- في 20 سؤالًا جديدًا نُشرت خلال الـ 48 ساعة السابقة: Claude Sonnet 4 بنسبة 95%، وGPT-4o بنسبة 90%، وGemini 2.5 Flash بنسبة 85% (اختبار HAQQ، مايو 2026).
- المُقيِّم: قيّم Claude Sonnet 4 كل الإجابات، بما فيها إجاباته، دون مراجعة من محامٍ (اختبار HAQQ، مايو 2026).
- السياق: قدّر World Justice Project في عام 2019 أن 5.1 مليار شخص لديهم احتياجات غير ملبّاة للوصول إلى العدالة (WJP، Measuring the Justice Gap، 2019).
إفصاح. تطوّر HAQQ ذكاءً اصطناعيًا قانونيًا، وهي التي صمّمت هذا الاختبار وأجرته وقيّمته. ولم تكن HAQQ نفسها من بين النماذج المختبَرة.
كيف أعددنا الاختبار؟
أخذنا أكثر 100 منشور حصولًا على الأصوات على الإطلاق في r/legaladvice: أسئلة حقيقية حول نزاعات المؤجرين والمستأجرين، والعمل، والحضانة، والتهم الجنائية، والإصابات الشخصية، وغيرها. وتجاوز متوسط طول المنشور 2,200 حرف، لذا جاءت معظم الأسئلة مصحوبة بوقائع متشابكة.
أُرسل كل سؤال إلى ثلاثة نماذج عبر OpenRouter بموجّه النظام نفسه: التصرّف كمحامٍ أمريكي متمرّس، وتحديد الولاية القضائية، ورصد المسائل، والاستشهاد بالقانون الواجب التطبيق، والتحليل، ثم تقديم المشورة.
- Claude Sonnet 4 (Anthropic)
- GPT-4o (OpenAI)
- Gemini 2.5 Flash (Google)
كيف قُيّمت الإجابات؟
تولّى Claude Sonnet 4 دور المُقيِّم، ومنح كل إجابة درجة من 1 إلى 5 في خمسة أبعاد: الدقة القانونية (هل القوانين المستشهد بها صحيحة؟)، واكتمال المسائل (هل رصد كل مسألة قانونية؟)، وجودة الاستدلال (هل الاستدلال متماسك؟)، والقيمة العملية (هل تساعد الشخص على اتخاذ الخطوة التالية الصحيحة؟)، والتحفظات المناسبة (هل تذكر أنها ليست استشارة قانونية وتوجّه إلى محامٍ محلي؟).
تُعدّ الإجابة ناجحة إذا بلغ متوسطها 3.5 على الأقل ولم ينخفض أي بُعد عن 2. واستخدام نموذج لتقييم النماذج ينطوي على تحيّز، نعود إليه أدناه.
أي نموذج نجح في أكبر عدد من الأسئلة؟
نجح Claude Sonnet 4 في 88 من 100، وGPT-4o في 87، وGemini 2.5 Flash في 78. ومع 100 سؤال ومُقيِّم واحد، فإن فارق نقطة واحدة بين Claude وGPT-4o مجرد تشويش إحصائي: تعامل معهما على أنهما متعادلان.
ما درجات النماذج في كل بُعد؟
تراوحت الدقة القانونية بين 3.98 و4.30 من 5. وحقّق Gemini أعلى درجة في اكتمال المسائل (4.82)، متقدمًا على Claude (4.58). وكان البُعد الأقوى لدى Claude هو القيمة العملية بدرجة 4.73 مقابل 4.21 لـ GPT-4o، ويرجع ذلك أساسًا إلى أن إجاباته عدّدت خطوات تالية ملموسة أكثر. وكانت التحفظات نقطة الضعف لدى كل النماذج.
ماذا تعلّمنا في مايو 2026؟
حدّدت النماذج عادةً مجال القانون الصحيح
في معظم الحالات المئة، حدّد كل نموذج مجال القانون، ورصد المسائل الرئيسية، وقدّم مشورة يمكن للشخص أن يتصرّف بناءً عليها. وكان ذلك الجانب المشجّع من الاختبار.
نقطة الضعف كانت التحفظات
سجّلت النماذج الثلاثة بين 3.0 و3.15 في التحفظات المناسبة. فقد كانت تتعمّق في التحليل، وغالبًا بشكل صحيح، دون أن تذكر أن ما تقدّمه معلومات عامة أو أن على الشخص مراجعة محامٍ محلي. والإجابة الواثقة الخالية من أي تنبيه محفوفة بالمخاطر حتى عندما تكون صحيحة، لأن القارئ لا يستطيع أن يميّز الأجزاء التي تتوقف على ولايته أو على وقائع حالته. وهذا أحد الأسباب التي تجعلنا نضيف ضوابط حماية وإخلاءات مسؤولية وإحالة إلى محامٍ فوق أي نموذج تستخدمه HAQQ.
المتوسطات المرتفعة لم تعنِ معدل نجاح مرتفعًا
سجّل Gemini 2.5 Flash أعلى متوسطين في الدقة القانونية (4.30) واكتمال المسائل (4.82)، لكنه سجّل أدنى معدل نجاح، 78%. فقد انقطعت بعض إجاباته قبل اكتمالها، وأغفلت إجابات أخرى إخلاء المسؤولية كليًا فأخفقت في هذا البُعد. وفي العمل القانوني، يصعب الاعتماد على إجابة ممتازة في أغلب الأحيان وناقصة في ما تبقّى منها.
ما مدى موثوقية مُقيِّم من الذكاء الاصطناعي؟
قيّم Claude النماذج الثلاثة، بما فيها نفسه. ويثير ذلك ثلاث مشكلات لم نتمكّن من إزالتها في هذا الاختبار: احتمال أفضلية اللعب على أرضه، والتحيّز لصالح بُنى الإجابة التي يألفها المُقيِّم، وغياب مرجع موثَّق، لأن أي محامٍ لم يراجع الإجابات. فما تقيسه الدرجات هو مدى التوافق مع تصوّر نموذج واحد للإجابة الجيدة.
عالجت اختباراتنا اللاحقة هذه المسألة. فقد استعان الاختبار المعياري لـ Opus 5.5 في سبتمبر 2026 بمُقيِّمَين من خارج Anthropic، واستخدم اختبار الأسئلة المفخّخة ثلاثة مُقيِّمين معمّين ونشر الإجابات الثمانين كلها.
هل صمدت النتائج أمام أسئلة جديدة؟
المنشورات المئة الأعلى قديمة بما يكفي لاحتمال ظهورها في بيانات التدريب. وللتحقق من ذلك، طبّقنا الإجراء نفسه على 20 سؤالًا نُشرت في r/legaladvice خلال الـ 48 ساعة السابقة. فسجّل Claude Sonnet 4 نسبة 95%، وGPT-4o نسبة 90%، وGemini 2.5 Flash نسبة 85%. وعشرون سؤالًا عيّنة صغيرة، لذا نقرأ ذلك على أنه "لا مؤشر على الحفظ" وليس على أنه تحسّن.
ماذا يعني ذلك لمنتج ذكاء اصطناعي قانوني؟
حتى في مايو 2026، كانت النماذج قادرة على الاستدلال في المسائل القانونية الأمريكية الشائعة بقدر يجعلها مفيدة في معظم الأحيان. أما نسبة الـ 5 إلى 15% المتبقية فهي حيث يكسب المنتج الثقة: التحقق من إجابة أي نموذج يُعتمد، وإضافة التحفظات التي أغفلتها النماذج، وتأسيس الإجابات على الولاية القضائية للمكتب ومستنداته، وجعل كل استشهاد قابلًا للتتبّع حتى مصدره. وهذا هو العمل الذي يؤديه Justinian، محرك الذكاء الاصطناعي القانوني من HAQQ، فوق النماذج التي يشغّلها.
المنهجية
- تاريخ الاختبار: مايو 2026.
- الأسئلة: أكثر 100 منشور شعبية على الإطلاق في r/legaladvice، إضافة إلى 20 منشورًا من الـ 48 ساعة السابقة، مع تصفيتها للإبقاء على المنشورات النصية ذات المحتوى الجوهري.
- النماذج: Claude Sonnet 4 وGPT-4o وGemini 2.5 Flash، استُدعيت جميعها عبر OpenRouter بموجّهات نظام متطابقة.
- صياغة الموجّه: سلسلة تفكير وفق إطار استدلال قانوني من خمس خطوات (الولاية القضائية، المسائل، القانون، التحليل، المشورة).
- المُقيِّم: Claude Sonnet 4، مُقيِّم واحد، خمسة أبعاد تُمنح درجات من 1 إلى 5، دون مراجعة من محامٍ.
- قاعدة النجاح: متوسط لا يقل عن 3.5 وعدم انخفاض أي بُعد عن 2.
- البيانات: حُفظت الشيفرة والأسئلة والإجابات والدرجات في مستودع وقت إجراء الاختبار.



