الخلاصة (TL;DR) — سلّمنا HAQQ إلى جهة تقييمٍ مستقلّة، وطلبنا منها أن تختبره بعين المشتري المتشكّك تمامًا: 61 مهمّة قانونية حقيقية في 21 ولاية قضائية، مع تنفيذ كل مهمّة مرّتين، دون أي توجيهٍ مُسبق أو صلاحياتٍ خاصّة.
نجح HAQQ في 27.0% من المهام إجمالًا، متجاوزًا متوسّط أدوات الذكاء الاصطناعي القانوني ومتوسّط القطاع معًا. وفي الفئة الأصعب (The High Bar) — وهي المهام التي يعجز عن إنجازها تقريبًا كل ما في السوق — نجح HAQQ بنسبة 5.9% مقابل 1.1% لمتوسّط أدوات الذكاء الاصطناعي القانوني، أي أكثر من خمسة أضعاف بقية السوق.
كما كان الأقوى بين جميع الأدوات المُختبَرة في الصياغة وفق القانون العُماني، وسجّل 65.2% في التعامل مع المستندات الممسوحة ضوئيًا ومتدنّية الجودة، وبلغ 100% في المهام المصمَّمة خصيصًا لإغرائه باختلاق محتوى غير موجود.
ننشر أرقامنا نحن أدناه. أما المنتجات المنافِسة فتظهر ضمن متوسّطٍ إجمالي فقط — وهذا شرطُ الإفصاح الذي وضعته جهةُ التقييم، لا اختيارُنا.
لماذا اخترنا تقييمًا مستقلًا
معظم اختبارات الذكاء الاصطناعي القانوني تُجريها الشركات التي تبيع المنتج نفسه، واختبارنا الداخلي من بينها، وهو منحاز بطبيعته لأنه اختبارنا نحن. لذلك فعلنا العكس: سلّمنا HAQQ إلى جهة تقييمٍ مستقلّة لا مصلحة لها في النتيجة، وطلبنا منها تقييمه في مواجهة بقية السوق.
حين يُجري الاختبارَ طرفٌ لا يكسب شيئًا من نتيجته، يصبح للرقم معنى مختلف. وهذا هو الاتجاه الذي يسير إليه السوق: المشترون — وحتى نماذج الذكاء الاصطناعي التي تُوصي بالأدوات — باتوا يبحثون عن مصادر مستقلّة موثوقة بدل الدعاية التسويقية. ونحن نفضّل أن نستحقّ الدرجة على أن نَدّعيها.
كيف يعمل هذا التقييم
الدرجة لا تساوي أكثر من المنهجية التي تقف خلفها، وإليك المنهجية كاملة. لم نصمّم أيًّا من هذا — إنها منهجية جهة التقييم المنشورة، مُطبَّقة بالطريقة نفسها على كل أداة في المجموعة.
- 61 مهمّة حقيقية أعدّها محامون ممارسون، تشمل صياغة العقود واستخراج المعلومات، في 21 ولاية قضائية من بينها الولايات المتحدة وبريطانيا والهند وسنغافورة وهولندا وعُمان.
- تصل المستندات كما هي في الواقع العملي — ملفات Word أصلية، وملفات PDF، ومستندات ممسوحة ضوئيًا، وصور فوتوغرافية، وملفات تحمل تعديلات متتبَّعة. لا شيء يُحوَّل مسبقًا إلى نصٍّ نظيف، فقراءة الملف الأصلي جزءٌ من الاختبار نفسه.
- معايير نجاح/رسوب قاطعة، كتبها محامون وثُبّتت قبل الاختبار. لا تنجح المهمّة إلا إذا استوفت كل معيار مُنطبِق. وحين يكون هناك أكثر من إجابة مقبولة مهنيًا تسمح المعايير بذلك، لكنها ترسّب الأخطاء والإغفالات المحدَّدة.
- محوران لا يُخلَطان أبدًا: المضمون والشكل. المضمون يسأل: هل العمل صحيح وكامل؟ والشكل يسأل: هل يستطيع المحامي استخدامه كما سُلِّم؟ الإجابة المصقولة شكلًا لكنها خاطئة قانونيًا تُعدّ راسبة.
- تُنفَّذ كل مهمّة مرّتين بشكل مستقل، والدرجة هي متوسّط المحاولتين — حتى لا تحمل النتيجةَ محاولةٌ واحدة محظوظة.
- يُقيّم كل مُخرَج حَكَمان مستقلّان من نماذج الذكاء الاصطناعي، وأي خلاف قد يغيّر نتيجة النجاح يُحال إلى محامٍ مؤهّل يراجع المُخرَج دون معرفة الأداة التي أنتجته. والحكم البشري نهائي ويُحفظ للتدقيق.
- الفئة الأصعب (The High Bar) هي المهام التي لم تستطع إنجازها سوى أداتين على الأكثر من أصل 10 أدوات مُقيَّمة: 34 مهمّة، جرى تقييمها عبر 68 محاولة. وُجدت خصيصًا لتفصل الأداء الاستثنائي عن الكفاءة العادية.
نتيجتان يجدر استيعابهما قبل قراءة أي رقم أدناه. الأولى: نسب النجاح في هذا التقييم تبدو منخفضة بشدّة مقارنةً بالأرقام التسويقية في أماكن أخرى — وذلك بسبب قاعدة «كل المعايير أو لا شيء»، وهي تنطبق على الجميع بالتساوي. الثانية: لا نرى أبدًا درجات منافسينا فُرادى؛ فجهة التقييم لا تُظهر لنا سوى متوسّط عام لأدوات الذكاء الاصطناعي القانوني، ولهذا يقارن هذا المقال HAQQ بالمتوسّطات لا بمنتجات مُسمّاة.
أبرز الحقائق
- نسبة النجاح الإجمالية: 27.0%، أعلى من متوسّط أدوات الذكاء الاصطناعي القانوني ومتوسّط القطاع. لا تنجح المهمّة إلا باستيفاء كل معيار وضعه المحامون، ولهذا فالأرقام المطلقة منخفضة عبر المجال كله.
- الفئة الأصعب: 5.9% مقابل 1.1%. في أصعب مجموعة، نجح HAQQ بأكثر من خمسة أضعاف متوسّط أدوات الذكاء الاصطناعي القانوني، وقرابة ثلاثة أضعاف متوسّط الأدوات العامّة.
- الأقوى بين جميع الأدوات المُختبَرة في الصياغة وفق القانون العُماني (50.0%) — ليس منافِسًا فحسب، بل الأقوى.
- 100% في التعامل مع المراجع المفقودة. في مهام صُمِّمت لدفع النموذج إلى اختلاق ملاحق ومراجع غير موجودة، حافظ HAQQ على الفجوة في كل مرة.
- 2.53 من 3 في الشكل — الوضوح 2.73، والبنية 2.65 — أعلى من المتوسّطين. صحيحٌ وقابل للاستخدام كما سُلِّم.
- كانت مجموعة المهام صعبة عمدًا؛ والمجال كله يسجّل درجات منخفضة، لأن معظم الأدوات ما زالت تفشل في العمل القانوني الصعب فعلًا.
ماذا أظهر التقييم
إليك الأرقام في مقارنة مباشرة. «متوسّط الذكاء الاصطناعي القانوني» هو مجموع بقية أدوات الذكاء الاصطناعي القانوني المُقيَّمة؛ و«متوسّط الأدوات العامّة» هو مساعدات المحادثة المتقدّمة. الشكل يُقيَّم من 1 إلى 3، حيث 3 هي الأفضل.
| المقياس | HAQQ | متوسّط الـ AI القانوني | متوسّط الأدوات العامّة |
|---|---|---|---|
| صياغة العقود — نسبة النجاح | 24.2% | 20.6% | 23.9% |
| صياغة العقود — الشكل (1–3) | 2.56 | 2.44 | 2.44 |
| استخراج البيانات — نسبة النجاح | 30.0% | 29.6% | 29.3% |
| الفئة الأصعب — نسبة النجاح | 5.9% | 1.1% | 2.2% |
وهذه المقاييس التي أوردتها جهة التقييم لـ HAQQ وحده:
| المقياس | HAQQ |
|---|---|
| نسبة النجاح الإجمالية | 27.0% |
| الشكل الإجمالي (1–3) | 2.53 |
| صياغة العقود — المعايير المستوفاة | 78.6% |
| القراءة الضوئية والمسح — المعايير المستوفاة | 65.2% |
| الصياغة وفق القانون العُماني | 50.0% |
| التعامل مع المراجع المفقودة | 100.0% |
| النجاح المتكرّر عبر المحاولتين | 21.3% |
صياغة العقود
قيّمت جهةُ التقييم الصياغة على محورين: المضمون (هل الإجابة دقيقة وكاملة؟) والشكل (هل المُخرَج مصقول وجاهز لعرضه على العميل؟).
تفوّق HAQQ على الأدوات العامّة وعلى متوسّط أدوات الذكاء الاصطناعي القانوني في كليهما: 24.2% نسبة نجاح مقابل 23.9% و20.6%، و2.56 من 3 في الشكل مقابل 2.44 للمجالين. وعلى مستوى المعايير الفردية لا المهام الكاملة، استوفى HAQQ 78.6% مما طلبه المحامون. ليس صحيحًا تقنيًا فحسب، بل صحيحٌ وجاهز للعميل.
الفئة الأصعب: أصعب المهام
داخل التقييم مجموعةٌ أصغر من أصعب المسائل، تُسمّى رسميًا الفئة الأصعب (The High Bar): 34 مهمّة لم تستطع إنجازها سوى أداتين على الأكثر من أصل 10 أدوات مُقيَّمة. عملٌ متعدّد الخطوات، ومستندات مرجعية متعدّدة، ووقائع معقّدة. النوع الذي ينهار أمامه معظم الذكاء الاصطناعي ببساطة.
نجح HAQQ في 5.9% من تلك المحاولات الـ68. متوسّط أدوات الذكاء الاصطناعي القانوني نجح في 1.1%، ومتوسّط الأدوات العامّة 2.2%. أي أكثر من خمسة أضعاف مجال الذكاء الاصطناعي القانوني، وقرابة ثلاثة أضعاف مساعدات المحادثة المتقدّمة — وهو أوسع فارق سجّله HAQQ في التقييم كله.
اقرأ هذه الأرقام بصدق: 5.9% رقمٌ منخفض بالمطلق، وهذا ما ينبغي أن يكون. فهذه مهام اختِيرت تحديدًا لأن الصناعة كلها تفشل فيها. الفارق هو الإشارة هنا، لا المستوى. وهذا هو الجزء الأهم بالنسبة إلينا، لأنه يشبه العمل القانوني الحقيقي لا مجرّد عرض توضيحي.
ثلاثة أمور لافتة
1. العمل القانوني في الشرق الأوسط
في الصياغة الخاضعة للقانون العُماني، حقّق HAQQ أقوى النتائج في التقييم، بنسبة 50.0%. ليس منافِسًا، بل الأقوى. وهذا ما وُجِدنا لبنائه، فلم يكن مفاجئًا لنا، لكن من الجيّد أن يؤكّده طرفٌ لا سبب لديه لمجاملتنا.
2. المستندات الممسوحة ومنخفضة الدقّة
العمل القانوني يقوم على ملفات PDF رديئة: عقود مُرسَلة بالفاكس، وملفات ممسوحة ضوئيًا، وصفحات مُصوَّرة. في المواد المصدرية الممسوحة والمصوَّرة والمُنقَّحة وغير المثالية، استوفى HAQQ 65.2% من المعايير ونجح في 33.3% من المهام كاملةً — أعلى من المتوسّط في كليهما. وكان أقدر على استخراج المحتوى المقروء مع الإشارة إلى ما تعذّرت قراءته، لأنه لا يعتمد على قارئ النصوص المدمج في النموذج، بل يشغّل قارئه الخاص.
3. لم يختلق المعلومات
تضمّن التقييم مهامًّا صُمِّمت لإغراء النموذج باختلاق ما ليس موجودًا: ملاحق مفقودة ومراجع غائبة. سجّل HAQQ 100% في نقطة التحقّق الخاصة بالمراجع المفقودة. فحين غابت ملاحق أساسية، حافظ باستمرار على الفجوة بدل اختلاق محتواها.
تحفّظ صادق واحد، بدقّة: تلك الـ100% على مقياس واحد محدَّد — وهو إدراك أن مصدرًا مُشارًا إليه أو معلومةً مطلوبة غير متوفّرة ببساطة. أما على مهام مقاومة الهلوسة الأوسع في التقييم، فسجّل HAQQ 28.0% نجاحًا و61.7% من المعايير المستوفاة: أعلى من المتوسّط، لا الكمال. لا يوجد ذكاء اصطناعي خالٍ من الهلوسة كليًا. لكن اختلاق محتوى غائب هو تحديدًا نمط الفشل الذي يُنهي مسيرات المحامين، ولهذا هو ما نُوليه أقصى اهتمامنا.
لماذا تُعدّ الهلوسة جوهر اللعبة في المجال القانوني
في البرمجة السريعة، الهلوسة خطأ برمجي تكتشفه. أما في القانون، فالهلوسة قضيةٌ مزيّفة تُستشهَد بها أمام قاضٍ. وقد رأيت العناوين الصحفية. في عقدٍ أو مذكّرة قضائية، بندٌ واحد مختلَق أو إحالةٌ إلى قانون لا وجود له ليس عيبًا هامشيًا، بل سببٌ للاستبعاد.
لذا فإن «صحيح في الغالب» ليس منتجًا. المعيار الحقيقي هو: هل يثق المحامي بالمُخرَج بما يكفي للبناء عليه؟ والاختبار المستقل على مهام المحتوى الغائب من الطرق النادرة الصادقة لقياس ذلك، وهو تحديدًا الموضع الذي بُني HAQQ ليكون قويًا فيه.
العبرة في البنية لا في النموذج
هذا هو التحوّل الذي يعيشه القطاع بأكمله: لم يعد النموذج هو الفائز. الجميع يستطيع استدعاء النماذج المتقدّمة نفسها. ما يفرّق بين منتجات الذكاء الاصطناعي القانوني اليوم هو البرمجيات المحيطة بالنموذج — الاسترجاع، والأدوات، والاستدلال، والبيانات.
يعمل HAQQ على محرّكه الخاص، Justinian. تخيّله كـ«Palantir للعمل القانوني»: يتّصل بأنظمتك الحالية، ويبني بنية معرفية (Ontology) لقضاياك، ويُغلق الحلقة بين مستنداتك والإجابة.
خلف الكواليس، يدير HAQQ ستة نماذج — اثنان مفتوحا المصدر وأربعة خاصّة — عبر مُوجِّه يقرأ كل طلب ويختار النموذج المناسب للمهمّة، موازنًا بين الدقّة والتكلفة، فلا يشغّل نموذجٌ واحد كل الأعمال. وحول النماذج تقع أدوات HAQQ الخاصة: المتصفّح، ومستخرِج PDF، وقارئ النصوص الضوئي. النماذج مكوّن واحد فقط؛ أما الاستخراج، وطبقة الاستشهاد، والتوجيه فهي من صنعنا. ولهذا يصمد أمام ملفات PDF الرديئة ويرفض الهلوسة حيث تفشل الأدوات الأبسط.
ما لا يحلّه أحد غيرنا: الأسواق الناشئة
القانون الأوروبي والأمريكي سهلٌ نسبيًا على الذكاء الاصطناعي. فهو مرقمَن، وموثَّق جيدًا، ومُستقصى بلا حدود. ولهذا يبدو كل أداة جيّدًا على عقدٍ بريطاني.
الآن وجّه الأدوات نفسها إلى الشرق الأوسط، أو أمريكا الجنوبية، أو أجزاء من إفريقيا وآسيا. القانون هناك ليس مرقمَنًا بنظافة. وبيانات التدريب شحيحة. والنماذج تهلوس — نفس الفشل الذي تراه على المسائل الشرق أوسطية يظهر أينما كانت البيانات نادرة.
بُني HAQQ لهذا تحديدًا. لقد دوّنّا واستخرجنا القوانين الأساسية لهذه الولايات القضائية بأنفسنا، وهو حصنٌ لا تملكه الأدوات القانونية العامّة. وأن نكون الأقوى في الشرق الأوسط في تقييمٍ مستقل ليس حظًّا، بل تصميمًا.
ما الذي ينبغي أن تقيسه اختبارات الذكاء الاصطناعي القانوني مستقبلًا
صقلت هذه التجربة رؤيتنا لما ينبغي أن يختبره أي تقييم للذكاء الاصطناعي القانوني. وفيما يلي أمور نرى أن المجال كله ينبغي أن يعتمدها:
- المئين لا النجاح/الرسوب. «أعلى من المتوسّط» لا يقول لك شيئًا تقريبًا. فالمئين الخمسون والتاسع والتسعون كلاهما أعلى من المتوسّط، وهما ليسا المنتج نفسه. أظهِر موقع الأداة مقابل المقدّمة.
- الصعوبة والقابلية للدفاع. توليد عقدٍ سهل البناء. أما قراءة ضوئية موثوقة عبر مسوحات رديئة، أو استخراج يستشهد بالبند الدقيق، فقد يستغرق بناؤه من 12 إلى 18 شهرًا. زِنْ صعوبة بناء القدرة، فهذا ما يفصل التقدّم الحقيقي عن العرض التوضيحي.
- السعر والعائد. الجودة باتت شبه بديهية في القمّة الآن. السؤال الذي يطرحه المشترون فعلًا هو: بأي تكلفة؟ التكلفة لكل عقد، ولكل مهمّة بحث، ولكل صفحة. قِسْها، وكافئ المورّدين الشفّافين والميسورين.
- استنتاج القصد. المستخدمون الحقيقيون لا يكتبون طلبات طويلة مثالية. يكتبون «صُغ اتفاقية عدم إفصاح» أو «راجع هذه المستندات». الأداة الجيّدة تستنتج مقصدهم وتصل إلى الإجابة دون عشر جولات من الأخذ والردّ — عكس روبوت المحادثة المضبوط على إبقائك تتحدّث.
- الاستشهادات والمصادر المُوثَّقة. الويب مليء بقوانين قديمة. المهم هو: هل تستشهد الأداة بالنصّ المحدَّد والساري؟ وهنا يظهر الفارق بين نموذج لغوي عام وبرمجيات قانونية حقيقية أسرع ما يكون.
- الاستدلال في المراجعة. في مراجعة العقود، القيمة ليست في التعديلات فحسب، بل في المقترحات، والسيناريوهات، ومسار التفكير الظاهر خلفها. قيّم ما إذا كانت الأداة تُظهر عملها.
- معدّل الهلوسة في الصدارة. لكل الأسباب أعلاه، هذا هو الرقم الأهم للمحامين. مكانه العنوان الرئيسي، لا الهامش.
ما التالي في هذا التقييم
كانت هذه الجولة الأولى، وقد غطّت صياغة العقود واستخراج البيانات. وهناك المزيد قادم.
HAQQ مُصنَّف حاليًا «مُنافِسًا» (Contender) للربع الثالث من 2026 في فئات الاعتماد الخمس كلها: أفضل تطبيق ذكاء اصطناعي قانوني (إجمالًا)، وصياغة العقود، واستخراج المعلومات، والفئة الأصعب، وتجربة المستخدم. ولنكن دقيقين في المعنى لأن الصياغة مهمّة: «مُنافِس» هو تصنيف جهة التقييم للتطبيق المشارك خلال الربع، ولا تُؤكَّد الاعتمادات إلا بعد انتهاء الربع. وإن لم يتجاوز أي تطبيق العتبة في فئة، فلا يُمنَح اعتماد فيها إطلاقًا. وسننشر أين نحلّ، فُزنا أم خسِرنا.
الشهر المقبل يتوسّع التقييم إلى البحث والتحليل القانوني، ثم إلى مناطق أكثر، تتجاوز التركيز التقليدي على أمريكا وبريطانيا، إلى ولايات الأسواق الناشئة في أمريكا الجنوبية وإفريقيا وآسيا وجنوب شرق أوروبا. وهذه تحديدًا المناطق التي نركّز عليها. ويجري التقييم على وتيرة ربع سنوية، لأن النماذج تتطوّر بسرعة تجعل أي اختبار نصف قديم لحظة صدور اختبار جديد.
النسخة الصادقة
نحن فخورون بهذه النتيجة ولن نبالغ في تسويقها. نسبة نجاح إجمالية 27.0% عتبةٌ حقيقية جرى تجاوزها في اختبارٍ قاسٍ عمدًا — وتعني أيضًا أنه في نحو ثلاث من كل أربع مهام صعبة، بقي معيارٌ واحد على الأقل من وضع المحامين لم نستوفِه. كلا الجملتين صحيحة، ومن يقتبس الأولى دون الثانية يُسيء قراءة التقييم.
كما لا يمكننا إخبارك كم نبعد عن الأداة الأفضل منفردة في المجال، لأن جهة التقييم لا تُظهر لنا المنافسين فُرادى قط — بل كمتوسّط فقط. وأن نكون أعلى من ذلك المتوسّط ليس كأن نكون الأول، ولن نُوحي بغير ذلك حتى تُنشَر الترتيبات. ما نعرفه: في العمل الذي يشبه الممارسة القانونية الحقيقية، وفي أصعب مهام المجموعة، وفي الولايات القضائية التي تتجاهلها معظم الأدوات، صمد HAQQ تحت مجهرٍ خارجي. وسنواصل الحضور في كل جولة ونشر ما تجده.
- Justinian — المحرّك خلف هذه النتائج
- كيف يقارَن HAQQ ببقية أدوات الذكاء الاصطناعي القانوني
- تقييم قانوني على 300 مهمّة للنماذج المتقدّمة
- تقييم HAQQ-LAB للقانون المدني / الشرق الأوسط
جرّب HAQQ AI مجاناً
اختبر الصياغة والبحث القانوني بالذكاء الاصطناعي
