باختصار: لقد حولنا نموذجًا رائدًا (Opus 4.8) إلى قاعدة بيانات قانونية وهمية وبحثنا أين يقوم بالتلفيق. رفض اختلاق مراجع غير موجودة، وعادت 4 من أصل 4 مراجع مستحيلة بنتيجة 'لم يتم العثور عليها'. لكن عند استعلام معقول، قام بتلفيق البحث نفسه: قائمة نتائج مرتبة مع درجة ملاءمة مختلقة ومرجع حقيقي قابل للنقر يشير إلى القانون الخطأ. الهلوسة الخطيرة ليست الحالة الوهمية التي يمكنك اكتشافها. إنها المرجع الحقيقي المرفق بالمحتوى الخاطئ، وإصرار النموذج على أنه بحث عن شيء ما بينما لم يفعل.
الرقم الذي يستشهد به الجميع، والذي يغفلونه
If you have shopped for legal AI in the last year, you know the scary statistic. A 2024 Stanford study measured hallucination rates of 43% for GPT-4, 33% for Westlaw's AI research, and 17% for Lexis+. A separate database now tracks over 1,000 court cases where lawyers filed AI-invented citations. Some have been fined.
معدلات الهلوسة في أدوات البحث القانوني
ستانفورد، 2024، نسبة الاستجابات التي تحتوي على هلوسة
تتفوق الأدوات القانونية المرتكزة على الاسترجاع على النماذج العامة، لكن الأخطاء المتبقية تصبح أكثر دقة، مثل مرجع حقيقي مرفق بقانون خاطئ.
النصيحة التي تتبع ذلك هي نفسها دائمًا: تحقق من كل مرجع. صحيح، وغير مجدٍ تقريبًا، لأنه يفترض أن الهلوسات تبدو وكأنها مزيفة بشكل واضح. تلك التي تتسبب في معاقبة المحامين ليست كذلك. لذلك أجرينا تجربة لنرى كيف تبدو في الواقع.
التجربة: اجعل النموذج هو المكتبة
معظم اختبارات الهلوسة تطلب من النموذج سؤالًا قانونيًا وتقيّم الإجابة. فعلنا شيئًا أغرب. استخدمنا أداة مفتوحة المصدر، world-model-harness، لجعل Opus 4.8 ينتحل شخصية قاعدة البيانات القانونية نفسها، محرك البحث، وليس المحامي.
إليك الإعداد بعبارات واضحة. قمنا بتسجيل جلسات بحث قانونية حقيقية مقابل قاعدة بيانات حقيقية متعددة الولايات القضائية، تشمل القوانين والسوابق القضائية في جميع أنحاء الاتحاد الأوروبي وفرنسا وألمانيا. ثم قمنا بتدريب النموذج ليلعب دور قاعدة البيانات هذه: ترسل استعلامًا، وهو يُرجع ما يعتقد أن قاعدة البيانات سترجعه، من نتائج البحث، ونصوص الوثائق، والاستشهادات. قاعدة البيانات الحقيقية تسترد. نموذجنا يتنبأ. الفجوة بين الاثنين هي الهلوسة، معزولة تحت المجهر.
اعتراف من عملية البناء: أظهرت تجربتنا الأولى دقة استشهاد بنسبة 100% تقريبًا وكدنا نحتفل. ثم أدركنا أننا كنا نختبر الذاكرة المؤقتة (cache)، وليس النموذج، فقد قمنا بتغذيته باستعلامات سبق أن رآها، لذا فقد عكس ببساطة الإجابات الحقيقية. محرج ليوم واحد، ومفيد للأبد: الاختبار الصادق الوحيد لـ Legal AI يكون على أسئلة لم يرها من قبل.
النتيجة 1: لن يبتكر استشهادًا من العدم
قمنا بتغذية المكتبة الوهمية بأربعة مراجع غير موجودة في أي مكان: لائحة مصطنعة للاتحاد الأوروبي، ومادة ملفقة من القانون المدني الفرنسي، ورقم وثيقة CELEX لا معنى له، وقضية دستورية ألمانية مزيفة.
في المرات الأربع، أجاب النموذج بالطريقة التي تجيب بها قاعدة بيانات حقيقية: "تم الحل كاذب"، "لم يتم العثور عليه". لم يخترع قضية معقولة لملء الفراغ. هذه أخبار جيدة حقًا وتستحق أن تُقال بصوت عالٍ. النماذج الرائدة في عام 2026 معايرة بشكل أفضل بكثير مما توحي به سمعتها بأنها "تختلق الأمور". عندما طُلب منه شيء مستحيل، رفض Opus 4.8. إذا كانت هذه هي القصة بأكملها، لكان بإمكانك الاسترخاء. لكنها ليست كذلك.
النتيجة 2: إنه يختلق البحث نفسه
ثم سألناه شيئًا معقولًا ولكنه غير مرئي، حول قواعد قانون الذكاء الاصطناعي للاتحاد الأوروبي المتعلقة بالأنظمة عالية المخاطر. أنتج النموذج استجابة كاملة ومرتبة من قاعدة البيانات: نتائج متعددة، وتواريخ الجريدة الرسمية، ونقطة دلالة 0.71243286، وكل ذلك مصاغ كما لو كان مستردًا من EUR-Lex. لم يحدث أي من هذا الاسترداد. لم يكن هناك فهرس، ولا بحث، ولا نقاط. لقد اختلق فعل البحث عن شيء ما. والاستشهادات التي أعادها هي الدرس البليغ في سبب أهمية هذا الأمر:
- CELEX 32024R1689، حقيقي وصحيح. هذا هو قانون الذكاء الاصطناعي للاتحاد الأوروبي بالفعل. استدعاء مثير للإعجاب.
- CELEX 32024R0900، حقيقي، قابل للنقر، وخاطئ. تحل هذه الإشارة المرجعية بشكل مثالي على EUR-Lex، إلى اللائحة (الاتحاد الأوروبي) 2024/900 بشأن شفافية الإعلانات السياسية. لا علاقة لها بمطابقة الذكاء الاصطناعي.
هذه النقطة الثانية هي الأهم. إنها ليست إشارة مرجعية مزيفة، فمن السهل اكتشاف الإشارة المرجعية المزيفة لأنها لا تحل. هذه إشارة مرجعية حقيقية مرتبطة بقانون خاطئ. يسميها مدققو الاقتباسات عدم تطابق الاسم/المرجع. تنقر عليها، وتحمل لائحة رسمية للاتحاد الأوروبي، ويبدو كل شيء مشروعًا، وتكون قد أسست للتو حجتك في قانون الإعلانات بينما تعتقد أنه قانون الذكاء الاصطناعي. كل رابط يحل. لا شيء يبدو خاطئًا.
تحذير صادق: هذا إثبات مفهوم حاد، وليس معيارًا، مجموعة صغيرة من النصوص وتلفيق واحد تم اكتشافه عبر عدد قليل من التحقيقات. نحن لا ندعي نسبة. نحن نعرض لك شكلاً.
جرّب HAQQ AI مجاناً
اختبر الصياغة والبحث القانوني بالذكاء الاصطناعي
لماذا هذا هو الفشل الذي يصمد أمام المراجعة
عد إلى النصيحة القياسية: تحقق من كل إشارة مرجعية. الآن شاهدها تفشل. المحامي يتحقق من إشارة قانون الذكاء الاصطناعي، حقيقية. يتحقق من التالية، حقيقية أيضًا، وتحمل بشكل جيد. تم اجتياز التحقق، لأن التحقق عادة ما يعني هل يعمل هذا الرابط، وكل رابط عمل. الخطأ ليس فيما إذا كانت الإشارة المرجعية موجودة. بل فيما إذا كانت تقول ما ادعاه النموذج، وهو أمر أصعب بكثير اكتشافه، وبالضبط نوع الخطأ الذي ينتهي به الأمر في ملف.
الدرس الأعمق يدور حول أين تكمن الكذبة. نحن نشعر بالقلق غريزيًا من أن النموذج سيخطئ في القانون. الخطر الحقيقي هو أن يخطئ في الاسترجاع، وأن الجملة 'لقد بحثت في قاعدة البيانات وها هو ما وجدته' هي بحد ذاتها هلوسة، مكتملة بنتيجة ثقة مزيفة لبيعها.
رأي HAQQ: البحث هو الهلوسة
هذا هو السبب في أننا نؤسس إجابات HAQQ على الاسترجاع الحقيقي بدلاً من مطالبة نموذج باستدعاء القانون من الذاكرة. ليس لأن النماذج غبية، هذا النموذج رفض كل إشارة مرجعية مستحيلة وحدد رقم قانون الذكاء الاصطناعي بدقة. لكن النموذج الذي يطلب منه أن يكون المصدر سيقوم في النهاية بإجراء الاسترجاع الذي لم يقم به. الحل الوحيد هو جعل الاسترجاع حقيقيًا: سحب الوثيقة الفعلية من فهرس فعلي، ثم التحقق من أن الإشارة المرجعية تحل إلى الحالة التي سماها النموذج، وليس مجرد حالة.
سؤال المشتري ينبع من هذا. لا تسأل بائع الذكاء الاصطناعي القانوني عما إذا كانوا يهذون، فالجميع يقول لا. اسأل: عندما تعرض لي إشارة مرجعية، هل استرجعت تلك الوثيقة بالضبط، وهل تتحقق من أن اسم القضية يتطابق مع الإشارة؟ عدم تطابق الاسم/المرجع هو الدليل. الأداة التي تتحقق فقط مما إذا كانت الاقتباسات مشكلة بشكل جيد ستسمح بمرور 32024R0900 مباشرة.
النقاط الرئيسية
- نموذج حدودي معاير جيدًا لن يختلق اقتباسات من العدم، لقد رفض 4 من أصل 4 مراجع مستحيلة.
- ستختلق عملية الاسترجاع نفسها بناءً على استعلامات معقولة، بما في ذلك درجة ملاءمة مزيفة واقتباس حقيقي يشير إلى القانون الخطأ.
- ال هلوسة الخطيرة هي تلك التي تجتاز التحقق، كل رابط يعمل، لكن المعنى فقط هو الخطأ.
- أسّس الذكاء الاصطناعي القانوني على الاسترجاع الحقيقي ومطابقة الاقتباسات، واحكم على الموردين بناءً على ما إذا كانوا يتحققون مما يقوله الاقتباس الذي يدعونه، وليس فقط من وجوده.
