कानूनी AI हार्नेस में Jev: निर्णय के 8 पैटर्न, और वह सीमा जो हमने मापी

प्रस्ताव, और हमने इसे गंभीरता से क्यों लिया

आजकल यह तर्क चल रहा है कि अधिकांश AI एजेंट अपना सबसे महँगा संसाधन ऐसे निर्णयों पर खर्च करते हैं जिनके लिए कभी एक वाक्य की भी ज़रूरत नहीं थी। किसी अनुरोध को सही मॉडल तक भेजना एक निर्णय है। यह तय करना कि कोई टूल कॉल सुरक्षित है या नहीं, एक निर्णय है। प्राप्त किए गए पचास दस्तावेज़ों को क्रम देना पचास निर्णय हैं। इनमें से कोई भी ऐसा गद्य नहीं बनाता जिसे कोई पढ़े, फिर भी ये सभी ऐसे मॉडल को सौंपे जाते हैं जो प्रति शब्द बिल करता है और अनुच्छेदों में उत्तर देता है।

सितंबर 2026 में TypeSafe AI ने इसी तर्क पर आधारित एक मॉडल जारी किया। Jev को वे System One मॉडल कहते हैं, और इसकी परिभाषित विशेषता यह है कि यह कोई टेक्स्ट उत्पन्न ही नहीं करता। आप स्थिति (state) का एक खंड और टाइप किए गए प्रश्नों का एक सेट POST करते हैं, और बदले में आपको कैलिब्रेट की गई संभावनाएँ मिलती हैं, जिनका मूल्यांकन एक ही समानांतर राउंड ट्रिप में होता है।

तीन मूल घटक (primitives) हैं और चौथा कोई नहीं। noul एक हाँ या ना वाला प्रश्न है जो 0 और 1 के बीच एक संभावना लौटाता है, और वही संभावना स्वयं विश्वास का स्तर है: 0.5 का अर्थ सिक्का उछालना है, मध्यम तीव्रता नहीं। choice आपकी परिभाषित सूची में से एक विकल्प चुनता है, और वह भौतिक रूप से ऐसा विकल्प नहीं लौटा सकता जिसे आपने घोषित नहीं किया। score इनपुट को एक क्रमबद्ध पैमाने पर रखता है जिसका वर्णन आप शब्दों में करते हैं, और संभावना से भारित औसत लौटाता है, इसलिए दो स्तरों के बीच 70/30 का विभाजन 1 या 2 के बजाय 1.30 के रूप में लौटता है।

बस इतनी ही इसकी पूरी सतह है। यह सारांश नहीं बना सकता, पुनर्लेखन नहीं कर सकता, मसौदा नहीं लिख सकता, कोई अंश नहीं निकाल सकता और कुछ खोज नहीं सकता। इसके पास न कोई ज्ञान-आधार है, न पुनर्प्राप्ति (retrieval)। यह उन्हीं प्रश्नों का उत्तर देता है जिनका उत्तर-क्षेत्र आपने घोषित किया हो, उस स्थिति के बारे में जो आपने इसे सौंपी हो।

वह हिस्सा जो आसानी से छूट जाता है

स्वाभाविक प्रवृत्ति इसे सस्ते और तेज़ क्लासिफ़ायर की श्रेणी में डाल देने की होती है। इससे वास्तविक बदलाव का महत्व कम आँका जाता है, और वह बदलाव कीमत में नहीं, बल्कि क्रम में है।

एक भाषा मॉडल एक बार में एक टोकन लिखता है, इसलिए टोकन नौ तब तक अस्तित्व में नहीं आ सकता जब तक टोकन आठ न आ जाए। उससे किसी अनुबंध के बारे में चार असंबंधित प्रश्न पूछिए, तो वे चार स्वतंत्र निर्णय एक के पीछे एक कतार में लगते हैं, और एक ढेर के रूप में लौटते हैं जिसे आपको पार्स करना, सत्यापित करना और आकार गलत होने पर दोबारा चलाना पड़ता है। Jev इस कतार को मिटा देता है। आप उत्तर-क्षेत्र पहले से घोषित करते हैं और हर प्रश्न एक साथ उसी स्थिति पर हल होता है। टेक्स्ट एक रेखा है जिस पर आपको चलना पड़ता है। उत्तर-क्षेत्र एक कमरा है जिसे आप एक नज़र में देख लेते हैं।

विफलता के प्रकार वाली पंक्ति ही कानून में मायने रखती है, और इस पर स्पष्ट बात करना ज़रूरी है। जो आश्वासन दिया जा रहा है वह यह है कि आपको कभी भी अपनी स्कीमा से बाहर का मान नहीं मिलेगा। यह इस बात का आश्वासन नहीं है कि मान सही है।

स्कीमा के अनुरूप गलती गलत क्लाइंट को उतनी ही तेज़ी से रिफ़ंड कर देती है जितनी तेज़ी से गलत आकार वाली गलती।

एक कानूनी AI कंपनी के लिए इन सबमें दिलचस्प शब्द कैलिब्रेटेड है। ऐसी संख्या जिस पर आप कोड में शाखा ले सकें, उस अनुच्छेद से बिल्कुल अलग चीज़ है जिसे किसी वकील को पढ़कर उस पर भरोसा करना पड़े। हमने अपनी ऑर्केस्ट्रेशन लेयर वाली पोस्ट में लिखा था कि कानूनी AI का वह हिस्सा, जो तय करता है कि उद्धरण टिकते हैं या नहीं, बाहर से दिखाई नहीं देता। यह उस अदृश्य हिस्से के कुछ भाग को भरने का एक उम्मीदवार है।

इसलिए हमने इसे अपने पूरे ढांचे पर चलाया। नीचे दिया गया हर माप हमारा अपना है, हमारे अपने कॉर्पस पर, और जो माप बुरे निकले वे भी यहाँ शामिल हैं।

हमने क्या मापा, और इसकी लागत कितनी रही

दस सतहें, तेरह बंद टिकट, कुल खर्च $0.20 से कम। यह मितव्ययिता की शेखी नहीं है। यही वह कारण है जिससे यह प्रयोग करने लायक था: प्रति निर्णय एक सेंट के अंश की लागत पर आप नमूना लेने के बजाय हर घटना की जाँच कर सकते हैं, और एक शून्य परिणाम स्थापित करने में लगभग कुछ खर्च नहीं होता।

विलंबता (latency), हमारे अपने ट्रैफ़िक पर एक खुले रखे गए वार्म कनेक्शन के साथ मापी गई: 40 कॉल में माध्यिका पर 292ms, p90 पर 374ms, p95 पर 395ms। केवल सर्वर-साइड गणना 112ms है। हमारे अपने पहले माप ने 700ms बताया था, और हम एक सप्ताह तक आंतरिक रूप से वही संख्या दोहराते रहे, फिर ध्यान गया कि वह गलत थी। हमने कभी कनेक्शन का पुन: उपयोग नहीं किया था, इसलिए हर कॉल एक नए हैंडशेक की कीमत चुका रही थी। वही API, वही मॉडल संस्करण, गलत चीज़ का सावधानीपूर्ण माप। यह एक छोटी शर्मिंदगी है और उपयोगी भी, क्योंकि ठीक इसी तरह की त्रुटि एक महीने बाद किसी बेंचमार्क को दोहराने योग्य नहीं रहने देती।

आठ पैटर्न, और हमने वास्तव में किनका परीक्षण किया

इनमें से सात एक डेवलपर की पैटर्न सूची के रूप में प्रचलित हुए। आठवाँ हमारा है, और कानूनी काम के लिए वही सबसे अधिक मायने रखता है।

• मॉडल रूटिंग। कार्य की जटिलता का अनुमान लगाइए, आसान काम छोटे मॉडल को और कठिन काम फ़्रंटियर मॉडल को भेजिए।
• टूल-कॉल जोखिम गेट। एजेंट के किसी टूल को चलाने से पहले, टूल, उसके आर्ग्युमेंट और वर्तमान कार्य को एक साथ अंक दीजिए, और अनुमति, रोक या मानव अनुमोदन लौटाइए।
• आशय और क्षेत्र का वर्गीकरण। मुख्य एजेंट के तर्क शुरू करने से पहले अनुरोध को आशयों के एक निश्चित सेट में वर्गीकृत कीजिए। कानून में ये क्षेत्राधिकार, प्रैक्टिस क्षेत्र और अपेक्षित परिणाम (deliverable) होते हैं।
• लूप निर्णय। एजेंट के हर चरण के बाद अनुमान लगाइए कि क्या एक और चरण उपयोगी होने की संभावना है।
• पुनर्प्राप्ति का पुनःक्रमण (reranking)। प्राप्त हर अंश को क्वेरी के सापेक्ष अंक दीजिए और केवल सबसे अधिक अंक वाले अंशों को संदर्भ में भेजिए।
• सुरक्षा कवच और नीति जाँच। पूरी तर्कपूर्ण प्रतिक्रिया उत्पन्न करने के बजाय सुरक्षा और अनुपालन जाँच को तेज़ वर्गीकरण के रूप में चलाइए।
• मनुष्य तक एस्केलेशन। अनुमान लगाइए कि कोई स्वचालित निर्णय लागू करने योग्य रूप से विश्वसनीय है या नहीं।
• शब्दशः संदर्भ संक्षेपण (verbatim compaction)। लंबे एजेंट ट्रेस के हर चरण को इस आधार पर अंक दीजिए कि वह अब भी उद्देश्य से जुड़ा है या नहीं, निरर्थक चरण हटाइए, और बचे हुए चरणों को शब्दशः रखिए।

अब तक हमने इनमें से छह को अपने डेटा पर मापा है। तीन काम करते हैं, जिनमें से एक आज प्रोडक्शन में है। तीन काम नहीं करते। नीचे विफलताओं को अधिक जगह दी गई है, क्योंकि वे अधिक शिक्षाप्रद हैं और क्योंकि कोई और उन्हें प्रकाशित नहीं कर रहा।

आसपास के परिदृश्य पर एक टिप्पणी: इसी तकनीक पर बने कुछ गिने-चुने टूल कानूनी उद्धरण जाँच के लिए पहले से मौजूद हैं, सभी पिछले दो सप्ताह में जारी हुए। वे परिचालन उत्पादों के बजाय शुरुआती प्रयोग हैं, और उनमें से कोई भी सटीकता का आँकड़ा प्रकाशित नहीं करता। हम जिस कमी को भर रहे हैं, वह यह नहीं कि किसी को यह विचार नहीं आया। कमी यह है कि किसी ने यह प्रकाशित नहीं किया कि इसकी जाँच करने पर क्या होता है।

जहाँ यह काम करता है: पुनर्प्राप्ति का पुनःक्रमण

हमारे MENA विधि कॉर्पस में 17,004 अनुच्छेद हैं। इस पर पुनर्प्राप्ति मुख्यतः शाब्दिक (lexical) है, जिसका अर्थ है कि एक ही दायित्व के लिए अलग-अलग शब्दों का प्रयोग करने वाली क्वेरी और अनुच्छेद एक-दूसरे से पूरी तरह चूक सकते हैं। यह किसी भी भाषा में कानूनी खोज की सामान्य विफलता है, और अरबी में यह अधिक गंभीर है, जहाँ रूप-विज्ञान क्वेरी के शब्द और उसके मेल के बीच अधिक दूरी पैदा करता है।

हमने परीक्षण के लिए अलग रखी गई 80 क्वेरी लीं, उन्हें मौजूदा पुनर्प्राप्ति से चलाया, फिर हर उम्मीदवार के लिए एक प्रश्न पूछकर उम्मीदवारों का पुनःक्रमण किया: क्या यह अनुच्छेद इस प्रश्न का उत्तर देता है?

माध्य व्युत्क्रम रैंक (mean reciprocal rank) 0.719 से बढ़कर 0.869 हो गई। हाथ से जाँचे गए दस में से दस मामलों में सहमति रही, जिनमें दो ऐसे थे जहाँ मॉडल ने सही ढंग से किसी को भी ऊपर लाने से मना किया क्योंकि कोई मान्य उम्मीदवार मौजूद नहीं था। कुल लागत: $0.0245।

एक और सावधानी। हमारे अरबी और अंग्रेज़ी अनुच्छेद क्षेत्राधिकार के अनुसार बँटे हुए हैं, हर अरबी अनुच्छेद मिस्र का है और हर अंग्रेज़ी अनुच्छेद संयुक्त अरब अमीरात का, इसलिए यह रन भाषा के बारे में कोई भी दावा समर्थित नहीं करता।

यह इसलिए काम करता है क्योंकि प्रश्न का एक सही उत्तर है। क्या यह अनुच्छेद इस प्रश्न का उत्तर देता है, यह अनुच्छेद और प्रश्न से तय होता है, और दोनों मॉडल के सामने मौजूद हैं।

जहाँ यह काम करता है: उन उत्तरों को पकड़ना जो उत्तर हैं ही नहीं

Jev अपनाने से पहले हम बेंचमार्क उत्तरों को एक ऐसे भाषा मॉडल से ग्रेड करवाते थे जो निर्णायक की भूमिका में था। वह निर्णायक एक विशिष्ट और हानिकारक ढंग से उदार था। उसने अपने द्वारा जाँचे गए 56% उत्तरों को पूरे 10.0 अंक दिए, और एक मॉडल के लिए 90% उत्तर चारों आयामों पर त्रुटिहीन लौटे। जिस ग्रेडर की कोई ऊपरी सीमा न हो, वह अपनी सीमा के शीर्ष पर कुछ भी नहीं माप रहा होता।

Jev ने 0% उत्तरों को 9.9 या उससे अधिक अंक दिए। इससे भी उपयोगी बात यह कि उसने सेट में मौजूद सभी पाँच अधूरी API त्रुटियों को 0.96 और 0.97 के बीच की संभावनाओं पर पकड़ लिया। पिछले निर्णायक ने उन्हीं पाँचों को 10 में से 1 अंक दिया था और उन्हें मॉडल क्षमता स्कोर के औसत में जोड़ दिया था, जिसका अर्थ था कि हम 10% की इन्फ्रास्ट्रक्चर विफलता दर को कानूनी अक्षमता के रूप में रिपोर्ट कर रहे थे। उन्हें बाहर करने से एक मॉडल 5.80 से 7.67 पर पहुँच गया।

हमारे बेंचमार्क के लिए मॉडल का सबसे मूल्यवान योगदान गुणवत्ता का आकलन नहीं था। वह यह पहचानना था कि कोई स्ट्रिंग उत्तर है ही नहीं।

जहाँ यह काम करता है, प्रोडक्शन में: वह अनुपालन गेट जिसे regex देख नहीं पाता था

यह लाइव है, और इसने कुछ शर्मनाक पकड़कर अपनी जगह अर्जित की।

हम हर सार्वजनिक सामग्री को जारी होने से पहले एक प्रीफ़्लाइट गेट से गुज़ारते हैं, जो उसे हमारे अपने संदेश-नियमों के सापेक्ष जाँचता है। उनमें से कुछ नियम लाल रेखाएँ हैं: हम यह नहीं कहते कि हम वकीलों की जगह लेते हैं, और हम यह दावा नहीं करते कि हमारा AI हैलुसिनेशन से मुक्त है, क्योंकि दोनों में से कोई भी बात सच नहीं है और दोनों उस तरह के दावे हैं जिन्हें नियामक बारीकी से पढ़ता है।

दोनों नियमों के शाब्दिक उल्लंघन वाला एक फ़्रेंच मसौदा उस गेट से exit 0 पर, शून्य निष्कर्षों के साथ पार हो गया। regex पैटर्न केवल अंग्रेज़ी में थे। ‘हम वकीलों की जगह लेते हैं’ का फ़्रेंच रूप और ‘हमारे AI में कोई हैलुसिनेशन नहीं है’ का फ़्रेंच रूप सीधे उस जाँच से निकल गए जो उनके अंग्रेज़ी समकक्षों को तुरंत रोक देती।

एक सिमैंटिक जाँच ने दोनों को निर्णायक रूप से पकड़ा: निहित दावे पर 0.90, वकीलों की जगह लेने वाली लाल रेखा पर 0.95, और नियामक इसे कैसे पढ़ेगा इस पर 0.83। प्रति मसौदा लागत: लगभग $0.00005, एक ही समानांतर अनुरोध में आठ टाइप किए गए प्रश्नों के लिए।

जिस परिणाम की हमें अपेक्षा नहीं थी, वह यह है कि regex और सिमैंटिक जाँच अनावश्यक दोहराव के बजाय एक-दूसरे के पूरक निकले। हम यह मानकर चले थे कि एक दूसरे को हटा देगा, और 35 वास्तविक मसौदों पर मापा तो पाया कि हर वह regex नियम जिसका सिमैंटिक समकक्ष था, उसी जोखिम की एक भिन्न शब्दावली पकड़ रहा था। regex शाब्दिक शब्दों को पकड़ता है। सिमैंटिक जाँच भावानुवाद (paraphrase) को पकड़ती है। हमारे अपने टिकट ने अनुमान लगाया था कि हम कुछ हटा सकेंगे, और डेटा ने कहा नहीं।

जहाँ यह उलट गया: यह पूछना कि कोई उद्धरण आधारित है या नहीं

अब वह विफलता जिसने हमारी सोच को नए सिरे से व्यवस्थित किया।

हमने Jev से 150 वास्तविक कानूनी उत्तरों की आधारशीलता (groundedness) पर अंक देने को कहा, जो तीन फ़्रंटियर मॉडलों ने 50 MENA और UK प्रॉम्प्ट पर तैयार किए थे। यहाँ आधारशीलता का अर्थ है: क्या दावे समर्थित हैं, क्या उद्धरण वास्तविक हैं और सही ढंग से प्रयुक्त हैं। कानूनी AI में यह सबसे महत्वपूर्ण प्रश्न है, और यही वह प्रश्न है जिसे लगातार पूछते रहने के लिए हमारा अपना हैलुसिनेशन ऑडिट मौजूद है।

गढ़े हुए उद्धरणों वाले उत्तरों को 3.21 अंक मिले। ईमानदार उत्तरों को 2.79 अंक मिले। संयुक्त स्कोर और मनुष्यों द्वारा समीक्षित सटीकता लेबलों के बीच सहसंबंध r = +0.02 था, यानी कुछ भी नहीं।

यह जाँच गढ़ंत को पकड़ने में केवल विफल नहीं हुई। इसने उसे पुरस्कृत किया।

एक बार कारण समझ में आ जाए, तो उसे भुलाया नहीं जा सकता। Royal Decree M/13 का अनुच्छेद 5bis सटीक, विशिष्ट और आधिकारिक लगता है। उसका अस्तित्व नहीं है। केवल टेक्स्ट के आधार पर आधारशीलता आँकने को कहे गए मॉडल के पास तुलना के लिए कुछ नहीं होता, इसलिए वह उन विशेषताओं पर निर्भर हो जाता है जो आमतौर पर आधारित लेखन के साथ होती हैं: विशिष्टता, उद्धरणों का घनत्व, आत्मविश्वासी संरचना। गढ़ंत ये तीनों पैदा करती है। विशिष्टता ही गढ़ंत का चेहरा है, इसलिए जो भी मूल्यांकन-मानदंड विशिष्टता को पुरस्कृत करता है, वह गढ़ंत को पुरस्कृत करता है।

अब एक चीज़ बदलिए। मॉडल को दावे के साथ स्रोत अंश भी दीजिए और पूछिए कि क्या यह अंश इस प्रस्थापना का समर्थन करता है। हमारे अपने कॉर्पस से 180 जोड़ियों के एक अलग, दोहराने योग्य रन पर, होस्ट किए गए मॉडल ने 0.9962 का AUC प्राप्त किया और शून्य झूठी चेतावनी दर पर 94.4% गलत आरोपणों (misattributions) को पकड़ा।

वही मॉडल। अमूर्त रूप में वही कार्य। विपरीत परिणाम, क्योंकि एक संस्करण उसके सामने रखी दो चीज़ों की तुलना है और दूसरा एक ज्ञान-खोज है जिसे वह कर ही नहीं सकता।

एक और सावधानी, क्योंकि यह जीत से अधिक मायने रखती है। उसी 180 जोड़ियों वाले सेट पर `grep` के साथ एक साधारण समाहित-होने (containment) की जाँच AUC 0.9944 प्राप्त करती है और 98.9% पकड़ती है। वे जोड़ियाँ शब्दशः समाहित होने पर बनी थीं, और `grep` ठीक इसी काम के लिए है। 0.9962 को ऊपरी सीमा के बजाय न्यूनतम स्तर मानिए, और भावानुवाद के स्तर की आधारशीलता को, जहाँ एक टाइप्ड क्लासिफ़ायर को वास्तव में अपनी उपयोगिता साबित करनी चाहिए, उस रन द्वारा अपरीक्षित मानिए।

पुनर्प्राप्ति सत्यापन चरण के नीचे छिपा कोई कार्यान्वयन विवरण नहीं है। पुनर्प्राप्ति ही वह चीज़ है जो सत्यापन को संभव बनाती है।

जहाँ यह एक स्टेप काउंटर से हार गया: लूप नियंत्रण

इसका परीक्षण हमने विशेष रूप से इस पोस्ट के लिए किया, और यह टिक नहीं पाया।

पैटर्न कहता है: एजेंट के हर चरण के बाद पूछिए कि क्या एक और चरण उपयोगी होने की संभावना है, और उत्तर नहीं होने पर रुक जाइए। हमने यह परीक्षण अपने 52 पूर्ण एजेंट ट्रैजेक्टरी से बनाया, जिनमें 1,750 लेबल किए गए चरण थे। हर चरण के लिए वास्तविक आधार (ground truth) यह था कि क्या अगले चरण ने सचमुच ऐसी जानकारी सामने लाई जो ट्रैजेक्टरी में पहले से कहीं मौजूद न हो, और इसकी गणना एक ऐसे नियम से की गई जिसे हमने हाथ से जाँचा और जो 25 में से 24 बार सही निकला।

हमने $0.54 चुकाए ताकि हम एक सेट-अंतर से गणना की गई विशेषता को भी न हरा सकें।

इसके नीचे की दो बातें शीर्षक से अधिक मूल्यवान हैं। पहली यह कि ठहराव का अर्थ समाप्ति नहीं है। निःशुल्क नियम ‘लगातार दो ऐसे चरणों के बाद रुक जाओ जिन्होंने कुछ नया नहीं लौटाया’, जब अपने ही आधार पर एक ऑरेकल के रूप में चलाया गया, तो उसने जिन 31 ट्रैजेक्टरी को रोका उनमें से 30 को नुकसान पहुँचाया। एजेंट उपयोगी काम के बीच में अक्सर शांत हो जाते हैं।

दूसरी बात पूरे परिणाम की व्याख्या करती है। पंक्तियों को इस आधार पर बाँटिए कि अगले चरण ने किस तरह का टूल इस्तेमाल किया, और तस्वीर पूरी तरह बदल जाती है: जब अगला चरण कोई फ़ाइल लिखता या संपादित करता है तब 0.742, जब वह पढ़ता या खोजता है तब 0.695, और शेल कमांड पर 0.597, यानी लगभग संयोग के बराबर, जहाँ हमारी 59% पंक्तियाँ हैं।

यह कभी इसका अनुमान नहीं लगा रहा था कि एजेंट ने पर्याप्त सीख लिया है या नहीं। यह अनुमान लगा रहा था कि अगली लौटने वाली चीज़ लिखने की पावती होगी या आउटपुट का एक पूरा पन्ना। यह अगली घटना के आकार के बारे में निर्णय है, एजेंट के ज्ञान की स्थिति के बारे में नहीं।

इसका दायरा ईमानदारी से तय करें: हमारा कॉर्पस कोडिंग और शोध एजेंटों का है, कानूनी तर्क-लूप का नहीं, और बचत की ऊपरी सीमा शुरू से ही कम थी, क्योंकि एक पूर्ण ट्रांसक्रिप्ट परिभाषा से ही ऐसा होता है जो लगभग तभी रुका जब जानकारी आनी बंद हुई। दोनों तथ्य इसकी सामान्यीकरण क्षमता को सीमित करते हैं। कोई भी इस पैटर्न को बचाता नहीं।

जहाँ यह एक रेगुलर एक्सप्रेशन से हार गया: टूल-कॉल जोखिम गेट

हमने जिस अंतिम पैटर्न का परीक्षण किया, और सबसे असहज भी, क्योंकि हम चाहते थे कि यह काम करे।

हम ऐसा इन्फ्रास्ट्रक्चर चलाते हैं जिसे ऑफ़लाइन नहीं होना चाहिए। इसकी रक्षा करने वाला नियम फ़िलहाल एक कॉन्फ़िगरेशन फ़ाइल में है जिसे एजेंट से पढ़ने और मानने की अपेक्षा है। जो नियम पढ़े जाने पर निर्भर हो, वह नियंत्रण नहीं है। जो गेट कॉल पर सक्रिय होता है, वह नियंत्रण है।

इसलिए हमने अपने 766 ट्रांसक्रिप्ट से 19,922 वास्तविक टूल कॉल को लेबल किया, उनमें से 284 को अंक दिए, और एक टाइप्ड क्लासिफ़ायर की तुलना उस प्रतिबंध-सूची (deny-list) से की जिसे आप वास्तव में हाथ से लिखते।

हमने अपेक्षा रखी थी कि हर विनाशकारी कॉल पकड़ी जाए। क्लासिफ़ायर 89.1% तक पहुँचा, जो दोनों प्रतिबंध-सूचियों से नीचे है। जिस वर्ग के लिए यह परीक्षण बना था, उसमें regex जीतता है।

इसके भीतर एक वास्तविक जीत भी छिपी है। इस सीमित प्रश्न पर कि क्या कोई विशिष्ट कॉल किसी लाइव होस्ट को ऑफ़लाइन कर सकती है, एक समर्पित हाँ-या-ना प्रश्न ने 3.4% झूठी चेतावनी दर पर 22 में से 21 पकड़ीं, जबकि हाथ से लिखी दो प्रतिबंध-सूचियों में से अधिक मज़बूत सूची ने 22 में से 8 पकड़ीं। दोनों को मिला दीजिए तो बच निकलने वाली जोखिम भरी कॉल की दर आधी हो जाती है। प्रति हज़ार कॉल ग्यारह सेंट पर, लागत वह चीज़ नहीं है जो आपको रोकती है। फिर भी इससे निकली सिफ़ारिश यही है कि regex को लागू करें और क्लासिफ़ायर को दूसरी राय के रूप में रखें, कभी गेट के रूप में नहीं।

पूरे कार्यक्रम का सबसे साफ़ परिणाम इसी परीक्षण के भीतर है, और यह इस बारे में है कि आप कैसे पूछते हैं, न कि क्या पूछते हैं। वही मॉडल, वही पंक्तियाँ, वही दोपहर। ठोस प्रश्न, क्या यह कॉल इन विशिष्ट लाइव होस्ट में से किसी को ऑफ़लाइन कर सकती है, ने 3.4% झूठी चेतावनी दर पर 95.5% रिकॉल प्राप्त किया। अमूर्त प्रश्न, क्या यह कार्रवाई अपरिवर्तनीय है, को तुलनीय रिकॉल तक पहुँचने के लिए कहीं ढीली सीमा की ज़रूरत पड़ी और वहाँ पहुँचते-पहुँचते झूठी चेतावनी दर 34.6% तक चली गई।

हमने यह पहले भी सीखा था और इसे एक सूत्र के रूप में लिख रखा था: अमूर्त श्रेणी नहीं, ठोस परीक्षण का नाम लीजिए। यह पहली बार है कि हमारे पास यह किस्से के बजाय एक नियंत्रित तुलना के रूप में है, और अंतर के आकार ने हमें चौंका दिया।

उस परीक्षण से एक और बात, उसकी सीमाओं के साथ। हमने क्लासिफ़ायर को उन कॉल को स्वीकृत करने के लिए मनाने की कोशिश की जिन्हें उसने रोक दिया था, इसके लिए 384 जोड़ीदार कॉल में हाथ से लिखे आठ इंजेक्शन पेलोड का उपयोग किया गया, जो कमांड, विवरण और कार्य-संदर्भ में रखे गए थे। कोई भी पेलोड किसी रोकी गई कॉल को विश्वसनीय रूप से अनुमत में नहीं बदल सका। यह एक वास्तविक परिणाम है, और छोटा भी: परीक्षण बनाने वाले उसी व्यक्ति द्वारा लिखे गए आठ पेलोड कोई रेड टीम नहीं हैं, और प्रतिबंध-सूची इससे संयोग से नहीं बल्कि अपनी बनावट से ही सुरक्षित है। TypeSafe का अपना दस्तावेज़ीकरण मॉडल की सीमाओं में यह गिनाता है कि स्थिति को शत्रुतापूर्ण नहीं माना जाता, और एक सुरक्षा गेट के लिए यह सीमा सीधे उसी इनपुट पर पड़ती है जिसे हमलावर नियंत्रित करता है।

आठवाँ पैटर्न, और यह कानूनी पैटर्न क्यों है

ऊपर का सब कुछ सामान्य एजेंट इंजीनियरिंग से लिया गया है। यह वाला हमारा है, और यह एक ऐसी बाधा से निकलता है जो वास्तव में केवल कानून में चुभती है।

लंबे एजेंट रन अपने संदर्भ से अधिक हो जाते हैं, और मानक उपाय यह है कि एक भाषा मॉडल अब तक के ट्रेस का सारांश बना दे। अधिकांश सॉफ़्टवेयर के लिए यह ठीक है। कानूनी काम के लिए यह एक चुपचाप होने वाली आपदा है, क्योंकि किसी क़ानून का सारांश एक नया दस्तावेज़ है। उसमें नए शब्द होते हैं। वे शब्द किसी विधायिका ने नहीं, एक मॉडल ने लिखे हैं, और आगे का हर चरण अब क़ानून के बजाय उस भावानुवाद के बारे में तर्क करता है।

विकल्प है भावानुवाद किए बिना संक्षेपण। ट्रेस के हर चरण को इस आधार पर अंक दीजिए कि वह अब भी वर्तमान उद्देश्य से जुड़ा है या नहीं, जो नहीं जुड़े उन्हें हटाइए, और बचे हुए चरणों को शब्दशः रखिए। कुछ भी दोबारा नहीं लिखा जाता। संदर्भ इसलिए छोटा होता है क्योंकि चीज़ें हटाई गईं, इसलिए नहीं कि उन्हें दूसरे शब्दों में कहा गया।

किसी क़ानून का सारांश एक नया दस्तावेज़ है। क़ानूनों की फ़िल्टर की गई सूची फिर भी वही क़ानून है।

यही वह पैटर्न है जिसमें हमारी सबसे अधिक रुचि है और यही वह है जिसे हमने अभी तक मापा नहीं है, इसलिए इसे परिणाम के बजाय एक डिज़ाइन दृष्टिकोण मानिए। हम इसे खुलकर इसलिए कह रहे हैं क्योंकि यह उस प्रकार की समस्या है जिसके लिए एक निर्णय मॉडल असाधारण रूप से उपयुक्त है, और क्योंकि हमने किसी और को संक्षेपण को लागत अनुकूलन के बजाय शुद्धता की आवश्यकता के रूप में प्रस्तुत करते नहीं देखा।

कानूनी काम की दो बातें जिनके बारे में कोई आपको चेतावनी नहीं देता

यह स्कैन किया गया दस्तावेज़ नहीं देख सकता। Jev टेक्स्ट लेता है। वास्तविक कानूनी दस्तावेज़ों का एक बहुत बड़ा हिस्सा, विशेष रूप से MENA क्षेत्र में, कागज़ की तस्वीरों के रूप में आता है। इसका अर्थ है कि इसके आगे की पाइपलाइन ही वह सारा काम करती है जो तय करता है कि इसे उचित इनपुट मिलेगा या नहीं, और इसका बताया गया हर विश्वास स्तर एक ऐसे OCR चरण पर निर्भर है जिसके बारे में इसे कुछ पता नहीं। दृष्टि-सक्षम आधार मॉडलों पर चलने वाले इसी आर्किटेक्चर के खुले पुनर्कार्यान्वयन मौजूद हैं, और अंततः दिशा यही होगी, लेकिन आज आपके सामने मौजूद होस्ट किया गया मॉडल देख नहीं सकता।

कानूनी संक्षिप्ताक्षर इसे ऐसे ढंग से उलझा देते हैं जो बग जैसा लगता है, पर है नहीं। हमने इससे एक अनुरोध का वर्गीकरण करने को कहा जिसमें Arabic MSA की समीक्षा करके उसमें रेडलाइन बदलाव करने थे। कानूनी होने का स्कोर 0.30 आया, जो एक स्पष्ट रूप से कानूनी अनुरोध के लिए विफलता जैसा दिखता है। वाक्यांश को अलग कीजिए और तस्वीर साफ़ हो जाती है: अकेले MSA को 0.97, Master Services Agreement को 0.98, अरबी में लिखे MSA को 0.96 मिलता है, और Arabic MSA गिरकर 0.30 पर आ जाता है। MSA से ठीक पहले Arabic शब्द रखने से संक्षिप्ताक्षर Master Services Agreement से बदलकर Modern Standard Arabic हो जाता है।

मॉडल सही है। वाक्यांश वास्तव में अस्पष्ट है, और किसी मानव पाठक के लिए भी अस्पष्ट होगा। लेकिन MENA का कानूनी काम ठीक यही संरचना लगातार पैदा करता है, इसलिए दस्तावेज़ के लेबल पर रूटिंग करने वाली हर पाइपलाइन इससे टकराएगी, और बेंचमार्क में यह मॉडल की विफलता जैसा दिखेगा जबकि यह इनपुट की अस्पष्टता से उपजा प्रभाव है। यदि आप कानूनी टेक्स्ट पर किसी क्लासिफ़ायर का मूल्यांकन कर रहे हैं, तो यह निष्कर्ष निकालने से पहले कि मॉडल आपके क्षेत्राधिकार को नहीं सँभाल सकता, किसी अस्पष्ट संक्षिप्ताक्षर की जाँच कर लीजिए।

विकल्पों के मुकाबले: तीन भाषाओं में अनुबंध समीक्षा

ऊपर का सब कुछ इस बारे में है कि Jev किसी हार्नेस के भीतर कहाँ फ़िट होता है। अगला स्वाभाविक प्रश्न यह है कि सीधी अनुबंध समीक्षा में, उन मॉडलों के मुकाबले जिन्हें आप अन्यथा इस्तेमाल करते, यह कैसा प्रदर्शन करता है। लॉन्च के एक सप्ताह बाद Eigenwelt Labs ने ठीक यही परीक्षण प्रकाशित किया, The Atticus Project के दो वकीलों द्वारा एनोटेट किए गए बेंचमार्क पर। उनके CUAD परिणाम ने Jev को तीसरे स्थान पर रखा: Gemini 3.8 Flash 0.644 AUPR पर, Laya नामक 421M-पैरामीटर वाला फ़ाइन-ट्यून किया गया मॉडल 0.620 पर, और Jev 0.553 पर। लागत में क्रम उल्टा था, उनके MAUD रन पर Jev की कीमत Gemini की लगभग छिहत्तरवाँ हिस्सा थी। उन्होंने यह भी स्पष्ट बताया कि उन्होंने किसका परीक्षण नहीं किया: केवल अंग्रेज़ी SEC अनुबंध, अन्य भाषाओं या क्षेत्राधिकारों में कुछ नहीं।

वह आख़िरी सावधानी ही हमारे लिए मायने रखती है, इसलिए हमने तुलना फिर से चलाई और वे भाषाएँ जोड़ीं जो उन्होंने छोड़ दी थीं। हमने CUAD टेस्ट स्प्लिट से दस क्लॉज़ प्रकारों में 300 क्लॉज़ निर्णय लिए, और हर अनुच्छेद का अरबी और फ़्रेंच में मशीन अनुवाद किया, जबकि क्लॉज़ वाला प्रश्न अंग्रेज़ी में ही रखा। पाँच मॉडल: Jev, Gemini 3.8 Flash, Claude Haiku 4.5, फ़्रंटियर संदर्भ के रूप में Gemini 3.1 Pro, और CUAD ट्रेनिंग स्प्लिट पर फ़ाइन-ट्यून किया गया Laya। कुल खर्च: $2.84।

स्कोर AUPR हैं, जिनमें अधिक बेहतर है, प्रति भाषा 300 निर्णयों पर, जिनमें से 27% सकारात्मक हैं। लागतें अंग्रेज़ी के लिए हैं। Jev का आँकड़ा सूची मूल्य को मापे गए टोकन से गुणा करके निकाला गया है, क्योंकि इसका API बिल की गई राशि नहीं लौटाता। बाकी आँकड़े वे हैं जो प्रदाता ने बिल किए।

हमारे नमूने पर क्रम पलट जाता है, और Jev तीनों भाषाओं में पहले स्थान पर आता है। इसकी दिशा से पहले इसका आकार देखिए। Gemini Flash पर बढ़त अंग्रेज़ी में +0.025 और फ़्रेंच में +0.022 है, जो दोनों पेयर्ड बूटस्ट्रैप को पार करती हैं, और अरबी में +0.013, जो पार नहीं करती। फ़्रंटियर मॉडल ने Flash से बेहतर स्कोर नहीं किया और उसकी लागत सात गुना रही।

हम नहीं मानते कि हमने किसी का खंडन किया है, और इसका कारण डिज़ाइन में है। हमारा नमूना अपनी बनावट से 27% सकारात्मक है। अपनी स्वाभाविक दर पर CUAD 1% से कम है, और Eigenwelt ने उसे इसी तरह 41 क्लॉज़ प्रकारों पर चलाया, जबकि हमारे 10 थे। हमारे अधिकांश नकारात्मक उदाहरण किसी अनुच्छेद से पूछा गया गलत क्लॉज़ प्रकार हैं, किसी लंबे अनुबंध में कहीं दबे हुए लगभग-सही मामले नहीं। AUPR व्यापकता (prevalence) के साथ बहुत बदलता है, इसलिए हमारी और उनकी निरपेक्ष संख्याओं को साथ-साथ नहीं रखा जा सकता। दोनों रन जिस बात पर सहमत हैं वह लागत है: दोनों Jev को प्रति CUAD निर्णय Gemini Flash से 36 से 54 गुना सस्ता बताते हैं।

गति का स्वरूप भी वैसा ही है। Jev ने एक अनुच्छेद के बारे में तीनों प्रश्नों का उत्तर एक ही अनुरोध में, 333ms की माध्यिका पर दिया। हर भाषा मॉडल को प्रति प्रश्न एक अलग कॉल की ज़रूरत पड़ी, हर कॉल 0.9 से 2.6 सेकंड की।

बहुभाषी परिणाम ही वह था जिसके लिए हम आए थे। किसी क्लॉज़ को अंग्रेज़ी से अरबी या फ़्रेंच में ले जाने से किसी भी API मॉडल का स्कोर 0.011 से अधिक नहीं बदला, और इनमें से हर अंतर अपने विश्वास अंतराल के भीतर है। सावधानी ठीक उतनी ही बड़ी है जितना निष्कर्ष। ये अमेरिकी अनुबंधों के मशीन अनुवाद हैं, रियाद या पेरिस में तैयार किए गए अनुबंध नहीं, और प्रश्न अंग्रेज़ी में ही रहा। इससे यह दिखता है कि मॉडल अनूदित कानूनी अरबी पढ़ सकते हैं। इससे अभी यह नहीं दिखता कि वे दुबई में तैयार किया गया किरायेदारी अनुबंध पढ़ सकते हैं।

भाषा का असर छोटे मॉडल पर पड़ता है। Laya का अंग्रेज़ी चेकपॉइंट 93% अरबी टेक्स्ट को बाइट के टुकड़ों में तोड़ देता है, और उसका अरबी स्कोर गिरकर 0.293 पर आ गया, जो 27% सकारात्मक दर पर संयोग के बराबर है। अंग्रेज़ी अनुबंधों पर फ़ाइन-ट्यूनिंग से वहाँ कुछ नहीं बदला। हमारी ओर की एक सीमा: हमने भारी मेमोरी दबाव में एक अकेले Apple M3 Pro पर फ़ाइन-ट्यूनिंग की और Laya की 28 परतों में से केवल ऊपरी 4 को ही प्रशिक्षित कर सके। हमारा फ़ाइन-ट्यून Eigenwelt के फ़ाइन-ट्यून से कहीं कमज़ोर है, और हमारी संख्या उनकी संख्या के विरुद्ध कुछ नहीं कहती।

क्लॉज़ वर्गीकरण उसी नियम में फ़िट होता है जिस पर इस पोस्ट का बाकी हिस्सा पहुँचा। कोई अनुच्छेद लागू क़ानून (governing law) का क्लॉज़ है या नहीं, यह अनुच्छेद और परिभाषा से तय होता है, और दोनों मॉडल के सामने हैं। यह उसी प्रकार का निर्णय है जिसमें Jev हर उस जगह खरा उतरा जहाँ हमने उसका परीक्षण किया। एक समीक्षा तालिका में हज़ारों सेल होते हैं, और उस मात्रा पर लागत के छत्तीसवें हिस्से पर सटीकता में छोटी बढ़त ही वह संख्या है जिसके आधार पर हम योजना बनाते।

इन सबसे निकला नियम

छह सतहें, तीन जीत, तीन हार। हार में दिखने वाला पैटर्न ही वह चीज़ है जिसे साथ ले जाना चाहिए।

पुनःक्रमण इसलिए काम करता है क्योंकि ‘क्या यह अनुच्छेद इस प्रश्न का उत्तर देता है’ का एक उत्तर है जिसे अनुच्छेद और प्रश्न मिलकर तय करते हैं। उद्धरण की आधारशीलता तब काम करती है जब आप स्रोत सौंपते हैं और तब उलट जाती है जब आप नहीं सौंपते, क्योंकि स्रोत के बिना प्रश्न एक ज्ञान-खोज बन जाता है। लूप नियंत्रण इसलिए विफल होता है क्योंकि ‘क्या इस एजेंट ने पर्याप्त सीख लिया है’ ट्रैजेक्टरी की किसी भी चीज़ से तय नहीं होता। आंतरिक लिंक सुझाव, जिसका हमने भी परीक्षण किया, उसी तरह विफल हुआ: यह पूछे जाने पर कि क्या किसी पाठक के पास एक पेज से दूसरे पर क्लिक करने का वास्तविक कारण होगा, मनुष्यों द्वारा चुने गए 761 लिंक पर स्कोर वास्तविक लिंक के लिए 0.582 और उन जोड़ियों के लिए 0.537 आए जिन्हें किसी संपादक ने कभी नहीं जोड़ा था, यानी 0.045 का अंतर, और हाथ से जाँचने वाले 20 में से 12 पर सहमत थे।

किसी निर्णय पर कुछ बनाने से पहले पूछिए कि उसका वास्तविक आधार क्या है। यदि ईमानदार उत्तर किसी संपादक की पसंद है, तो लगभग 0.05 के अंतर की अपेक्षा कीजिए और किसी मनुष्य को शामिल करने की योजना बनाइए।

यह वही सीमा है जिसे हमारी अपनी नकली उद्धरण जाँच ने दूसरी दिशा से पाया था, और यही कारण है कि हम टूल्स को इस आधार पर आँकते हैं कि क्या वे जाँचते हैं कि कोई उद्धरण वही कहता है जो वे दावा करते हैं, केवल यह नहीं कि उसका अस्तित्व है।

कानूनी AI का मूल्यांकन करने वाले को हम क्या बताएँगे

चार बातें, जिनमें से केवल एक विशेष रूप से इस मॉडल के बारे में है।

पूछिए कि जाँच किस चीज़ से जुड़ी है। ‘हमारा AI उद्धरणों का सत्यापन करता है’ कोई आर्किटेक्चर नहीं है। यह सत्यापित करना कि कोई मामला (case) मौजूद है, एक डेटाबेस खोज है। यह सत्यापित करना कि मामला वही कहता है जो उत्तर दावा करता है, एक तुलना है, और इसके लिए निर्णय के क्षण में स्रोत अंश हाथ में होना चाहिए। जो उत्पाद पहला काम करते हैं और उसे दूसरे के रूप में बताते हैं, वे अपवाद नहीं बल्कि सामान्य नियम हैं।

सफलता दर नहीं, विफलता दर माँगिए। इस श्रेणी का हर टूल ऐसी संख्या प्रकाशित करता है जो उसकी छवि बेहतर दिखाए। बहुत कम टूल यह प्रकाशित करते हैं कि उन्होंने क्या मापा और कहाँ हारे। हमारी अपनी ईमानदारी की भी सीमाएँ हैं जिन्हें बताना ज़रूरी है: उस टूल-कॉल कॉर्पस को लेबल करने का पहला स्वचालित प्रयास उसके सबसे महत्वपूर्ण वर्ग पर 86% गलत था, सभी गलतियाँ एक ही दिशा में, और यह हमने चतुराई से नहीं बल्कि हाथ से जाँच करके पता लगाया।

पूछिए कि बेंचमार्क को किसके सापेक्ष अंक दिए गए। यह बात लगभग सभी को पकड़ लेती है। किसी बेंचमार्क को वास्तविक आधार के सापेक्ष अंक दिए जा सकते हैं, या किसी फ़्रंटियर भाषा मॉडल से सहमति के सापेक्ष। दूसरा तरीका कहीं सस्ता और कहीं कमज़ोर है, क्योंकि GPT से सहमत होने में GPT की गलतियों से सहमत होना भी शामिल है। जब कोई विक्रेता सटीकता की रिपोर्ट करता है, तो प्रश्न यह नहीं कि संख्या कितनी ऊँची है। प्रश्न यह है कि संख्या की तुलना किससे की गई।

ऐसी संख्या से सावधान रहिए जो मापी नहीं, केवल घोषित की गई हो। TypeSafe का अपना लॉन्च चार्ट 0% हैलुसिनेशन दर दिखाता है, और उसके नीचे का फ़ुटनोट उनके अपने शब्दों में कहता है कि यह संख्या अनुभवजन्य नहीं है और बनावट के कारण जोड़ी गई है, क्योंकि स्कीमा का मिलान देखा नहीं जाता बल्कि लागू किया जाता है। वे इसे प्रकट करते हैं। चार्ट के ऊपर का शीर्षक नहीं करता। नीचे का दावा सच है और सीमित है: आपको कभी अपनी स्कीमा से बाहर का मान नहीं मिलेगा। यह दावा नहीं है कि मान सही है। एक स्वतंत्र विश्लेषक ने लॉन्च के एक सप्ताह बाद यह बात उठाई थी, और यह उचित बात है।

हमारे लिए वास्तव में क्या बदला

लागत नहीं। भाषा मॉडल की कॉल को टाइप की गई कॉल से बदलने से कुछ पैसे बचते हैं, और पैसे कभी समस्या नहीं थे।

बदलाव यह है कि जो निर्णय सिस्टम पहले से चुपचाप ले रहा था, उस पर अब एक संख्या है। अनुबंध समीक्षा 0.91 बनाम मुकदमेबाज़ी 0.09 एक ऐसा रूट है जिसे आप स्वचालित कर सकते हैं और लॉग कर सकते हैं। 0.52 बनाम 0.46 लेबल पहने हुए सिक्के की उछाल है, और वह किसी मनुष्य के पास जाता है। एक भाषा मॉडल दोनों मामलों में एक आत्मविश्वासी वाक्य में एक जैसा उत्तर देता, और दोनों स्थितियों में भेद करने का कोई तरीका न होता।

ऐसे उत्पाद के लिए जहाँ गलत होना ही पूरा जोखिम क्षेत्र है, यह किसी विक्रेता के चार्ट पर दिखाई गई किसी भी गति-गुणक से अधिक मूल्यवान है।

वह आदत जिसे हम बनाए रखेंगे, भले ही हम कभी दूसरा अनुरोध न भेजें: अपने एजेंट को खंगालिए और हर उस कॉल को खोजिए जो केवल कुछ चुनती है। अगला कौन सा टूल। क्या यह स्पैम है। क्या यह अंश प्रासंगिक है। क्या इसके लिए किसी मनुष्य की ज़रूरत है। क्या यह diff जोखिम भरा है। इनमें से कोई भी लेखन का कार्य नहीं है। ये if-स्टेटमेंट हैं जिन्हें किसी ने एक फ़्रंटियर मॉडल को आउटसोर्स कर दिया, और इनमें से अधिकांश को उसकी ज़रूरत नहीं है।

मुख्य निष्कर्ष

• टेक्स्ट उत्पन्न न करने वाला मॉडल किसी कानूनी हार्नेस के लिए एक वास्तविक टूल है, उन विशिष्ट जगहों पर जहाँ निर्णय उन चीज़ों के बीच तुलना है जिन्हें आप उसके सामने रख सकते हैं।
• केवल टेक्स्ट के आधार पर आधारशीलता आँकने को कहे जाने पर, इसने गढ़े हुए उद्धरणों को ईमानदार उद्धरणों से अधिक अंक दिए, 2.79 के मुकाबले 3.21, और वास्तविक सटीकता से सहसंबंध r = +0.02 रहा। पुनर्प्राप्ति ही सत्यापन को संभव बनाती है, वह उसके नीचे का कोई कार्यान्वयन विवरण नहीं है।
• यह हमारे अनुपालन गेट पर प्रोडक्शन में चल रहा है, जहाँ इसने एक फ़्रेंच मसौदे में लाल रेखा के उल्लंघन पकड़े जिन्हें हमारे केवल-अंग्रेज़ी regex ने exit 0 पर पास कर दिया था। हमारे अपने अनुमान के विपरीत, regex और सिमैंटिक जाँचें अनावश्यक दोहराव नहीं, बल्कि एक-दूसरे की पूरक निकलीं।
• हमारे 17,004 अनुच्छेदों वाले विधि कॉर्पस के पुनःक्रमण ने तीन सेंट से कम में रैंक 1 पर रिकॉल को 0.638 से 0.850 तक पहुँचाया।
• लूप नियंत्रण पेयर्ड परीक्षण में एक निःशुल्क स्टेप काउंटर को नहीं हरा सका, और अगली कार्रवाई के प्रकार को नियंत्रित करते ही इसकी दिखने वाली क्षमता लगभग संयोग के स्तर तक गिर गई।
• एक टूल-कॉल जोखिम गेट ने 89.1% विनाशकारी कॉल पकड़ीं, जबकि हाथ से लिखी प्रतिबंध-सूची ने 99.2% पकड़ीं। हम regex को लागू कर रहे हैं।
• विशेष रूप से कानूनी काम के लिए: यह स्कैन किया गया दस्तावेज़ नहीं पढ़ सकता, और Arabic MSA को Master Services Agreement के बजाय Modern Standard Arabic के रूप में पढ़ा जाता है, जिससे कानूनी होने का स्कोर 0.97 से गिरकर 0.30 हो जाता है।
• संक्षेपण को हटाना चाहिए, दोबारा लिखना नहीं। किसी क़ानून का सारांश एक नया दस्तावेज़ है।
• अंग्रेज़ी, अरबी और फ़्रेंच में 300 CUAD क्लॉज़ निर्णयों पर Jev 0.929 से 0.933 AUPR के साथ पहले स्थान पर रहा, Gemini 3.8 Flash से 0.013 से 0.025 आगे, लागत के छत्तीसवें हिस्से पर। यह Eigenwelt के प्रकाशित क्रम को उलट देता है। हमारा आसान नमूना इसका सबसे संभावित कारण है, जिसका हमने परीक्षण नहीं किया है।
• अनुबंधों का अरबी या फ़्रेंच में अनुवाद करने से किसी भी API मॉडल का स्कोर 0.011 से अधिक नहीं बदला। केवल अंग्रेज़ी वाला एक छोटा मॉडल अरबी पर संयोग के स्तर तक गिर गया।
• किसी निर्णय पर कुछ बनाने से पहले पूछिए कि उसका वास्तविक आधार क्या है। वास्तविक आधार नहीं, तो टूल नहीं।

स्रोत और आगे पढ़ने के लिए

• TypeSafe AI: Jev दस्तावेज़ीकरण और प्रकाशित सीमाएँ
• Novel Cognition: आश्वासन, ‘हैलुसिनेट नहीं कर सकता’ आकार को कवर करता है, सत्य को नहीं
• Eigenwelt Labs: MAUD और CUAD पर Jev की बेंचमार्किंग
• The Atticus Project: CUAD, Contract Understanding Atticus Dataset
• कानूनी AI कैसे एक उद्धरण गढ़ता है
• कानूनी AI हैलुसिनेशन ऑडिट
• कानूनी AI की ऑर्केस्ट्रेशन लेयर
• कानूनी AI बेंचमार्क 2026