संक्षेप में: विधिक सार (legal substance) पर Astra 20 में से 17.63 के साथ आगे है, और एक अंक से भी कम के अंतर से जीतता है। इस अंतर के लिए इसकी प्रति उत्तर लागत GPT-5.6 Luna Pro से 11 गुना अधिक है; Claude Opus 5 की तुलना में यह अधिक किफ़ायती विकल्प है, प्रति उत्तर 1.7 गुना सस्ता, क्योंकि यह 3.5 गुना कम लिखता है। हमने जिन भी मॉडलों का परीक्षण किया, उन सभी ने सही अनुच्छेद उद्धृत करते हुए भी सऊदी या मिस्र के कानून को गलत बताया। यही वह त्रुटि है जिसे कोई भी जाँच उपकरण नहीं पकड़ता, और यह हमारे बाज़ार में ही है।
हमने क्या परखा
20 विधिक प्रैक्टिस क्षेत्रों में 41 प्रॉम्प्ट, M&A और प्रतिभूति कानून से लेकर आप्रवासन और निर्माण तक। तीन मॉडल: GPT-6 Astra, Claude Opus 5, GPT-5.6 Luna Pro। तीनों के लिए reasoning effort मध्यम स्तर पर स्थिर रखा गया, ताकि तुलना निष्पक्ष रहे, चापलूसी भरी नहीं। नौ गुणों को अलग-अलग मापा गया, क्योंकि जो मॉडल सुंदर मसौदा लिखे और कोई क़ानूनी प्रावधान गढ़ ले, वह अच्छा विधिक मॉडल नहीं है। $66.55 का मीटर्ड इन्फ़रेंस। परीक्षण 10 सितंबर 2026 को किया गया।
HAQQ इस बेंचमार्क में शामिल नहीं है। हमने अपने ही अध्ययन में अपना उत्पाद शामिल नहीं किया। आगे जो है, वह तीन अग्रणी (frontier) मॉडल हैं, जिन्हें एक-दूसरे के सापेक्ष मापा गया है।
रैंकिंग में अंतर कम है। कीमत में नहीं।
विधिक सार (मूल्यांकित गुणवत्ता और सटीकता) पर Astra 20 में से 17.63 के साथ आगे है। समग्र स्कोर पर, जिसमें गति की रैंक भी जोड़ी जाती है, Luna Pro 35 में से 30.93 के साथ आगे है, जबकि Astra का स्कोर 30.05 और Opus 5 का 28.13 है।
दोनों बातें सच हैं, और यही मुद्दा है। जो बेंचमार्क केवल समग्र स्कोर बताता है, वह चुपचाप आपसे यह कह रहा होता है कि विलंब (latency) उतना ही मायने रखता है जितना सही होना।
कोई भी टोकन नहीं ख़रीदता
| मॉडल | प्रति दस लाख आउटपुट टोकन मूल्य | प्रति उत्तर टोकन | प्रति उत्तर लागत |
|---|---|---|---|
| GPT-6 Astra | $50 | 5,201 | $0.2622 |
| Claude Opus 5 | $25 | 18,190 | $0.4566 |
| GPT-5.6 Luna Pro | $1.20 | 16,356 | $0.0231 |
Astra प्रति टोकन Opus 5 की दर से दोगुना शुल्क लेता है, फिर भी प्रति उत्तर 1.7 गुना कम लागत आती है, क्योंकि वही बात कहने के लिए यह 3.5 गुना कम टोकन लिखता है।
नाम मात्र के लिए सस्ता मॉडल ही असल में अधिक महँगा है।
संक्षिप्तता ही मुख्य निष्कर्ष है। Astra का लाभ यह नहीं कि वह अधिक बुद्धिमान है, बल्कि यह कि वह लिखना रोक देता है।
Luna Pro की तुलना में यह सौदा टिकता नहीं: समग्र स्कोर में एक अंक से भी कम के लिए प्रति उत्तर 11 गुना लागत। बड़ी मात्रा में सामान्य विधिक प्रश्नोत्तर के लिए इसका औचित्य नहीं ठहराया जा सकता।
Reasoning का नियंत्रण लागत का साधन है, गुणवत्ता का नहीं
Astra में reasoning effort की एक सेटिंग उपलब्ध है, इसलिए हमने हर स्तर पर दस प्रॉम्प्ट चलाए। निम्न से उच्च स्तर पर जाने से लागत 1.5 गुना और विलंब 1.8 गुना बढ़ा, और मूल्यांकित गुणवत्ता में -0.17 अंक का बदलाव आया।
स्तर बढ़ाने से उत्तर थोड़े ख़राब और काफ़ी महँगे हो गए। यदि आप Astra का उपयोग करते हैं, तो effort को स्थिर रखें।
वह हिस्सा जो आपको चिंतित करना चाहिए
पाँच क्षेत्राधिकारों (jurisdictions) में छह प्रश्न, उसी भाषा में पूछे गए जिसका प्रयोग कोई स्थानीय विधि व्यवसायी करेगा। सऊदी श्रम कानून में नोटिस अवधि और UAE में परिवीक्षा (probation) की सीमाएँ, अरबी में। फ़्रांसीसी कानून में परिसीमा अवधि (limitation periods) और अनुचित शर्तों (unfair terms) का सिद्धांत। क़तर के स्थानांतरण नियम। मिस्र का डेटा कानून।
Astra: 83.3% विधिक रूप से सही। Luna Pro: 83.3%। Claude Opus 5: 83.3%। प्रत्येक मॉडल ने 6 में से 5 प्रश्नों के सही उत्तर दिए।
तीनों ने हर बार सही भाषा में उत्तर दिया। तीनों ने हर बार सही प्रावधान उद्धृत किया। फिर प्रत्येक ने एक प्रावधान की विषय-वस्तु गलत बताई: Astra और Luna Pro ने मिस्र के व्यक्तिगत डेटा संरक्षण कानून (PDPL) के तहत सीमा-पार हस्तांतरण की सहमति पर, और Claude Opus 5 ने सऊदी श्रम कानून के अनुच्छेद 75 पर, जहाँ उसने 2025 से पहले की नोटिस संबंधी शब्दावली उद्धृत की।
उद्धरण जाँचने वाला उपकरण उस उत्तर को पास कर देता है। बाज़ार का हर hallucination-detection उपकरण उस उत्तर को पास कर देता है। मुवक्किल नहीं करता।
यह किसी भाषा में प्रवाह और किसी क्षेत्राधिकार में शुद्धता के बीच का अंतर है, और न बड़ी context window इसे पाटती है, न बेहतर reasoning मॉडल।
लंबे संदर्भ की समस्या हल हो चुकी है। उसकी लागत की नहीं।
हमने एक मास्टर सर्विसेज़ एग्रीमेंट (Master Services Agreement) में चार परस्पर विरोधी खंड रखे (एक दायित्व सीमा, उसे निष्प्रभावी करने वाला एक अपवाद, एक चक्रवृद्धि मूल्य-वृद्धि खंड, और शासी कानून (governing law) खंड), उसकी लंबाई के 6%, 24%, 47% और 68% पर। सही उत्तर के लिए चारों को खोजना और सही प्राथमिकता क्रम लागू करना आवश्यक है। केवल पहला खंड खोजने से एक आत्मविश्वासपूर्ण, विशिष्ट और गलत संख्या निकलती है।
तीनों ने 25k, 100k और 200k टोकन पर सही उत्तर दिया। लेकिन 200k पर वही उत्तर पाने में Astra पर $2.01 और Luna Pro पर $0.15 लगे। समान आउटपुट के लिए 13 गुना का अंतर।
नियतता (determinism) किसी भी कीमत पर उपलब्ध नहीं है
वही प्रश्न, वही seed, पाँच बार। किसी भी मॉडल ने एक समान उत्तर दोबारा नहीं दिया। शब्द-स्तरीय समानता 0.47 से 0.78 के बीच रही। तीन में से दो मॉडल seed स्वीकार करते हैं, फिर भी दो बार एक जैसा पाठ नहीं देते।
यदि किसी अनुबंध से जुड़ा वही प्रश्न मंगलवार को अलग उत्तर देता है, तो वह सोमवार को भी कभी विश्वसनीय नहीं था। मुवक्किल से आप एकरूपता के बारे में जो भी वादा करें, उसे मॉडल के ऊपर बनाना होगा, मॉडल से ख़रीदा नहीं जा सकता।
आज चुनाव कर रही किसी फ़र्म से हम क्या कहेंगे
मामले के प्रकार के अनुसार काम बाँटें, ब्रांड के अनुसार नहीं। हमारी प्रैक्टिस-क्षेत्रवार तालिका दिखाती है कि अधिकांश क्षेत्रों में Astra आगे है और दिवाला (insolvency) तथा ESG में Opus 5 आगे है, और अंतर इतने कम हैं कि निर्णय आम तौर पर क्षमता के बजाय लागत और विलंब पर निर्भर करता है।
बड़ी मात्रा वाले विधिक प्रश्नोत्तर को गुणवत्ता में उछाल की अपेक्षा से Astra पर न ले जाएँ। लेकिन जहाँ आप Opus 5 को ऐसे लंबे उत्तरों के लिए भुगतान कर रहे हैं जिन्हें कोई नहीं पढ़ता, वहाँ इस पर विचार करें।
और आप जो भी चुनें, क्षेत्राधिकार की पुष्टि करें। तीनों ही आपको सही अनुच्छेद संख्या के साथ गलत नियम थमा देंगे, उन्हीं भाषाओं में जिनमें हमारा बाज़ार काम करता है।
सीमाएँ, स्पष्ट शब्दों में
यह निष्कर्ष योजना से कम प्रॉम्प्ट पर आधारित है, और Claude Opus 5 ने 41 में से 37 के उत्तर दिए जबकि अन्य दो ने सभी 41 के, इसलिए आधार असमान है। रैंकिंग को अस्थायी मानें और बहुभाषी परिणाम को वह निष्कर्ष मानें जिस पर कार्रवाई करना उचित है। पूरा सेट पूरा होने पर हम दोबारा मापेंगे और जो परिणाम आएगा उसे प्रकाशित करेंगे।
यह परीक्षण हमने स्वयं किया है। इसका स्वतंत्र ऑडिट नहीं हुआ है। पद्धति ऊपर दी गई है ताकि आप उसकी जाँच कर सकें।
HAQQ AI को मुफ्त में आज़माएँ
AI-संचालित कानूनी मसौदा और अनुसंधान का अनुभव करें
