संक्षेप में: हमने Claude Opus 5.5, Opus 5 और Fable 5.1 को वकीलों के स्तर के दस प्रॉम्प्ट पर परखा और Anthropic से बाहर के दो मूल्यांकनकर्ताओं से 120 ब्लाइंड निर्णय एकत्र किए। तीनों मॉडल एक-दूसरे से चार निर्णयों के भीतर रहे, और परिणाम कोई रैंकिंग नहीं बल्कि एक चक्र बनाते हैं। स्पष्ट अंतर केवल कीमत में दिखा: प्रति उत्तर Opus 5.5 की लागत Fable 5.1 की आधी रही। जो हिस्से गलत हुए, उन्हें भी हम प्रकाशित कर रहे हैं, क्योंकि उनमें से एक ने हमें लगभग एक झूठा परिणाम थमा दिया था।
हर कोई वही तीन आँकड़े दोहरा रहा है
Anthropic के मौजूदा मॉडलों की तुलना खोजिए, तो आपको ऐसे लेखों से भरा एक पेज मिलेगा जो एक-दूसरे से सहमत हैं। अधिकांश कार्यों में Opus 5.5, Fable 5.1 के बराबर है। यह कहीं सस्ता है। यह तेज़ है।
ये आँकड़े सही हैं, और हमने मीडिया कवरेज पर भरोसा करने के बजाय इन्हें मूल स्रोत पर जाँचा। Anthropic का अपना पेज बताता है कि इनपुट और आउटपुट टोकन “$4 and $20 per million, 20% less than Opus 5” हैं, और यह कि “Opus 5.5 also generates output more than 30% faster than Opus 5”। Fable 5.1 के $10 और $50 की तुलना में यह प्रति टोकन 60% कम है।
जो काम लगभग किसी ने नहीं किया, वह है इन मॉडलों को स्वतंत्र रूप से आमने-सामने परखना। कवरेज वास्तविक रिपोर्टिंग है, लेकिन वह एक विक्रेता के स्व-मूल्यांकन पर रिपोर्टिंग है।
जिस एक स्वतंत्र कानूनी बेंचमार्क को हम मूल स्रोत पर सत्यापित कर पाए, वह मोटे तौर पर विक्रेता से सहमत है। Vals AI का Legal Research Bench, Opus 5.5 को 50.48% पर रखता है, यानी 68 मॉडलों में चौथे स्थान पर। यह अच्छा परिणाम है, पर यह कानूनी शोध के बारे में है, जो केवल एक कार्य है। इससे किसी इन-हाउस वकील को यह पता नहीं चलता कि यह मॉडल उस मॉडल से बेहतर earn-out क्लॉज़ का मसौदा तैयार करता है या नहीं, जिसकी कीमत दोगुनी है।
हमने यह उत्तर खोजा और नहीं मिला, इसलिए हमने यह परीक्षण स्वयं किया।
जो हमने प्रकाशित नहीं किया, उसके बारे में एक टिप्पणी। एक कानूनी एजेंट बेंचमार्क पर Opus 5.5 से जुड़े दो व्यापक रूप से दोहराए गए आँकड़े प्राथमिक स्रोत की जाँच में टिक नहीं पाए: बेंचमार्क के अपने परिणाम पेज पर यह मॉडल सूचीबद्ध ही नहीं है, और विक्रेता के पेज पर वह स्कोर नहीं है जो इसके नाम किया गया है। हमने दोनों को छोड़ दिया है। यदि आप ये आँकड़े कहीं और उद्धृत देखें, तो पूछिए कि वे कहाँ से आए।
हमने क्या परखा
दस प्रॉम्प्ट, जिन्हें परीक्षा के प्रश्नों की तरह नहीं, बल्कि ऐसे कार्यों के रूप में लिखा गया था जिन्हें कोई प्रैक्टिस करने वाला वकील पहचान लेगा:
- किसी SaaS अनुबंध में दायित्व सीमा (liability cap) की रेडलाइनिंग
- प्रतिस्पर्धा-निषेध (non-compete) की प्रवर्तनीयता पर एक IRAC मेमो
- व्यक्तिगत क्षेत्राधिकार (personal jurisdiction) पर उद्धरणों से भरपूर शोध
- UAE से फ़्रांस को सीमा-पार डेटा अंतरण पर एक विधिक राय
- earn-out क्लॉज़ का मसौदा तैयार करना
- किसी legal-tech उत्पाद के लिए EU AI Act के तहत प्रारंभिक आकलन
- मध्यस्थता (arbitration) बनाम मुकदमेबाज़ी (litigation) पर एक रणनीति मेमो
- acqui-hire की ड्यू डिलिजेंस में चेतावनी संकेत
- प्रतिकूल निर्णय की सूचना देने वाला मुवक्किल को पत्र
- DIFC बनाम UAE मुख्य भूभाग (onshore) में रोज़गार ग्रेच्युटी
इनमें से दो MENA क्षेत्र के मामले हैं, क्योंकि हमारा अपना उत्पाद इसी कानून के लिए बना है और क्योंकि यहीं प्रशिक्षण डेटा कम है।
प्रत्येक मॉडल ने सभी दस प्रॉम्प्ट के उत्तर दिए। फिर प्रत्येक उत्तर का हर दूसरे उत्तर से एक ब्लाइंड युग्मित (pairwise) तुलना में मुकाबला हुआ, जिसका स्कोर Anthropic से बाहर के दो मूल्यांकनकर्ताओं ने दिया: GPT-5.5 और Gemini 3.1 Pro। प्रत्येक मूल्यांकनकर्ता ने हर जोड़ी को दो बार देखा, हर क्रम में एक बार, जिससे भाषा मॉडल की वह सुप्रलेखित प्रवृत्ति निष्प्रभावी हो जाती है जिसमें वह पहले पढ़े गए उत्तर को तरजीह देता है। तीन जोड़ियाँ, दस प्रॉम्प्ट, दो मूल्यांकनकर्ता, दो क्रम। 120 निर्णय।
मूल्यांकनकर्ताओं ने 1 से 10 के पैमाने पर चार आयामों को अंक दिए: सटीकता, पूर्णता, व्यावहारिकता और मसौदा लेखन की गुणवत्ता। उन्हें बताया गया था कि विस्तार गुणवत्ता नहीं है, और उन्हें उसी तरह आँकना है जैसे कोई पार्टनर किसी एसोसिएट के काम की समीक्षा करता है।
दो सेटिंग्स जितनी दिखती हैं, उससे अधिक महत्वपूर्ण हैं। हमने तीनों मॉडलों पर reasoning effort को high पर स्थिर रखा, ताकि तुलना तीन अलग-अलग विक्रेता डिफ़ॉल्ट के बजाय एक निश्चित सेटिंग पर क्षमता को मापे। और हमने temperature को पूरी तरह छोड़ दिया, क्योंकि Fable 5.1 OpenRouter के माध्यम से यह पैरामीटर स्वीकार नहीं करता। इसे सेट करने से दोनों Opus मॉडलों को ऐसी नियतता (determinism) मिल जाती जो Fable को नहीं मिल सकती थी।
पूरे रन की लागत $15.26 रही। इस लेख में सभी मॉडल कीमतें OpenRouter की सूची कीमतें हैं, जिन्हें 23 सितंबर 2026 को API से पढ़ा गया, और प्रति उत्तर सभी लागतें उन टोकनों से गणना की गई हैं जो हमारे रन में वास्तव में खर्च हुए।
परिणाम कोई रैंकिंग नहीं बनाता
तीन सीधे मुकाबले, प्रत्येक में 40 ब्लाइंड निर्णय
वकीलों के स्तर के दस प्रॉम्प्ट, Anthropic से बाहर के दो मूल्यांकनकर्ता, प्रस्तुति के दोनों क्रम। बराबरी अलग दिखाई गई है।
Opus 5.5 बनाम Opus 5
Opus 5.5 बनाम Fable 5.1
Opus 5 बनाम Fable 5.1
किसी एक पंक्ति के बजाय पैटर्न को पढ़िए। Opus 5.5, Fable 5.1 को हराता है, Fable 5.1, Opus 5 को हराता है, और Opus 5, Opus 5.5 को हराता है। तीनों मॉडलों का कोई भी क्रम तीनों परिणामों के अनुरूप नहीं है।
Opus 5.5, Fable 5.1 को हराता है। Fable 5.1, Opus 5 को हराता है। Opus 5, Opus 5.5 को हराता है।
यह एक चक्र है, लीडरबोर्ड नहीं। इन तीन मॉडलों का ऐसा कोई क्रम नहीं है जो तीनों परिणामों के अनुरूप हो, और यह इस बात का सबसे स्पष्ट संभव संकेत है कि अंतर माप की सटीकता से छोटे हैं।
दूसरी दिशा से देखें तो भी यही बात सामने आती है। प्रत्येक मॉडल दो जोड़ियों में आता है, इसलिए प्रत्येक के हिस्से 80 निर्णय हैं।
जीते गए निर्णय, प्रति मॉडल 80 में से
हर मॉडल का सभी दस प्रॉम्प्ट पर बाकी दोनों से मुकाबला हुआ, इसलिए 240 मूल्यांकनों में से प्रत्येक के हिस्से 80 हैं।
चार निर्णयों का अंतर। इस कार्य-समूह पर, इस नमूना आकार पर, तीनों मॉडल गुणवत्ता में परस्पर विनिमेय हैं।
हम शीर्षक दूसरे तरीके से भी लिख सकते थे। “कानूनी काम में Opus 5.5, Fable 5.1 को हराता है” सच है, हमारे अपने आँकड़े यही कहते हैं, और यह इस लेख से कहीं अधिक दूर तक फैलता। लेकिन यह चालीस में से तीन निर्णयों का अंतर होता, जिसे निष्कर्ष के रूप में पेश किया जाता। हमें नहीं लगता कि यह दोबारा चलाए गए परीक्षण में टिकेगा, और हम सार्वजनिक रूप से पता चलने के बजाय इसे स्वयं कहना पसंद करेंगे।
चार निर्णयों के अंतर का वास्तविक अर्थ
बेंचमार्क उस प्रश्न का उत्तर देता है जिसे पूछने का खर्च आप उठा सकते हैं, उस प्रश्न का नहीं जो आप पूछना चाहते थे। high reasoning effort पर $15 में दस प्रॉम्प्ट ही आते हैं। यह बड़े अंतर को पकड़ने के लिए पर्याप्त है और छोटे अंतर को सुलझाने के लिए अपर्याप्त, और हमें जो मिला वह छोटा अंतर है।
ईमानदार निष्कर्ष यह है कि इस कार्य-समूह पर, इस नमूना आकार पर, ये तीनों मॉडल गुणवत्ता में परस्पर विनिमेय हैं। इस आकार के बेंचमार्क से इनका आत्मविश्वास भरा क्रम प्रकाशित करने वाला कोई भी व्यक्ति दशमलव बिंदु लगे शोर (noise) की रिपोर्ट कर रहा है।
35 के मुकाबले 39 पर रहने वाला मॉडल हारा नहीं है। 85 के मुकाबले 15 से जीतने वाला मॉडल जीता है।
यह बेंचमार्क की आलोचना नहीं है। यह उन्हें रैंक के बजाय प्रभाव के आकार (effect size) के आधार पर पढ़ने का तर्क है।
मूल्यांकनकर्ता असहमत थे, और यही बात निर्णायक है
हमने जानबूझकर दो मूल्यांकनकर्ता रखे, ताकि कोई भी अकेले परिणाम तय न कर सके। वे सहमत नहीं हुए, और उनकी असहमति यादृच्छिक नहीं, व्यवस्थित है।
| मूल्यांकनकर्ता | Opus 5.5 | Opus 5 | Fable 5.1 | बराबरी | किसे पुरस्कृत करता है |
|---|---|---|---|---|---|
| GPT-5.5 | 21 | 16 | 23 | 0 | सावधानी, साफ़ प्राधिकार |
| Gemini 3.1 Pro | 14 | 23 | 13 | 10 | व्यापकता, पूर्णता |
GPT-5.5 ने Fable 5.1 को पहले स्थान पर रखा और एक बार भी बराबरी नहीं दी। Gemini 3.1 Pro ने बड़े अंतर से Opus 5 को पहले स्थान पर रखा और दस बार बराबरी दी।
उनके तर्क पढ़िए और कारण स्पष्ट हो जाता है। GPT-5.5 सावधानी, साफ़ प्राधिकारों (authorities) और सौंपे गए कार्य की सीमा में रहने को पुरस्कृत करता है। Gemini 3.1 Pro व्यापकता को पुरस्कृत करता है, और उसने लगातार उस लंबे उत्तर को तरजीह दी जिसमें अधिक दायित्वों का विवरण था और अधिक आकस्मिकताओं की ओर ध्यान दिलाया गया था।
दोनों में से कोई गलत नहीं है। ये अच्छे एसोसिएट-स्तर के काम के बारे में दो तर्कसंगत दृष्टिकोण हैं, और ये उन्हीं उत्तरों पर अलग-अलग विजेता देते हैं। यदि आप इस लेख से एक बात याद रखें, तो यह रखें: जब कोई बेंचमार्क एक ही स्कोर बताए, तो पूछिए कि मूल्यांकनकर्ता कौन था और वह किसे पुरस्कृत करता है, क्योंकि यह चुनाव जितना दिखता है उससे कहीं अधिक प्रभाव डालता है।
एक परिणाम दोनों मूल्यांकनकर्ताओं के साथ कायम रहता है। Opus 5.5 दोनों में से प्रत्येक के यहाँ दूसरे स्थान पर है, इसलिए कोई भी मूल्यांकनकर्ता इसे अंतिम स्थान पर नहीं रखता।
जहाँ स्कोर अलग होते हैं
युग्मित निर्णय करीब हैं। आयाम-वार स्कोर अधिक कुछ बताते हैं, क्योंकि वे दिखाते हैं कि मॉडल अलग-अलग दिशाओं में चूकते हैं।
आयाम-वार औसत मूल्यांकन स्कोर, 1 से 10
उन सभी निर्णयों का औसत जिनमें संबंधित मॉडल शामिल था। बार 0 से 10 के पूरे पैमाने पर दिखाए गए हैं।
सटीकता
पूर्णता
व्यावहारिकता
मसौदा लेखन
बार एक जैसे दिखते हैं क्योंकि वे एक जैसे हैं: तीन मॉडलों और चार आयामों में कुल अंतर 1.26 अंक है। लंबाई नहीं, लेबल पढ़िए। यह समतलता ही निष्कर्ष है, प्रदर्शन की कोई समस्या नहीं।
सटीकता में शीर्ष पर बराबरी है। Opus 5.5 और Fable 5.1 दोनों का औसत 8.55 है। Opus 5, 8.18 के साथ दोनों से नीचे है।
पूर्णता में क्रम उलट जाता है। Opus 5, 9.44 के साथ आगे है, Fable 5.1, 9.22 के साथ उसके बाद है, और Opus 5.5, 8.93 के साथ पीछे है।
यह उलटफेर इस रन की सबसे उपयोगी बात है। Opus 5 ने इस समूह के सबसे लंबे और सबसे विस्तृत उत्तर लिखे और पूर्णता तथा व्यावहारिकता में सबसे अधिक अंक पाए, जबकि सटीकता में सबसे कम। Opus 5.5 ने छोटे उत्तर लिखे, जिन्हें मूल्यांकनकर्ताओं ने अधिक सटीक माना। Fable 5.1 दोनों में शीर्ष के सबसे करीब रहा।
बहुत से कामों में पूर्णता ही वह चीज़ है जो आप चाहते हैं। कानूनी काम में इन दोनों आयामों के बीच प्राथमिकता एक ऐसा चुनाव है जो आपको किसी लीडरबोर्ड से विरासत में लेने के बजाय सोच-समझकर करना चाहिए, क्योंकि जो उत्तर अधिक विषय समेटता है और कम सटीक है, वह मुवक्किल को भेजने के लिए स्वतः अधिक उपयुक्त उत्तर नहीं है।
HAQQ AI को मुफ्त में आज़माएँ
AI-संचालित कानूनी मसौदा और अनुसंधान का अनुभव करें
वह पहलू जिसमें मुकाबला करीबी नहीं है
प्रति उत्तर लागत, वास्तविक टोकनों पर मापी गई
high reasoning effort पर प्रति मॉडल दस कानूनी प्रॉम्प्ट, 23 सितंबर 2026 की OpenRouter सूची कीमतों पर बिल किए गए।
Reasoning टोकन आउटपुट के रूप में बिल होते हैं। तीनों में Opus 5.5 ने सबसे अधिक सोचा, प्रति उत्तर 10,031 reasoning टोकन, जबकि Fable 5.1 के 6,953, और फिर भी यह सबसे सस्ता रहा।
सूची कीमत के बजाय वास्तविक टोकनों पर मापें, तो Opus 5.5 ने इन दस प्रॉम्प्ट के उत्तर $0.3647 प्रति उत्तर पर दिए। Opus 5 की लागत $0.4362 रही। Fable 5.1 की लागत $0.7249 रही, जो Opus 5.5 की लगभग दोगुनी है, ऐसे गुणवत्ता अंतर के लिए जिसे हमारे अपने आँकड़े सुलझा नहीं सकते।
गति ने भी उसी दिशा में संकेत दिया। Opus 5.5 ने प्रति उत्तर औसतन 184 सेकंड लिए, Fable 5.1 ने 193 और Opus 5 ने 238।
सोचने के लिए प्रत्येक मॉडल कितना शुल्क लेता है, यह अपने आप में एक अनुच्छेद का हकदार है, क्योंकि इसने हमें चौंकाया। Opus 5.5 सबसे सस्ता मॉडल था और वही सबसे लंबे समय तक सोचने वाला भी। Fable 5.1 ने तीनों में सबसे छोटे दृश्य उत्तर लिखे और फिर भी सबसे महँगा रहा, क्योंकि इसकी सूची कीमत Opus 5.5 की 2.5 गुना है। प्रति टोकन सस्ता होने से Opus 5.5 को अधिक गहराई से सोचने की गुंजाइश मिली और फिर भी बिल में यह आगे रहा।
बेंचमार्क ने हमें लगभग भ्रमित कर दिया था
यह वह हिस्सा है जिसे अधिकांश बेंचमार्क रिपोर्टें छोड़ देती हैं, और यही वह हिस्सा है जिसे हम स्वयं सबसे अधिक पढ़ना चाहेंगे।
हमारे पहले चरण में हर उत्तर की सीमा 32,000 टोकन रखी गई थी। इस संख्या के लिए हमारे पास प्रमाण था: उसी प्रॉम्प्ट समूह के एक पिछले रन ने दिखाया था कि 32k पर कोई उत्तर कटता नहीं, और सबसे लंबा उत्तर 11,000 टोकन से कम था।
वह प्रमाण इस स्थिति पर लागू नहीं हुआ, और इसका कारण एक जानने योग्य बारीकी है। Reasoning टोकन आउटपुट के रूप में बिल होते हैं और उत्तर के ही टोकन बजट में गिने जाते हैं। reasoning effort को high पर स्थिर करने से प्रति उत्तर लगभग 8,000 reasoning टोकन जुड़ गए, और जो बजट पहले आरामदायक था, वह तंग हो गया।
earn-out मसौदे वाले प्रॉम्प्ट पर दोनों Opus मॉडल सीमा तक पहुँच गए और उत्तर के बीच में ही कट गए। Fable 5.1 ने सामान्य रूप से उत्तर पूरा किया। यानी उस प्रॉम्प्ट पर हम तीन मॉडलों की तुलना नहीं कर रहे थे। हम एक मॉडल की तुलना ऐसे दो मॉडलों से कर रहे थे जिनके अंत काट दिए गए थे, और इससे निकले निर्णय सीधे परीक्षण में शामिल उन्हीं मॉडलों के विरुद्ध गए।
64,000 टोकन पर दोबारा चलाने पर Opus 5.5 ने उस एक प्रॉम्प्ट पर 51,358 टोकन उपयोग किए। 32k की सीमा उसके उत्तर को लगभग आधा काट रही थी।
पहली विफलता के पीछे एक दूसरी विफलता थी। हमने मूल्यांकन के बीच में एक रन रोक दिया था, और वह कटे हुए उत्तरों के आधार पर गणना किए गए निर्णयों को पहले ही कैश में सहेज चुका था। वे कैश किए गए निर्णय उत्तरों के दोबारा जनरेट होने के बाद भी बने रहे, क्योंकि कटा हुआ उत्तर कोई त्रुटि नहीं है और कैश को वह पूरा दिखा। हमें प्रभावित प्रॉम्प्ट के हर निर्णय को खोजकर हटाना और फिर से जनरेट करना पड़ा।
इसका असर पड़ा। आठ प्रॉम्प्ट के साफ़ लेकिन अधूरे उपसमूह पर Fable 5.1, Opus 5.5 से आगे था। सुधारे गए दोनों प्रॉम्प्ट वापस जोड़ने पर परिणाम उलट गया। एक ऐसी सीमा जिस पर भरोसा करने का हमारे पास ठोस कारण था, और एक ऐसा कैश जिसके होने को हम भूल गए थे, मिलकर एक आत्मविश्वास भरा और गलत शीर्षक पैदा कर देते।
हमने क्या बदला
- यदि कोई भी उत्तर साफ़ समाप्ति (clean stop) के अलावा किसी अन्य finish reason के साथ लौटता है, तो परीक्षण प्रणाली अब रन रोक देती है। पहले वह एक चेतावनी दिखाकर आगे बढ़ जाती थी। लॉग में दर्ज चेतावनी कोई रोक नहीं है।
- कटे हुए सेल को अब कैश किया हुआ नहीं माना जाता। पुरानेपन की जाँच केवल error फ़ील्ड की मौजूदगी नहीं, बल्कि finish reason को भी परखती है, क्योंकि कट जाना कोई त्रुटि नहीं है।
- हर सेल पूरा होते ही डिस्क पर लिखा जाता है, ताकि बाधित रन दोबारा भुगतान किए बिना फिर से शुरू हो सके, और हर निर्णय दर्ज करता है कि उसने उत्तर के किस संस्करण का मूल्यांकन किया।
हम इसका उल्लेख इसलिए करते हैं क्योंकि यह विफलता का प्रकार व्यापक रूप से लागू होता है। यदि आप reasoning मॉडलों की आपस में बेंचमार्किंग कर रहे हैं और ऐसी टोकन सीमा रखते हैं जो non-reasoning मॉडलों के लिए उचित थी, तो बहुत संभव है कि आप उस सीमा को ही माप रहे हों।
HAQQ का दृष्टिकोण
हम कानूनी AI बनाते हैं, इसलिए मॉडल के चुनाव को लेकर तटस्थ नहीं हैं, और हम स्पष्ट रूप से बताएँगे कि इस रन ने हमारे लिए क्या बदला।
हमने नियमित कानूनी मसौदा लेखन को Opus 5.5 पर स्थानांतरित कर दिया है। इसलिए नहीं कि हमारे आँकड़े इसे विजेता घोषित करते हैं, जो वे नहीं कर सकते, बल्कि इसलिए कि गुणवत्ता में यह अधिक कीमत वाले दोनों मॉडलों से अलग नहीं पहचाना जा सकता, और तेज़ चलता है। जब दो विकल्प मापने योग्य रूप से समान हों और एक की कीमत आधी हो, तो निर्णय करीबी नहीं होता, भले ही बेंचमार्क करीबी हो।
हमने Fable 5.1 को अंतिम, गुणवत्ता-आँकित चरणों के लिए रखा है, यानी ऐसे काम के लिए जिसमें कोई उत्तर कंपनी के बाहर का व्यक्ति पढ़ता है। यह एक एहतियात है, निष्कर्ष नहीं। हमारे आँकड़े इसे उचित नहीं ठहराते, और प्रॉम्प्ट का एक बड़ा समूह इसे अनावश्यक भी साबित कर सकता है।
मॉडल चुन रही किसी कानूनी टीम के लिए उपयोगी निष्कर्ष यह नहीं है कि कौन सा मॉडल जीता। निष्कर्ष यह है कि कानूनी कार्यों पर मौजूदा अग्रणी मॉडलों के बीच गुणवत्ता का अंतर अब इतना छोटा है कि कीमत, विलंबता (latency) और मॉडल किस तरह चूकता है, ये बातें इससे अधिक मायने रखती हैं कि लीडरबोर्ड पर कौन शीर्ष पर है। वह मॉडल चुनिए जिसकी चूक के तरीके को आप स्वीकार कर सकें, फिर उसे अपने स्वयं के मामलों पर परखिए, क्योंकि आपके मामले हमारे दस प्रॉम्प्ट नहीं हैं।
सीमाएँ
- दस प्रॉम्प्ट एक छोटा नमूना है। यह बड़े अंतर को पकड़ने के लिए पर्याप्त है, और इसे कोई बड़ा अंतर नहीं मिला। यहाँ हर युग्मित अंतर को अस्थायी मानिए।
- दो मूल्यांकनकर्ता, दोनों भाषा मॉडल। हमने Anthropic से बाहर के मूल्यांकनकर्ता इस्तेमाल किए और स्पष्ट पूर्वाग्रहों को नियंत्रित करने के लिए क्रम बदला, लेकिन LLM मूल्यांकनकर्ता वकील नहीं है, और हमने अन्यत्र लिखा है कि ठीक इसी तरह के कार्य पर LLM मूल्यांकनकर्ता कितनी बुरी तरह विफल हो सकते हैं।
- मूल्यांकनकर्ताओं की असहमति अनसुलझी है। हमारे दोनों मूल्यांकनकर्ताओं ने अलग-अलग विजेता दिए। हम दोनों को रिपोर्ट करते हैं, बजाय इसके कि उनका औसत निकालकर एक ऐसी संख्या बना दें जो इस विभाजन को छिपा दे।
- एक ही रन, कोई दोहराव नहीं। हमने हर प्रॉम्प्ट को कई बार नहीं चलाया, इसलिए हम मॉडल की परिवर्तनशीलता (variance) को उसकी क्षमता से अलग नहीं कर सकते।
- हमारा प्रॉम्प्ट समूह हमारा अपना है। यह वाणिज्यिक, सीमा-पार और MENA काम की ओर झुका है, क्योंकि हम इसी के लिए निर्माण करते हैं।
मुख्य निष्कर्ष
- वकीलों के स्तर के कानूनी कार्यों पर हमारे द्वारा एकत्र 240 ब्लाइंड मूल्यांकनों में Anthropic के तीन अग्रणी मॉडल एक-दूसरे से चार निर्णयों के भीतर रहे। इस नमूना आकार पर उनके बीच कोई विश्वसनीय क्रम नहीं है।
- परिणाम अ-संक्रामी (non-transitive) हैं: Opus 5.5, Fable 5.1 को हराता है, Fable 5.1, Opus 5 को हराता है, Opus 5, Opus 5.5 को हराता है। यह पैटर्न स्वयं इस बात का प्रमाण है कि अंतर माप की सटीकता से छोटे हैं।
- दो मूल्यांकनकर्ताओं ने उन्हीं उत्तरों से दो अलग-अलग विजेता दिए। जब कोई बेंचमार्क एक संख्या बताए, तो पूछिए कि उसका मूल्यांकनकर्ता किसे पुरस्कृत करता है।
- कीमत ने ही मॉडलों को स्पष्ट रूप से अलग किया। Opus 5.5 ने प्रति उत्तर Fable 5.1 की लगभग आधी लागत पर उत्तर दिए, और समूह का कोई भी मॉडल इससे तेज़ नहीं था।
- सटीकता और पूर्णता विपरीत दिशाओं में चलीं। समूह के सबसे विस्तृत मॉडल ने सटीकता में सबसे कम अंक पाए।
- यदि आप reasoning effort स्थिर करते हैं, तो अपनी टोकन सीमा दोबारा जाँचिए। Reasoning टोकन उसी बजट में गिने जाते हैं, और जो सीमा पहले सुरक्षित थी, वह बिना किसी संकेत के उत्तर काट देगी।
