Pe scurt: am testat Claude Opus 5.5, Opus 5 și Fable 5.1 pe zece prompturi de nivel profesional juridic și am colectat 120 de verdicte oarbe de la doi evaluatori din afara Anthropic. Modelele s-au încadrat la patru verdicte unul de altul, iar rezultatele formează un ciclu, nu un clasament. Prețul a fost criteriul care le-a separat clar: Opus 5.5 a costat jumătate din prețul Fable 5.1 per răspuns. Publicăm și ce a mers prost, pentru că una dintre aceste erori aproape ne-a oferit un rezultat fals.
Toată lumea citează aceleași trei cifre
Căutați o comparație a modelelor actuale ale Anthropic și veți găsi o pagină întreagă de articole care își dau dreptate unul altuia. Opus 5.5 egalează Fable 5.1 la majoritatea sarcinilor. Este mult mai ieftin. Este mai rapid.
Aceste cifre sunt corecte, iar noi le-am verificat la sursă, în loc să ne bazăm pe ce scrie presa. Pagina Anthropic precizează că tokenurile de intrare și de ieșire costă „$4 and $20 per million, 20% less than Opus 5” și că „Opus 5.5 also generates output more than 30% faster than Opus 5”. Față de $10 și $50 la Fable 5.1, înseamnă cu 60% mai puțin per token.
Ceea ce aproape nimeni nu a făcut este să pună modelele față în față în mod independent. Articolele sunt jurnalism autentic, dar relatează despre autoevaluarea unui furnizor.
Benchmarkul juridic independent pe care l-am putut verifica la sursă confirmă, în linii mari, furnizorul. Legal Research Bench de la Vals AI plasează Opus 5.5 la 50,48%, pe locul 4 din 68 de modele. Este un rezultat bun, dar este un rezultat privind cercetarea juridică, adică o singură sarcină. Nu îi spune unui jurist intern dacă modelul redactează o clauză de earn-out mai reușită decât modelul care costă de două ori mai mult.
Am căutat acest răspuns și nu l-am găsit, așa că am făcut testul noi înșine.
O notă despre ce nu am publicat. Două cifre larg răspândite despre Opus 5.5 într-un benchmark pentru agenți juridici nu au rezistat verificării la sursa primară: pagina de rezultate a benchmarkului nu listează deloc modelul, iar pagina furnizorului nu conține scorul care i se atribuie. Le-am omis pe amândouă. Dacă vedeți aceste cifre citate în altă parte, întrebați de unde provin.
Ce am testat
Zece prompturi, formulate ca sarcini pe care un avocat în exercițiu le-ar recunoaște, nu ca subiecte de examen:
- Revizuirea cu marcaje (redlining) a unui plafon de răspundere dintr-un contract SaaS
- Un memoriu IRAC privind caracterul executoriu al clauzelor de neconcurență
- Cercetare bogată în citări privind competența personală (personal jurisdiction)
- O opinie juridică privind transferul transfrontalier de date din Emiratele Arabe Unite în Franța
- Redactarea unei clauze de earn-out
- Evaluare preliminară conform Regulamentului UE privind inteligența artificială (EU AI Act) pentru un produs legal tech
- Un memoriu de strategie: arbitraj versus litigiu în instanță
- Semnale de alarmă în due diligence pentru un acqui-hire
- O scrisoare către client care comunică o hotărâre nefavorabilă
- Indemnizația de încetare (gratuity) în DIFC versus pe teritoriul continental al EAU
Două dintre ele sunt chestiuni din regiunea MENA, pentru că acesta este dreptul pentru care este construit propriul nostru produs și pentru că aici datele de antrenament sunt puține.
Fiecare model a răspuns la toate cele zece prompturi. Apoi fiecare răspuns a fost confruntat cu fiecare alt răspuns într-o comparație oarbă pe perechi, notată de doi evaluatori din afara Anthropic: GPT-5.5 și Gemini 3.1 Pro. Fiecare evaluator a văzut fiecare pereche de două ori, câte o dată în fiecare ordine, ceea ce anulează tendința bine documentată a unui model de limbaj de a favoriza răspunsul pe care îl citește primul. Trei perechi, zece prompturi, doi evaluatori, două ordini. 120 de verdicte.
Evaluatorii au notat patru dimensiuni pe o scară de la 1 la 10: acuratețe, exhaustivitate, aplicabilitate practică și calitatea redactării. Li s-a spus că prolixitatea nu înseamnă calitate și că trebuie să judece asemenea unui partener care revizuiește munca unui avocat colaborator.
Două setări contează mai mult decât par. Am fixat efortul de raționament la nivel ridicat pentru toate cele trei modele, astfel încât comparația să măsoare capacitatea la o setare fixă, nu trei valori implicite diferite ale furnizorului. Și am omis complet temperatura, deoarece Fable 5.1 nu acceptă acest parametru prin OpenRouter. Setarea ei le-ar fi oferit celor două modele Opus un determinism pe care Fable nu îl putea avea.
Întreaga rulare a costat $15,26. Toate prețurile modelelor din acest articol sunt prețuri de listă OpenRouter, citite din API la 23 septembrie 2026, iar toate costurile per răspuns sunt calculate pe baza tokenurilor consumate efectiv de rularea noastră.
Rezultatul nu formează un clasament
Trei confruntări directe, câte 40 de verdicte oarbe
Zece prompturi de nivel profesional juridic, doi evaluatori din afara Anthropic, ambele ordini de prezentare. Egalitățile sunt afișate separat.
Opus 5.5 contra Opus 5
Opus 5.5 contra Fable 5.1
Opus 5 contra Fable 5.1
Citiți tiparul, nu un singur rând. Opus 5.5 învinge Fable 5.1, Fable 5.1 învinge Opus 5, iar Opus 5 învinge Opus 5.5. Nicio ordonare a celor trei modele nu este compatibilă cu toate cele trei rezultate.
Opus 5.5 învinge Fable 5.1. Fable 5.1 învinge Opus 5. Opus 5 învinge Opus 5.5.
Este un ciclu, nu un clasament. Nu există nicio ordonare a acestor trei modele compatibilă cu toate cele trei rezultate, ceea ce este semnalul cel mai clar posibil că diferențele sunt mai mici decât precizia măsurătorii.
Privit din cealaltă direcție, apare același lucru. Fiecare model apare în două perechi, deci fiecare are 80 de verdicte.
Verdicte câștigate, din 80 per model
Fiecare model s-a confruntat cu celelalte două la toate cele zece prompturi, deci fiecare are 80 din cele 240 de evaluări.
O diferență de patru verdicte. Pe acest set de sarcini și la această dimensiune a eșantionului, cele trei modele sunt interschimbabile ca nivel de calitate.
Am fi putut formula titlul invers. „Opus 5.5 învinge Fable 5.1 în munca juridică” este adevărat, este ce spun propriile noastre cifre și s-ar fi răspândit mai mult decât acest articol. Ar fi fost însă și o marjă de trei verdicte din patruzeci, prezentată drept constatare. Nu credem că aceasta ar rezista unei noi rulări și preferăm să o spunem noi decât să aflăm în public.
Ce înseamnă de fapt o diferență de patru verdicte
Un benchmark răspunde la întrebarea pe care v-o permiteți, nu la întrebarea pe care doreați să o puneți. Zece prompturi înseamnă ce cumpără $15 la un efort de raționament ridicat. Este suficient pentru a detecta o diferență mare și insuficient pentru a o desluși pe una mică, iar ce am găsit noi este una mică.
Interpretarea onestă este că, pe acest set de sarcini și la această dimensiune a eșantionului, aceste trei modele sunt interschimbabile ca nivel de calitate. Oricine publică o ordonare sigură a lor pe baza unui benchmark de această dimensiune raportează zgomot cu o zecimală atașată.
Un model care obține 35 la 39 nu a pierdut. Un model care câștigă cu 85 la 15 a câștigat.
Aceasta nu este o critică la adresa benchmarkurilor. Este un argument pentru a le citi după mărimea efectului, nu după poziția în clasament.
Evaluatorii nu au fost de acord, iar acest lucru este esențial
Am folosit doi evaluatori tocmai pentru ca niciunul să nu poată determina singur rezultatul. Nu au fost de acord, iar dezacordul lor este sistematic, nu aleatoriu.
| Evaluator | Opus 5.5 | Opus 5 | Fable 5.1 | Egalități | Ce recompensează |
|---|---|---|---|---|---|
| GPT-5.5 | 21 | 16 | 23 | 0 | prudență, surse curate |
| Gemini 3.1 Pro | 14 | 23 | 13 | 10 | acoperire, exhaustivitate |
GPT-5.5 a plasat Fable 5.1 pe primul loc și nu a declarat nicio egalitate. Gemini 3.1 Pro a plasat Opus 5 pe primul loc la o distanță mare și a declarat zece.
Citiți justificările și motivul devine vizibil. GPT-5.5 recompensează prudența, sursele curate și respectarea limitelor sarcinii. Gemini 3.1 Pro recompensează acoperirea și a preferat constant răspunsul mai lung, care identifica mai multe obligații și semnala mai multe situații eventuale.
Niciunul nu greșește. Sunt două viziuni defensabile despre cum arată o muncă bună de avocat colaborator și produc câștigători diferiți pe aceleași răspunsuri. Dacă rețineți un singur lucru din acest articol, rețineți acesta: atunci când un benchmark raportează un scor unic, întrebați cine a fost evaluatorul și ce recompensează, pentru că această alegere cântărește mai mult decât pare.
Un rezultat se menține la ambii evaluatori. Opus 5.5 se clasează al doilea la fiecare dintre ei, deci niciun evaluator nu îl plasează pe ultimul loc.
Unde se separă totuși scorurile
Verdictele pe perechi sunt strânse. Scorurile pe dimensiuni sunt mai revelatoare, pentru că arată că modelele greșesc în direcții diferite.
Scorul mediu al evaluatorilor pe dimensiune, de la 1 la 10
Medie calculată pe toate verdictele în care a apărut fiecare model. Barele sunt desenate pe întreaga scară de la 0 la 10.
Acuratețe
Exhaustivitate
Aplicabilitate practică
Redactare
Barele arată la fel pentru că sunt la fel: întreaga diferență între trei modele și patru dimensiuni este de 1,26 puncte. Citiți valorile, nu lungimile. Această uniformitate este constatarea, nu o problemă de afișare.
La acuratețe există o egalitate în vârf. Opus 5.5 și Fable 5.1 au amândouă media 8,55. Opus 5 se situează sub ambele, la 8,18.
La exhaustivitate, ordinea se inversează. Opus 5 conduce cu 9,44, urmat de Fable 5.1 cu 9,22, iar Opus 5.5 rămâne în urmă cu 8,93.
Această inversare este elementul cel mai util al rulării. Opus 5 a scris cele mai lungi și mai minuțioase răspunsuri din set și a obținut cele mai mari scoruri la exhaustivitate și aplicabilitate practică, dar cel mai mic scor la acuratețe. Opus 5.5 a scris răspunsuri mai scurte, pe care evaluatorii le-au considerat mai precise. Fable 5.1 s-a situat cel mai aproape de vârf la ambele.
Pentru multe tipuri de muncă, exhaustivitatea este exact ce vă doriți. În munca juridică, ierarhia dintre aceste două dimensiuni este o alegere pe care ar trebui să o faceți deliberat, nu să o preluați dintr-un clasament, pentru că un răspuns care acoperă mai mult și este mai puțin exact nu este în mod evident răspunsul mai potrivit de trimis unui client.
Încercați HAQQ AI gratuit
Experimentați redactarea juridică și cercetarea asistate de AI
Aspectul la care diferența nu este strânsă
Cost per răspuns, măsurat pe tokenuri reale
Zece prompturi juridice per model la efort de raționament ridicat, facturate la prețurile de listă OpenRouter din 23 septembrie 2026.
Tokenurile de raționament se facturează ca ieșire. Opus 5.5 a raționat cel mai mult dintre cele trei, 10.031 de tokenuri de raționament per răspuns față de 6.953 la Fable 5.1, și totuși a ieșit cel mai ieftin.
Măsurat pe tokenuri reale, nu după prețul de listă, Opus 5.5 a răspuns la aceste zece prompturi cu $0,3647 per răspuns. Opus 5 a ajuns la $0,4362. Fable 5.1 a ajuns la $0,7249, aproape dublu față de Opus 5.5, pentru o diferență de calitate pe care propriile noastre date nu o pot desluși.
Viteza a indicat în aceeași direcție. Opus 5.5 a avut o medie de 184 de secunde per răspuns, Fable 5.1 de 193, iar Opus 5 de 238.
Cât percepe fiecare model pentru a gândi merită un paragraf separat, pentru că ne-a surprins. Opus 5.5 a fost modelul cel mai ieftin și, în același timp, cel care a raționat cel mai mult. Fable 5.1 a scris cele mai scurte răspunsuri vizibile dintre cele trei și totuși a costat cel mai mult, deoarece prețul său de listă este de 2,5 ori mai mare decât al Opus 5.5. Prețul redus per token i-a oferit lui Opus 5.5 spațiul de a gândi mai mult și de a rămâne totuși în avantaj la factură.
Benchmarkul aproape ne-a indus în eroare
Aceasta este partea pe care majoritatea relatărilor despre benchmarkuri o omit și este partea pe care noi am dori cel mai mult să o citim.
Prima noastră trecere a limitat fiecare răspuns la 32.000 de tokenuri. Aveam dovezi pentru această cifră: o rulare anterioară a aceluiași set de prompturi demonstrase că 32k nu produce trunchieri, cel mai lung răspuns având sub 11.000 de tokenuri.
Această dovadă nu s-a transferat, iar motivul este un detaliu care merită cunoscut. Tokenurile de raționament se facturează ca ieșire și se scad din același buget de tokenuri ca răspunsul. Fixarea efortului de raționament la nivel ridicat a adăugat aproximativ 8.000 de tokenuri de raționament per răspuns, iar bugetul care fusese confortabil a devenit strâmt.
La promptul de redactare a clauzei de earn-out, ambele modele Opus au atins plafonul și au fost întrerupte la jumătatea răspunsului. Fable 5.1 a terminat normal. Așadar, la acel prompt nu comparam trei modele. Comparam un model cu două modele cărora li se tăiase finalul, iar verdictele rezultate indicau direct modelele testate.
Rulat din nou la 64.000 de tokenuri, Opus 5.5 a folosit 51.358 de tokenuri pentru acel singur prompt. Plafonul de 32k îl tăia aproximativ la jumătate.
În spatele primei erori se afla o a doua. Întrerupseserăm o rulare în timpul evaluării, iar aceasta salvase deja în cache verdicte calculate pe baza răspunsurilor trunchiate. Acele verdicte din cache au supraviețuit regenerării răspunsurilor, deoarece un răspuns trunchiat nu este o eroare și părea complet pentru cache. A trebuit să găsim și să eliminăm fiecare verdict pentru prompturile afectate și să le generăm din nou.
A contat. Pe subsetul curat, dar incomplet, de opt prompturi, Fable 5.1 era înaintea lui Opus 5.5. După restaurarea celor două prompturi reparate, rezultatul s-a inversat. Un plafon în care aveam motive întemeiate să avem încredere, plus un cache pe care uitaserăm că îl avem, ar fi produs un titlu sigur pe el și greșit.
Ce am schimbat
- Sistemul de testare oprește acum rularea dacă orice răspuns revine cu un motiv de încheiere diferit de o oprire normală. Anterior afișa un avertisment și continua. Un avertisment într-un jurnal nu este o barieră.
- O celulă trunchiată nu mai este tratată ca fiind în cache. Verificarea de actualitate testează motivul de încheiere, nu doar prezența unui câmp de eroare, pentru că trunchierea nu este o eroare.
- Fiecare celulă se scrie pe disc imediat ce este finalizată, astfel încât o rulare întreruptă se reia fără costuri suplimentare, iar fiecare verdict înregistrează ce versiune a răspunsului a evaluat.
Menționăm acest lucru pentru că acest tip de eroare se generalizează. Dacă evaluați comparativ modele de raționament și stabiliți un plafon de tokenuri care avea sens pentru modelele fără raționament, este foarte probabil să măsurați plafonul.
Perspectiva HAQQ
Construim AI juridic, deci nu suntem neutri în privința alegerii modelului, și vom spune deschis ce a schimbat această rulare pentru noi.
Am mutat redactarea juridică de rutină pe Opus 5.5. Nu pentru că datele noastre l-ar desemna câștigător, ceea ce nu pot face, ci pentru că nu se distinge ca nivel de calitate de cele două modele mai scumpe și rulează mai repede. Când două opțiuni sunt măsurabil egale și una costă jumătate, decizia nu este strânsă, chiar dacă benchmarkul este.
Am păstrat Fable 5.1 pentru trecerile finale cu evaluare a calității, adică pentru munca în care un răspuns este citit de cineva din afara companiei. Aceasta este o măsură de precauție, nu o constatare. Cifrele noastre nu o justifică, iar un set mai mare de prompturi ar putea foarte bine să o facă inutilă.
Pentru o echipă juridică ce alege un model, concluzia utilă nu este care model a câștigat. Este faptul că diferența de calitate dintre modelele de vârf actuale la sarcinile juridice este acum suficient de mică încât prețul, latența și modul în care un model greșește contează mai mult decât poziția în fruntea unui clasament. Alegeți modelul al cărui mod de eroare îl puteți accepta, apoi testați-l pe propriile dumneavoastră dosare, pentru că dosarele dumneavoastră nu sunt cele zece prompturi ale noastre.
Limitări
- Zece prompturi reprezintă un eșantion mic. Este suficient pentru a detecta o diferență mare și nu a găsit niciuna. Tratați fiecare marjă pe perechi de aici ca provizorie.
- Doi evaluatori, ambii modele de limbaj. Am folosit evaluatori din afara Anthropic și am inversat pozițiile pentru a controla distorsiunile evidente, dar un evaluator LLM nu este un avocat, iar în altă parte am scris despre cât de grav pot eșua evaluatorii LLM exact la acest tip de sarcină.
- Dezacordul dintre evaluatori rămâne nerezolvat. Cei doi evaluatori ai noștri au produs câștigători diferiți. Le raportăm pe amândouă, în loc să facem o medie într-o cifră unică ce ar ascunde divergența.
- O singură rulare, fără repetări. Nu am rulat fiecare prompt de mai multe ori, deci nu putem separa variabilitatea modelului de capacitatea acestuia.
- Setul nostru de prompturi este al nostru. Înclină spre activitatea comercială, transfrontalieră și din regiunea MENA, pentru că pentru aceasta construim.
Concluzii principale
- Trei modele de vârf ale Anthropic s-au încadrat la patru verdicte unul de altul în cele 240 de evaluări oarbe pe care le-am colectat pe sarcini juridice de nivel profesional. La această dimensiune a eșantionului nu există o ordonare fiabilă între ele.
- Rezultatele sunt netranzitive: Opus 5.5 învinge Fable 5.1, Fable 5.1 învinge Opus 5, Opus 5 învinge Opus 5.5. Acest tipar este în sine o dovadă că diferențele sunt mai mici decât precizia măsurătorii.
- Doi evaluatori au produs doi câștigători diferiți pe baza acelorași răspunsuri. Atunci când un benchmark raportează o singură cifră, întrebați ce recompensează evaluatorul său.
- Prețul a fost criteriul care a separat clar modelele. Opus 5.5 a răspuns la aproximativ jumătate din costul per răspuns al Fable 5.1 și niciun model din set nu a fost mai rapid.
- Acuratețea și exhaustivitatea au evoluat în direcții opuse. Modelul cel mai minuțios din set a obținut cel mai mic scor la acuratețe.
- Dacă fixați efortul de raționament, reverificați plafonul de tokenuri. Tokenurile de raționament se scad din același buget, iar un plafon care înainte era sigur va trunchia fără niciun semnal.
