Ve zkratce: otestovali jsme Claude Opus 5.5, Opus 5 a Fable 5.1 na deseti zadáních na úrovni advokátní praxe a získali 120 slepých verdiktů od dvou rozhodců mimo Anthropic. Modely skončily do čtyř verdiktů od sebe a výsledky tvoří smyčku, nikoli pořadí. Jediné, co se čistě oddělilo, byla cena: Opus 5.5 vyšel na polovinu nákladů Fable 5.1 na jednu odpověď. Zveřejňujeme i to, co se nepovedlo, protože jedna z těch věcí nás málem dovedla k falešnému výsledku.
Všichni citují stejná tři čísla
Když budete hledat srovnání aktuálních modelů Anthropic, najdete stránku článků, které se navzájem potvrzují. Opus 5.5 se na většině úloh vyrovná Fable 5.1. Je mnohem levnější. Je rychlejší.
Ta čísla jsou přesná a ověřili jsme je u zdroje, nikoli jen převzali z médií. Stránka Anthropic uvádí, že vstupní a výstupní tokeny stojí „$4 and $20 per million, 20% less than Opus 5“ a že „Opus 5.5 also generates output more than 30% faster than Opus 5“. Oproti $10 a $50 u Fable 5.1 je to o 60 % méně za token.
Co téměř nikdo neudělal, je nezávislé porovnání modelů mezi sebou. Pokrytí v médiích je skutečná žurnalistika, ale vychází ze sebehodnocení dodavatele.
Jediný nezávislý právní benchmark, který jsme mohli ověřit u zdroje, se s dodavatelem celkem shoduje. Legal Research Bench od Vals AI řadí Opus 5.5 s výsledkem 50.48 % na 4. místo z 68 modelů. To je dobrý výsledek, ale týká se právní rešerše, tedy jediné úlohy. Nic neříká podnikovému právníkovi o tom, zda model sepíše lepší earn-out doložku než model, který stojí dvojnásobek.
Hledali jsme odpověď na tuto otázku, nenašli jsme ji, a tak jsme test provedli sami.
Poznámka k tomu, co jsme nezveřejnili. Dvě široce opakovaná čísla o Opus 5.5 v benchmarku právních agentů neobstála při ověření u primárního zdroje: stránka s výsledky samotného benchmarku tento model vůbec neuvádí a stránka dodavatele neobsahuje skóre, které se mu připisuje. Obě čísla jsme vynechali. Pokud je uvidíte citovaná jinde, zeptejte se, odkud pocházejí.
Co jsme spustili
Deset zadání, formulovaných jako úkoly, které by poznal praktikující právník, nikoli jako zkouškové otázky:
- Redlining limitu odpovědnosti ve smlouvě SaaS
- Memorandum ve struktuře IRAC o vymahatelnosti zákazu konkurence
- Rešerše s množstvím citací k osobní jurisdikci
- Přeshraniční právní stanovisko k předání údajů ze Spojených arabských emirátů do Francie
- Sepsání earn-out doložky
- Předběžné posouzení podle EU AI Act pro legal tech produkt
- Strategické memorandum: arbitráž versus soudní spor
- Rizikové signály při due diligence akvizice týmu (acqui-hire)
- Dopis klientovi oznamující nepříznivý rozsudek
- Odstupné (gratuity) v DIFC versus ve Spojených arabských emirátech mimo DIFC
Dvě z nich se týkají oblasti MENA, protože právě pro toto právo je náš produkt určen a protože právě tam jsou tréninková data nejřidší.
Každý model odpověděl na všech deset zadání. Pak se každá odpověď střetla s každou jinou odpovědí ve slepém párovém srovnání, které hodnotili dva rozhodci mimo Anthropic: GPT-5.5 a Gemini 3.1 Pro. Každý rozhodce viděl každou dvojici dvakrát, pokaždé v opačném pořadí, což ruší dobře zdokumentovanou tendenci jazykového modelu upřednostňovat odpověď, kterou čte jako první. Tři dvojice, deset zadání, dva rozhodci, dvě pořadí. 120 verdiktů.
Rozhodci hodnotili čtyři dimenze na škále 1 až 10: přesnost, úplnost, praktickou použitelnost a kvalitu sepisu. Bylo jim řečeno, že rozvláčnost není kvalita, a aby posuzovali jako partner, který kontroluje práci koncipienta.
Dvě nastavení jsou důležitější, než se zdá. U všech tří modelů jsme zafixovali úsilí uvažování na vysokou hodnotu, takže srovnání měří schopnosti při pevném nastavení, nikoli tři různé výchozí hodnoty dodavatelů. A úplně jsme vynechali teplotu, protože Fable 5.1 tento parametr přes OpenRouter nepřijímá. Jeho nastavení by oběma modelům Opus dalo determinismus, který by Fable mít nemohl.
Celý běh stál $15.26. Všechny ceny modelů v tomto článku jsou ceníkové ceny OpenRouter načtené z API dne 23. září 2026 a všechny náklady na odpověď jsou vypočteny z tokenů, které náš vlastní běh skutečně spotřeboval.
Výsledek netvoří pořadí
Tři přímá srovnání, každé se 40 slepými verdikty
Deset zadání na úrovni advokátní praxe, dva rozhodci mimo Anthropic, obě pořadí prezentace. Remízy jsou uvedeny zvlášť.
Opus 5.5 vs. Opus 5
Opus 5.5 vs. Fable 5.1
Opus 5 vs. Fable 5.1
Čtěte vzorec, nikoli jednotlivý řádek. Opus 5.5 poráží Fable 5.1, Fable 5.1 poráží Opus 5 a Opus 5 poráží Opus 5.5. Žádné seřazení tří modelů se nesrovnává se všemi třemi výsledky.
Opus 5.5 poráží Fable 5.1. Fable 5.1 poráží Opus 5. Opus 5 poráží Opus 5.5.
To je smyčka, nikoli žebříček. Neexistuje seřazení těchto tří modelů, které by odpovídalo všem třem výsledkům, a to je nejjasnější možný signál, že rozdíly jsou menší než přesnost měření.
Podívejte se na to z druhé strany a objeví se totéž. Každý model se objevuje ve dvou dvojicích, takže každý nese 80 verdiktů.
Vyhrané verdikty z 80 na model
Každý model se střetl s oběma ostatními napříč všemi deseti zadáními, takže každý nese 80 z 240 posouzení.
Rozptyl čtyř verdiktů. Na této sadě úloh a při této velikosti vzorku jsou tři modely z hlediska kvality zaměnitelné.
Titulek jsme mohli napsat i opačně. „Opus 5.5 poráží Fable 5.1 v právní práci“ je pravda, říkají to naše vlastní čísla a šířilo by se to dál než tento článek. Byl by to ale také náskok tří verdiktů ze čtyřiceti, vydávaný za zjištění. Nemyslíme si, že by přežil opakování testu, a raději to řekneme, než abychom to zjistili na veřejnosti.
Co rozptyl čtyř verdiktů skutečně znamená
Benchmark odpovídá na otázku, kterou si můžete dovolit položit, nikoli na tu, kterou jste chtěli položit. Deset zadání je to, co $15 koupí při vysokém úsilí uvažování. To stačí k odhalení velkého rozdílu, ale nestačí k rozlišení malého, a my jsme našli malý.
Poctivé čtení je takové, že na této sadě úloh a při této velikosti vzorku jsou tyto tři modely z hlediska kvality zaměnitelné. Kdo z takto malého benchmarku zveřejní sebejisté pořadí, oznamuje šum s desetinnou čárkou.
Model, který vyhraje 35 ku 39, neprohrál. Model, který vyhraje 85 ku 15, vyhrál.
To není kritika benchmarků. Je to argument pro to, číst je podle velikosti efektu, nikoli podle pořadí.
Rozhodci se neshodli, a to je důležité
Použili jsme dva rozhodce právě proto, aby výsledek nemohl nést ani jeden z nich sám. Neshodli se a jejich neshoda je systematická, nikoli náhodná.
| Rozhodce | Opus 5.5 | Opus 5 | Fable 5.1 | Remízy | Co odměňuje |
|---|---|---|---|---|---|
| GPT-5.5 | 21 | 16 | 23 | 0 | opatrnost, čisté odkazy na prameny |
| Gemini 3.1 Pro | 14 | 23 | 13 | 10 | pokrytí, úplnost |
GPT-5.5 dal na první místo Fable 5.1 a ani jednou neurčil remízu. Gemini 3.1 Pro dal s velkým odstupem na první místo Opus 5 a remízu určil desetkrát.
Přečtěte si odůvodnění a důvod je vidět. GPT-5.5 odměňuje opatrnost, čisté odkazy na prameny a setrvání v mezích zadání. Gemini 3.1 Pro odměňuje pokrytí a soustavně upřednostňoval delší odpověď, která zmapovala více povinností a upozornila na více eventualit.
Ani jeden se nemýlí. Jsou to dva obhajitelné pohledy na to, jak vypadá dobrá práce koncipienta, a na stejných odpovědích vytvářejí různé vítěze. Pokud si z tohoto článku odnesete jediné, odneste si toto: když benchmark uvádí jediné skóre, zeptejte se, kdo byl rozhodcem a co odměňuje, protože tato volba odvádí víc práce, než se zdá.
Jeden výsledek přežívá u obou rozhodců. Opus 5.5 skončil u obou druhý, takže ho žádný z rozhodců neřadí na poslední místo.
Kde se skóre skutečně liší
Párové verdikty jsou těsné. Skóre jednotlivých dimenzí je odhalující víc, protože ukazuje, že modely selhávají různými směry.
Průměrné skóre rozhodců podle dimenze, 1 až 10
Průměr přes všechny verdikty, ve kterých se každý model objevil. Sloupce jsou vykresleny na plné škále 0 až 10.
Přesnost
Úplnost
Praktická použitelnost
Sepis
Sloupce vypadají podobně, protože podobné jsou: celý rozptyl napříč třemi modely a čtyřmi dimenzemi činí 1.26 bodu. Čtěte popisky, ne délky. Ta plochost je zjištění, nikoli chyba vykreslení.
V přesnosti je nahoře remíza. Opus 5.5 i Fable 5.1 mají průměr 8.55. Opus 5 je pod oběma s 8.18.
Úplnost jde opačným směrem. Opus 5 vede s 9.44, Fable 5.1 následuje s 9.22 a Opus 5.5 zaostává s 8.93.
Tento obrat je nejužitečnější věc celého běhu. Opus 5 psal nejdelší a nejpodrobnější odpovědi v sadě a získal nejvyšší skóre v úplnosti a praktické použitelnosti, zároveň však nejnižší v přesnosti. Opus 5.5 psal kratší odpovědi, které rozhodci hodnotili jako přesnější. Fable 5.1 byl v obou ohledech nejblíže vrcholu.
Pro spoustu práce je úplnost to, co chcete. Pro právní práci je pořadí těchto dvou dimenzí volbou, kterou byste měli učinit vědomě, a ne ji zdědit z žebříčku, protože odpověď, která pokrývá víc a je méně přesná, není zjevně lepší odpovědí, kterou odeslat klientovi.
Vyzkoušejte HAQQ AI zdarma
Zažijte sepisování a rešerše s podporou AI
Jediná věc, která není těsná
Cena za odpověď, měřená na skutečných tokenech
Deset právních zadání na model při vysokém úsilí uvažování, účtováno podle ceníkových cen OpenRouter z 23. září 2026.
Tokeny uvažování se účtují jako výstup. Opus 5.5 přemýšlel ze všech tří nejdéle, 10,031 tokenů uvažování na odpověď oproti 6,953 u Fable 5.1, a přesto vyšel nejlevněji.
Měřeno na skutečných tokenech, nikoli podle ceníku, odpovídal Opus 5.5 na těchto deset zadání za $0.3647 na odpověď. Opus 5 vyšel na $0.4362. Fable 5.1 vyšel na $0.7249, což je téměř dvojnásobek Opus 5.5 za rozdíl v kvalitě, který naše data nedokážou rozlišit.
Rychlost ukazovala stejným směrem. Opus 5.5 měl v průměru 184 sekund na odpověď, Fable 5.1 193 a Opus 5 238.
To, kolik který model účtuje za přemýšlení, si zaslouží vlastní odstavec, protože nás to překvapilo. Opus 5.5 byl nejlevnější model a zároveň ten, který přemýšlel nejdéle. Fable 5.1 psal ze všech tří nejkratší viditelné odpovědi a přesto stál nejvíc, protože jeho ceníková cena je 2.5krát vyšší než u Opus 5.5. Nízká cena za token dala Opus 5.5 prostor přemýšlet víc a přesto vyjít na účtu lépe.
Benchmark nás málem oklamal
Tuto část většina popisů benchmarků vynechává, a přitom je to právě ta, kterou bychom sami nejraději četli.
Náš první průchod omezil každou odpověď na 32,000 tokenů. Pro to číslo jsme měli doklad: dřívější běh stejné sady zadání prokázal, že 32k je bez ořezávání, přičemž nejdelší odpověď měla méně než 11,000 tokenů.
Ten doklad se na nový běh nepřenesl a důvod je detail, který stojí za to znát. Tokeny uvažování se účtují jako výstup a počítají se do stejného rozpočtu tokenů jako odpověď. Zafixování vysokého úsilí uvažování přidalo zhruba 8,000 tokenů uvažování na odpověď a rozpočet, který býval pohodlný, se stal těsným.
U zadání na sepsání earn-out doložky narazily oba modely Opus na strop a byly uprostřed odpovědi useknuty. Fable 5.1 skončil normálně. U tohoto zadání jsme tedy nesrovnávali tři modely. Srovnávali jsme jeden model se dvěma modely, kterým byl odebrán konec, a výsledné verdikty mířily přímo proti testovaným modelům.
Při opakování s limitem 64,000 tokenů spotřeboval Opus 5.5 u tohoto jediného zadání 51,358 tokenů. Limit 32k ho ořezával zhruba na polovinu.
Za první chybou se skrývala druhá. Přerušili jsme běh uprostřed hodnocení a ten už měl uložené verdikty vypočtené nad useknutými odpověďmi. Tyto uložené verdikty přežily opakování odpovědí, protože useknutá odpověď není chyba a mezipaměti připadala úplná. Museli jsme najít a zahodit každý verdikt k dotčeným zadáním a vygenerovat je znovu.
Záleželo na tom. Na čisté, ale neúplné podmnožině osmi zadání vedl Fable 5.1 nad Opus 5.5. Po obnovení dvou opravených zadání se výsledek obrátil. Limit, kterému jsme měli dobrý důvod věřit, plus mezipaměť, na kterou jsme zapomněli, by přinesly sebejistý a chybný titulek.
Co jsme změnili
- Testovací nástroj nyní běh přeruší, pokud kterákoli odpověď skončí jiným důvodem ukončení než čistým zastavením. Dříve vypsal varování a pokračoval. Varování v logu není brána.
- Useknutá buňka se již nepovažuje za uloženou v mezipaměti. Kontrola zastaralosti testuje důvod ukončení, nikoli jen přítomnost pole s chybou, protože useknutí není chyba.
- Každá buňka se zapisuje na disk, jakmile je hotová, takže přerušený běh pokračuje bez opětovného placení, a každý verdikt zaznamenává, kterou verzi odpovědi posuzoval.
Zmiňujeme to, protože tento druh selhání je obecný. Pokud porovnáváte modely s uvažováním mezi sebou a nastavíte limit tokenů, který dával smysl pro modely bez uvažování, velmi pravděpodobně měříte ten limit.
Pohled HAQQ
Vyvíjíme Legal AI, takže nejsme ve volbě modelu neutrální, a otevřeně řekneme, co nám tento běh změnil.
Běžné sepisování právních dokumentů jsme přesunuli na Opus 5.5. Ne proto, že by ho naše data korunovala, to nedokážou, ale protože je v kvalitě nerozlišitelný od dvou dražších modelů a přitom běží rychleji. Když jsou dvě možnosti měřitelně stejné a jedna stojí polovinu, rozhodnutí není těsné, i když je těsný benchmark.
Fable 5.1 jsme si ponechali pro závěrečné průchody posuzované na kvalitu, tedy pro práci, kde odpověď čte někdo mimo společnost. To je pojistka, nikoli zjištění. Naše čísla ji neospravedlňují a větší sada zadání ji může klidně zrušit.
Pro právní tým, který vybírá model, není užitečným závěrem to, který model vyhrál. Je to, že rozdíl v kvalitě mezi současnými špičkovými modely v právních úlohách je nyní tak malý, že cena, latence a způsob, jakým model selhává, hrají větší roli než to, který vede žebříček. Vyberte si ten, jehož způsob selhání unesete, a pak ho vyzkoušejte na vlastních věcech, protože vaše věci nejsou našich deset zadání.
Omezení
- Deset zadání je malý vzorek. Stačí k odhalení velkého rozdílu a ten nenašel. Každý párový náskok zde berte jako předběžný.
- Dva rozhodci, oba jazykové modely. Použili jsme rozhodce mimo Anthropic a prohodili pořadí, abychom ošetřili zřejmé zkreslení, ale rozhodce typu LLM není právník a jinde jsme psali o tom, jak zásadně mohou rozhodci typu LLM selhat právě u tohoto druhu úloh.
- Neshoda rozhodců zůstává nevyřešena. Naši dva rozhodci vytvořili různé vítěze. Uvádíme oba, místo abychom je zprůměrovali do jediného čísla, které skrývá rozdělení.
- Jediný běh bez opakování. Každé zadání jsme nespustili vícekrát, takže neumíme oddělit rozptyl modelu od jeho schopností.
- Sada zadání je naše. Tíhne k obchodní, přeshraniční práci a práci v oblasti MENA, protože pro to vyvíjíme.
Klíčové poznatky
- Tři špičkové modely Anthropic skončily do čtyř verdiktů od sebe napříč 240 slepými posouzeními, která jsme získali u právních úloh na úrovni advokátní praxe. Při této velikosti vzorku mezi nimi neexistuje spolehlivé pořadí.
- Výsledky nejsou tranzitivní: Opus 5.5 poráží Fable 5.1, Fable 5.1 poráží Opus 5, Opus 5 poráží Opus 5.5. Tento vzorec je sám důkazem, že rozdíly jsou menší než přesnost měření.
- Dva rozhodci vytvořili ze stejných odpovědí dva různé vítěze. Když benchmark uvádí jediné číslo, zeptejte se, co jeho rozhodce odměňuje.
- Cena byla jediným čistým oddělením. Opus 5.5 odpovídal zhruba za polovinu nákladů Fable 5.1 na odpověď a žádný model v sadě nebyl rychlejší.
- Přesnost a úplnost se vyvíjely opačnými směry. Nejpodrobnější model v sadě získal nejnižší skóre v přesnosti.
- Pokud zafixujete úsilí uvažování, znovu zkontrolujte limit tokenů. Tokeny uvažování se počítají do stejného rozpočtu a limit, který býval bezpečný, bude tiše useknávat.
