Stručně: Astra vede v právní věcnosti s 17,63 z 20 a vítězí o méně než bod. Za tento náskok stojí na odpověď 11x více než GPT-5.6 Luna Pro; oproti Claude Opus 5 je výhodnější koupě, na odpověď vychází 1,7x levněji, protože píše 3,5x méně. Každý testovaný model se spletl v právu Saúdské Arábie nebo Egypta, a přitom citoval správný článek. To je chyba, kterou nezachytí žádná kontrola, a týká se našeho trhu.
Co jsme spustili
41 promptů napříč 20 oblastmi práva, od fúzí a akvizic a cenných papírů po imigraci a stavebnictví. Tři modely: GPT-6 Astra, Claude Opus 5, GPT-5.6 Luna Pro. Úsilí uvažování jsme u všech tří nastavili na střední, aby bylo srovnání spravedlivé, nikoli lichotivé. Devět vlastností jsme měřili zvlášť, protože model, který krásně formuluje a vymyslí si zákon, není dobrý právní model. Měřená spotřeba inference: 66,55 USD. Spuštěno 10. září 2026.
HAQQ v tomto benchmarku není. Vlastní produkt jsme do studie, kterou jsme sami provedli, nezařadili. Následuje srovnání tří špičkových modelů mezi sebou.
Pořadí je těsné. Cena ne.
V právní věcnosti (posouzená kvalita plus přesnost) vede Astra s 17,63 z 20. V souhrnném skóre, které zahrnuje i pořadí podle rychlosti, vítězí Luna Pro s 30,93 z 35, před Astrou s 30,05 a Opus 5 s 28,13.
Obojí platí, a o to jde. Benchmark, který uvádí jen souhrnné skóre, vám nenápadně říká, že latence záleží stejně jako správnost.
Nikdo nekupuje token
| Model | Cena za M výstupu | Tokenů na odpověď | Cena za odpověď |
|---|---|---|---|
| GPT-6 Astra | 50 USD | 5 201 | 0,2622 USD |
| Claude Opus 5 | 25 USD | 18 190 | 0,4566 USD |
| GPT-5.6 Luna Pro | 1,20 USD | 16 356 | 0,0231 USD |
Astra účtuje dvojnásobek sazby Opus 5 za token, a přesto vychází na odpověď 1,7x levněji, protože k vyjádření téhož napíše 3,5x méně tokenů.
Nominálně levnější model je ten dražší.
Stručnost je to podstatné zjištění. Výhodou Astry není, že je chytřejší, ale že přestane psát.
Oproti Luna Pro se tento obchod hroutí: 11x vyšší cena za odpověď za méně než bod v souhrnném skóre. Pro běžné právní dotazy ve velkém objemu to není obhajitelné.
Volič uvažování je nástroj pro náklady, ne pro kvalitu
Astra nabízí nastavení úsilí uvažování, proto jsme na každé úrovni spustili deset promptů. Z nízké na vysokou úroveň se náklady zvýšily 1,5x, latence 1,8x a posouzená kvalita se změnila o -0,17 bodu.
Zvýšení úsilí učinilo odpovědi mírně horšími a výrazně dražšími. Pokud Astru provozujete, úsilí pevně nastavte.
Část, která by vás měla znepokojit
Šest otázek napříč pěti jurisdikcemi, kladených v jazyce, který by použil místní praktik. Saúdské výpovědní lhůty v pracovním právu a emirátské limity zkušební doby v arabštině. Francouzské promlčecí lhůty a doktrína nepřiměřených podmínek. Katarská pravidla předávání. Egyptské právo o ochraně údajů.
Astra: 83,3 % právně správně. Luna Pro: 83,3 %. Claude Opus 5: 83,3 %. Každý model zodpověděl správně 5 z 6.
Všechny tři odpověděly pokaždé ve správném jazyce. Všechny tři pokaždé citovaly správné ustanovení. Každý pak nesprávně uvedl, co jedno ustanovení říká: Astra a Luna Pro u egyptského souhlasu PDPL s přeshraničním předáním, Claude Opus 5 u článku 75 saúdského pracovního zákoníku, kde citoval znění výpovědních lhůt platné před rokem 2025.
Kontrola citací takovou odpověď propustí. Každý nástroj na detekci halucinací na trhu takovou odpověď propustí. Klient ne.
To je propast mezi plynulostí v jazyce a správností v jurisdikci a nic na větším kontextovém okně ani lepším uvažování ji nezacelí.
Dlouhý kontext je vyřešen. Jeho placení ne.
Do rámcové smlouvy o službách (Master Services Agreement) jsme vložili čtyři protichůdná ustanovení (strop, výjimku, která ho přebíjí, složenou eskalaci a doložku o rozhodném právu) na 6 %, 24 %, 47 % a 68 % její délky. Správná odpověď znamená najít všechna čtyři a uplatnit správnou přednost. Nalezení jen prvního vede k sebejistému, konkrétnímu, chybnému číslu.
Všechny tři odpověděly správně při 25k, 100k a 200k tokenech. Dosažení stejné odpovědi při 200k však stálo 2,01 USD u Astry a 0,15 USD u Luna Pro. Třináctinásobný rozdíl za totožný výstup.
Determinismus není k dostání za žádnou cenu
Stejná otázka, stejný seed, pětkrát. Žádný model nereprodukoval identickou odpověď. Podobnost na úrovni slov se pohybovala od 0,47 do 0,78. Dva ze tří modelů seed přijímají a stejný text přesto dvakrát nevytvoří.
Pokud stejná smluvní otázka vrátí v úterý jinou odpověď, nebyla spolehlivá ani v pondělí. Cokoli slíbíte klientovi o konzistenci, musí být postaveno nad modelem, ne od něj zakoupeno.
Co bychom řekli kanceláři, která vybírá dnes
Směrujte podle typu věci, ne podle značky. Naše tabulka podle oblastí práva ukazuje Astru vpředu ve většině oblastí a Opus 5 vpředu v insolvenci a ESG, s rozdíly tak malými, že rozhoduje obvykle cena a latence, nikoli schopnosti.
Nepřesouvejte běžné právní dotazy ve velkém objemu na Astru v očekávání skoku v kvalitě. Zvažte ji tam, kde platíte Opus 5 za dlouhé odpovědi, které nikdo nečte.
A ať zvolíte cokoli, ověřujte jurisdikci. Všechny tři vám podají správné číslo článku připojené ke špatnému pravidlu, v jazycích, ve kterých náš trh funguje.
Omezení, řečeno otevřeně
Opírá se to o méně promptů, než jsme plánovali, a Claude Opus 5 odpověděl na 37 ze 41, zatímco ostatní dva na všech 41, takže základ je nerovnoměrný. Pořadí berte jako předběžné a vícejazyčný výsledek jako zjištění, podle kterého stojí za to jednat. Až bude úplná sada hotová, změříme znovu a zveřejníme, co z ní vyplývá.
Provedli jsme to sami. Není to nezávisle auditováno. Metoda je uvedena výše, abyste si ji mohli ověřit.
Vyzkoušejte HAQQ AI zdarma
Zažijte sepisování a rešerše s podporou AI
