Pe scurt: Astra conduce la fondul juridic, cu 17,63 din 20, și câștigă la o diferență de sub un punct. Pentru această marjă costă de 11 ori mai mult pe răspuns decât GPT-5.6 Luna Pro; față de Claude Opus 5 este achiziția mai avantajoasă, de 1,7 ori mai ieftin pe răspuns, deoarece scrie de 3,5 ori mai puțin. Toate modelele testate au greșit dreptul saudit sau egiptean, deși au citat articolul corect. Aceasta este eroarea pe care niciun instrument de verificare nu o detectează, iar ea se află pe piața noastră.
Ce am testat
41 de prompturi din 20 de domenii de practică, de la fuziuni și achiziții și piețe de capital la imigrație și construcții. Trei modele: GPT-6 Astra, Claude Opus 5, GPT-5.6 Luna Pro. Efortul de raționament a fost fixat la nivel mediu pentru toate trei, astfel încât comparația să fie echitabilă, nu măgulitoare. Nouă proprietăți au fost măsurate separat, deoarece un model care redactează impecabil și inventează o normă legală nu este un model juridic bun. 66,55 USD inferență facturată. Test efectuat la 10 septembrie 2026.
HAQQ nu face parte din acest benchmark. Nu ne-am inclus propriul produs într-un studiu realizat de noi. Ceea ce urmează sunt trei modele de vârf, măsurate unul față de celălalt.
Clasamentul este strâns. Prețul, nu.
La fondul juridic (calitatea evaluată plus acuratețea), Astra conduce cu 17,63 din 20. La scorul compus, care include și un clasament de viteză, Luna Pro se impune cu 30,93 din 35, față de 30,05 pentru Astra și 28,13 pentru Opus 5.
Ambele sunt adevărate, și tocmai acesta este punctul esențial. Un benchmark care raportează doar scorul compus vă spune, în mod tacit, că latența contează la fel de mult ca un răspuns corect.
Nimeni nu cumpără un token
| Model | Preț per milion de tokeni de ieșire | Tokeni per răspuns | Cost per răspuns |
|---|---|---|---|
| GPT-6 Astra | 50 USD | 5.201 | 0,2622 USD |
| Claude Opus 5 | 25 USD | 18.190 | 0,4566 USD |
| GPT-5.6 Luna Pro | 1,20 USD | 16.356 | 0,0231 USD |
Astra percepe dublul tarifului per token al lui Opus 5 și totuși costă de 1,7 ori mai puțin pe răspuns, deoarece scrie de 3,5 ori mai puțini tokeni pentru a spune același lucru.
Modelul nominal mai ieftin este, de fapt, cel mai scump.
Concizia este constatarea principală. Avantajul lui Astra nu constă în faptul că este mai inteligent, ci în faptul că știe când să se oprească din scris.
Față de Luna Pro, compromisul se prăbușește: de 11 ori costul pe răspuns pentru mai puțin de un punct la scorul compus. Pentru întrebări și răspunsuri juridice generale în volum mare, acest lucru nu poate fi justificat.
Reglajul raționamentului influențează costul, nu calitatea
Astra oferă o setare a efortului de raționament, așa că am rulat zece prompturi la fiecare nivel. Trecerea de la scăzut la ridicat a multiplicat costul de 1,5 ori și latența de 1,8 ori, iar calitatea evaluată s-a modificat cu -0,17 puncte.
Creșterea nivelului a făcut răspunsurile puțin mai slabe și considerabil mai scumpe. Dacă utilizați Astra, fixați nivelul de efort.
Partea care ar trebui să vă îngrijoreze
Șase întrebări din cinci jurisdicții, formulate în limba pe care ar folosi-o un practician local. Termenele de preaviz din dreptul muncii saudit și limitele perioadei de probă din Emiratele Arabe Unite, în limba arabă. Termenele de prescripție și doctrina clauzelor abuzive din dreptul francez. Regulile privind transferul în Qatar. Legislația egipteană privind datele.
Astra: 83,3% corect din punct de vedere juridic. Luna Pro: 83,3%. Claude Opus 5: 83,3%. Fiecare model a răspuns corect la 5 din cele 6 întrebări.
Toate trei au răspuns în limba corectă, de fiecare dată. Toate trei au citat dispoziția corectă, de fiecare dată. Fiecare a redat apoi greșit conținutul unei dispoziții: Astra și Luna Pro în privința consimțământului pentru transferul transfrontalier prevăzut de legea egipteană privind protecția datelor cu caracter personal (PDPL), Claude Opus 5 în privința articolului 75 din Legea muncii din Arabia Saudită, unde a citat formularea privind preavizul anterioară anului 2025.
Un verificator de citări validează acel răspuns. Orice instrument de detectare a halucinațiilor de pe piață validează acel răspuns. Un client, nu.
Aceasta este distanța dintre fluența într-o limbă și corectitudinea într-o jurisdicție, iar nici o fereastră de context mai mare, nici un model de raționament mai puternic nu o elimină.
Contextul lung este rezolvat. Costul lui, nu.
Am plasat patru clauze contradictorii într-un contract-cadru de prestări servicii (un plafon, o excepție care îl înlătură, o clauză de indexare cumulativă și o clauză privind legea aplicabilă) la 6%, 24%, 47% și 68% din lungimea acestuia. Un răspuns corect presupune găsirea tuturor celor patru și aplicarea ordinii de prioritate corecte. Găsirea doar a primei clauze produce o cifră precisă, prezentată cu încredere, și greșită.
Toate trei au răspuns corect la 25k, 100k și 200k tokeni. Însă obținerea aceluiași răspuns la 200k a costat 2,01 USD pe Astra și 0,15 USD pe Luna Pro. O diferență de 13 ori pentru un rezultat identic.
Determinismul nu poate fi obținut la niciun preț
Aceeași întrebare, același seed, de cinci ori. Niciun model nu a reprodus un răspuns identic. Similaritatea la nivel de cuvânt a variat între 0,47 și 0,78. Două dintre cele trei acceptă un seed și totuși nu produc de două ori același text.
Dacă aceeași întrebare despre un contract primește un alt răspuns marți, nu a fost niciodată fiabilă nici luni. Orice promisiune de consecvență pe care o faceți unui client trebuie construită deasupra modelului, nu cumpărată de la acesta.
Ce i-am spune unei case de avocatură care alege astăzi
Repartizați în funcție de tipul cauzei, nu de marcă. Tabelul nostru pe domenii de practică arată că Astra se află în frunte în majoritatea domeniilor, iar Opus 5 în materie de insolvență și ESG, cu diferențe atât de mici încât decizia ține, de regulă, de cost și latență mai degrabă decât de capacitate.
Nu mutați întrebările și răspunsurile juridice de volum mare pe Astra așteptând un salt de calitate. Luați-l însă în considerare acolo unde plătiți Opus 5 pentru răspunsuri lungi pe care nu le citește nimeni.
Și oricare ar fi alegerea dumneavoastră, verificați jurisdicția. Toate trei vă vor oferi numărul corect al articolului asociat regulii greșite, în limbile în care lucrează piața noastră.
Limitările, spuse deschis
Rezultatele se bazează pe mai puține prompturi decât am planificat, iar Claude Opus 5 a răspuns la 37 din cele 41, față de 41 pentru celelalte două, așadar baza este inegală. Tratați clasamentul ca fiind provizoriu, iar rezultatul multilingv drept constatarea pe baza căreia merită să acționați. Vom măsura din nou când setul complet va fi finalizat și vom publica ceea ce arată.
Am efectuat acest test noi înșine. Nu a fost auditat independent. Metoda este descrisă mai sus, pentru ca dumneavoastră să o puteți verifica.
Încercați HAQQ AI gratuit
Experimentați redactarea juridică și cercetarea asistate de AI
