Stručně: toto je náš test z května 2026. Modelům Claude Sonnet 4, GPT-4o a Gemini 2.5 Flash jsme zadali 100 nejlépe hodnocených otázek všech dob z r/legaladvice. Claude Sonnet 4 uspěl v 88, GPT-4o v 87 a Gemini 2.5 Flash v 78 případech. Všechny tři modely získaly nejnižší skóre v upozorněních a výhradách (3.0 až 3.15 z 5), výrazně pod svou právní přesností (3.98 až 4.30).
Datovaný výsledek, uchovaný jako záznam. Tento benchmark proběhl v květnu 2026 na modelech, které byly od té doby nahrazeny. Aktuální výsledky najdete v článcích nejlepší AI pro právní práci, aktualizace říjen 2026, právní benchmark Claude Opus 5.5 (23. září 2026, 120 slepých hodnocení) a jak otestovat legal AI (30. září 2026, pět záludných otázek ze SAE, Saúdské Arábie a Libanonu, 80 odpovědí). Níže uvedená čísla jsou beze změny převzata z původního článku.
Klíčová fakta
Vyzkoušejte HAQQ AI zdarma
Zažijte sepisování a rešerše s podporou AI
- Úspěšnost u 100 nejlépe hodnocených otázek všech dob z r/legaladvice: Claude Sonnet 4 88/100, GPT-4o 87/100, Gemini 2.5 Flash 78/100 (test HAQQ, květen 2026).
- Nejslabší oblast u všech tří modelů: Appropriate Caveats, 3.0 až 3.15 z 5. Legal Accuracy se pohybovala od 3.98 do 4.30 (test HAQQ, květen 2026).
- U 20 nových otázek zveřejněných v předchozích 48 hodinách: Claude Sonnet 4 95 %, GPT-4o 90 %, Gemini 2.5 Flash 85 % (test HAQQ, květen 2026).
- Hodnotitel: Claude Sonnet 4 ohodnotil všechny odpovědi, včetně vlastních, bez ověření advokátem (test HAQQ, květen 2026).
- Souvislosti: World Justice Project v roce 2019 odhadl, že 5.1 miliardy lidí má nenaplněné potřeby v oblasti spravedlnosti (WJP, Measuring the Justice Gap, 2019).
Upozornění na střet zájmů. HAQQ vyvíjí legal AI a tento test navrhl, provedl a vyhodnotil. Samotný HAQQ mezi testovanými modely nebyl.
Jak jsme test nastavili?
Vzali jsme 100 nejlépe hodnocených příspěvků všech dob na r/legaladvice: skutečné otázky o sporech mezi pronajímateli a nájemci, pracovním právu, svěření dětí do péče, trestních obviněních, újmě na zdraví a dalším. Průměrný příspěvek měl přes 2,200 znaků, takže většina otázek obsahovala nepřehledný popis skutečností.
Každá otázka byla zadána třem modelům přes OpenRouter se stejným systémovým promptem: jednej jako zkušený americký advokát, urči jurisdikci, rozpoznej právní otázky, uveď příslušné právní předpisy, proveď analýzu a poté poraď.
- Claude Sonnet 4 (Anthropic)
- GPT-4o (OpenAI)
- Gemini 2.5 Flash (Google)
Jak jsme odpovědi hodnotili?
Claude Sonnet 4 vystupoval jako hodnotitel a každou odpověď ohodnotil od 1 do 5 v pěti dimenzích: Legal Accuracy (jsou citované předpisy správné?), Issue Completeness (zachytil všechny právní otázky?), Reasoning Quality (drží argumentace pohromadě?), Practical Value (pomohla by člověku udělat správný další krok?) a Appropriate Caveats (uvádí, že nejde o právní poradenství, a odkazuje na místního advokáta?).
Odpověď uspěla, pokud její průměr byl alespoň 3.5 a žádná dimenze neklesla pod 2. Hodnocení modelů jiným modelem přináší zkreslení, k čemuž se vrátíme níže.
Který model uspěl v největším počtu otázek?
Claude Sonnet 4 uspěl v 88 ze 100 otázek, GPT-4o v 87 a Gemini 2.5 Flash v 78. Při 100 otázkách a jediném hodnotiteli je rozdíl jednoho bodu mezi Claude a GPT-4o šum: berte je jako shodné.
Jak modely dopadly v jednotlivých dimenzích?
Legal Accuracy se pohybovala od 3.98 do 4.30 z 5. Gemini získal nejvyšší skóre v Issue Completeness (4.82), před Claude (4.58). Nejsilnější dimenzí Claude byla Practical Value s 4.73, oproti 4.21 u GPT-4o, převážně proto, že jeho odpovědi uváděly více konkrétních dalších kroků. Nejslabším místem všech modelů byly výhrady a upozornění.
Co jsme se v květnu 2026 dozvěděli?
Modely obvykle určily správnou oblast práva
Ve většině ze 100 případů každý model určil oblast práva, rozpoznal hlavní právní otázky a poskytl radu, podle které mohl člověk jednat. To byla povzbudivá část testu.
Slabým místem byla upozornění a výhrady
Všechny tři modely získaly v Appropriate Caveats 3.0 až 3.15. Pouštěly se do hloubky analýzy, často správně, aniž by uvedly, že jde o obecné informace nebo že by se dotyčný měl obrátit na místního právníka. Sebevědomá odpověď bez varování je riziková, i když je správná, protože čtenář nepozná, které její části závisejí na jeho státě nebo skutečnostech případu. To je jeden z důvodů, proč nad každý model, který HAQQ používá, přidáváme ochranné mechanismy, upozornění a předání právníkovi.
Vysoké průměry neznamenaly vysokou úspěšnost
Gemini 2.5 Flash měl nejvyšší průměry v Legal Accuracy (4.30) a Issue Completeness (4.82), ale nejnižší úspěšnost, 78 %. Některé jeho odpovědi byly useknuté, jiné úplně vynechaly upozornění a v této dimenzi neuspěly. V právní práci je těžké spoléhat na odpověď, která je většinou výborná a jinak neúplná.
Jak spolehlivý je AI hodnotitel?
Claude hodnotil všechny tři modely, včetně sebe sama. To vyvolává tři problémy, které jsme v tomto testu nemohli odstranit: možnou výhodu domácího prostředí, zkreslení ve prospěch struktur odpovědí, které hodnotitel rozpozná, a chybějící referenční pravdu, protože odpovědi neověřil žádný advokát. Skóre měří shodu s názorem jednoho modelu na to, co je dobrá odpověď.
Naše pozdější testy to řešily. Benchmark Opus 5.5 ze září 2026 použil dva hodnotitele mimo Anthropic a test se záludnými otázkami použil tři slepé hodnotitele a zveřejnil všech 80 odpovědí.
Platily výsledky i pro nové otázky?
Sto nejlepších příspěvků je dost staré na to, aby se objevily v trénovacích datech. Abychom to ověřili, spustili jsme stejný postup na 20 otázkách zveřejněných na r/legaladvice v předchozích 48 hodinách. Claude Sonnet 4 získal 95 %, GPT-4o 90 % a Gemini 2.5 Flash 85 %. Dvacet otázek je malý vzorek, takže to chápeme jako „žádný znak zapamatování“, nikoli jako zlepšení.
Co to znamená pro produkt legal AI?
I v květnu 2026 dokázaly modely uvažovat o běžných amerických právních otázkách dost dobře na to, aby byly většinou užitečné. Zbývajících 5 až 15 % je místo, kde si produkt získává důvěru: kontrola, kterou odpověď kterého modelu ponechat, doplnění upozornění, která modely vynechaly, ukotvení odpovědí v jurisdikci a dokumentech kanceláře a zajištění, že každou citaci lze dohledat ke zdroji. To je práce, kterou Justinian, právní AI engine HAQQ, odvádí nad modely, které provozuje.
Metodika
- Datum testu: květen 2026.
- Otázky: 100 nejlepších příspěvků všech dob na r/legaladvice plus 20 příspěvků z předchozích 48 hodin, vyfiltrovaných na věcné textové příspěvky.
- Modely: Claude Sonnet 4, GPT-4o a Gemini 2.5 Flash, všechny volané přes OpenRouter s totožnými systémovými prompty.
- Prompting: chain of thought s pětikrokovým rámcem právního uvažování (jurisdikce, právní otázky, právo, analýza, rada).
- Hodnotitel: Claude Sonnet 4, jediný hodnotitel, pět dimenzí hodnocených od 1 do 5, bez kontroly advokátem.
- Pravidlo úspěchu: průměr alespoň 3.5 a žádná dimenze pod 2.
- Data: kód, otázky, odpovědi a skóre byly v době testu uloženy v repozitáři.
