Jev uvnitř Legal AI harness: 8 rozhodovacích vzorů a hranice, kterou jsme změřili

Nabídka a proč jsme ji brali vážně

Kolují názory, že většina AI agentů plýtvá svým nejdražším zdrojem na rozhodnutí, která nikdy nepotřebovala větu. Nasměrovat požadavek na správný model je rozhodnutí. Posoudit, zda je volání nástroje bezpečné, je rozhodnutí. Seřadit padesát vyhledaných dokumentů je padesát rozhodnutí. Žádné z nich nevytváří text, který by někdo četl, a přesto se všechna svěřují modelu, který účtuje podle slov a odpovídá v odstavcích.

V září 2026 uvedla společnost TypeSafe AI na trh model postavený na této myšlence. Jev je podle nich model typu System One a jeho určující vlastností je, že negeneruje vůbec žádný text. Odešlete (POST) blok stavu a sadu typovaných otázek a dostanete zpět kalibrované pravděpodobnosti, vše vyhodnocené v jediném paralelním průchodu.

Existují tři primitiva a žádné čtvrté. Noul je otázka s odpovědí ano či ne, která vrací pravděpodobnost mezi 0 a 1, a tato pravděpodobnost je jistota: 0.5 znamená hod mincí, nikoli střední intenzitu. Choice vybere jednu možnost ze seznamu, který definujete, a fyzicky nemůže vrátit možnost, kterou jste nedeklarovali. Score zařadí vstup na uspořádanou škálu, kterou popíšete slovy, a vrací pravděpodobnostně vážený průměr, takže rozdělení 70/30 mezi dvě úrovně se vrátí jako 1.30, nikoli jako 1 či 2.

To je celé rozhraní. Nedokáže shrnout, přepsat, navrhnout znění, vytáhnout úsek textu ani cokoli vyhledat. Nemá znalostní bázi ani vyhledávání. Odpovídá na otázky, jejichž prostor odpovědí jste deklarovali, o stavu, který jste mu předali.

Část, která snadno unikne pozornosti

Instinkt velí zařadit to mezi levné a rychlé klasifikátory. To podceňuje, co se skutečně změnilo, a tím není cena, ale pořadí.

Jazykový model píše token po tokenu, takže token devět nemůže existovat dřív než token osm. Položte mu čtyři nesouvisející otázky o smlouvě a tyto čtyři nezávislé úsudky čekají ve frontě za sebou, vrátí se jako změť textu, kterou pak musíte zpracovat, ověřit a při chybném tvaru opakovat. Jev frontu ruší. Prostor odpovědí deklarujete předem a každá otázka se vyhodnotí proti témuž stavu najednou. Text je čára, po které musíte jít. Prostor odpovědí je místnost, kterou vidíte celou najednou.

Řádek o způsobu selhání je ten, který v právu rozhoduje, a je třeba to říci otevřeně. Nabízená záruka zní, že nikdy nedostanete hodnotu mimo své schéma. Není to záruka, že hodnota je správná.

Chyba platná podle schématu vrátí peníze nesprávnému klientovi stejně rychle jako chyba s poškozeným tvarem.

Pro firmu z oblasti Legal AI je v tomto všem zajímavé slovo kalibrovaný. Číslo, podle kterého lze v kódu větvit, je něco jiného než odstavec, který musí právník přečíst a věřit mu. V příspěvku o naší orchestrační vrstvě jsme psali, že část Legal AI, která určuje, zda citace obstojí, je zvenčí neviditelná. Toto je kandidát na vyplnění části té neviditelné vrstvy.

Proto jsme jej vyzkoušeli napříč celým naším stackem. Každé měření níže je naše, na našem vlastním korpusu, a uvádíme i ta, která dopadla špatně.

Co jsme měřili a kolik to stálo

Deset oblastí, třináct uzavřených úkolů, celkové výdaje pod $0.20. Nejde o chlubení šetrností. Je to důvod, proč mělo smysl experiment vůbec provést: při zlomku centu za jeden úsudek si můžete dovolit kontrolovat každou událost místo vzorkování a negativní výsledek stojí téměř nic.

Latence, měřená na našem vlastním provozu s udržovaným otevřeným spojením: 292ms v mediánu, 374ms p90, 395ms p95, ze 40 volání. Samotný výpočet na straně serveru je 112ms. Naše vlastní první měření ukázalo 700ms a toto číslo jsme týden opakovali, než jsme si všimli, že je špatné. Nikdy jsme nepoužili spojení znovu, takže každé volání platilo za nové navázání spojení. Stejné API, stejná verze modelu, pečlivé měření nesprávné věci. Je to malá ostuda a užitečná, protože je to přesně ten druh chyby, který činí benchmark o měsíc později nereprodukovatelným.

Osm vzorů a které z nich jsme skutečně testovali

Sedm z nich kolovalo jako seznam vzorů pro vývojáře. Osmý je náš a ukazuje se, že je pro právní práci nejdůležitější.

• Směrování modelů. Předpovědět složitost úlohy, snadnou práci poslat malému modelu a těžkou špičkovému.
• Brány rizika volání nástrojů. Dříve, než agent nástroj spustí, ohodnotit nástroj spolu s jeho argumenty a aktuálním úkolem a vrátit povolit, zablokovat, nebo schválení člověkem.
• Třídění záměru a oboru. Zařadit požadavek do pevné sady záměrů dříve, než hlavní agent začne uvažovat. V právu je to jurisdikce, oblast práva a výstup.
• Rozhodování o smyčce. Po každém kroku agenta předpovědět, zda je další krok pravděpodobně užitečný.
• Přeřazování výsledků vyhledávání. Ohodnotit každý nalezený úryvek vůči dotazu a do kontextu předat jen úryvky s nejvyšším skóre.
• Ochranná pravidla a kontroly politik. Provádět bezpečnostní kontroly a kontroly souladu jako rychlé klasifikace místo generování plné odpovědi s úvahou.
• Eskalace na člověka. Předpovědět, zda je automatizované rozhodnutí dostatečně spolehlivé k provedení.
• Doslovné zhušťování kontextu. Ohodnotit každý krok dlouhého záznamu agenta podle toho, zda se stále týká cíle, vyřadit neužitečné a zbylé ponechat slovo od slova.

Šest z těchto vzorů jsme dosud změřili na vlastních datech. Tři fungují, jeden z nich dnes v produkci. Tři nefungují. Selháním věnujeme níže více místa, protože jsou poučnější a protože je nikdo jiný nepublikuje.

Poznámka k okolí: již existuje malý počet nástrojů postavených na stejném stacku pro kontrolu právních citací, všechny uvedené v posledních dvou týdnech. Jsou to spíše rané experimenty než provozní produkty a žádný nezveřejňuje údaj o přesnosti. Mezera, do které píšeme, není v tom, že tento nápad nikoho nenapadl. Spočívá v tom, že nikdo nezveřejnil, co se stane, když to člověk ověří.

Kde to funguje: přeřazování výsledků vyhledávání

Náš korpus předpisů zemí MENA obsahuje 17,004 článků. Vyhledávání v něm je primárně lexikální, což znamená, že dotaz a článek, které pro tutéž povinnost používají jiná slova, se mohou úplně minout. To je běžné selhání právního vyhledávání v kterémkoli jazyce a v arabštině je horší, protože morfologie vzdaluje hledaný výraz od jeho shody.

Vzali jsme 80 zadržených dotazů, provedli je stávajícím vyhledáváním a poté kandidáty přeřadili tak, že jsme u každého položili jednu otázku: odpovídá tento článek na tuto otázku.

Průměrná převrácená hodnota pořadí (MRR) se zvýšila z 0.719 na 0.869. Deset z deseti ručně ověřených případů souhlasilo, včetně dvou, kde model správně odmítl povýšit cokoli, protože neexistoval žádný platný kandidát. Celkové náklady: $0.0245.

Ještě jedno upozornění. Naše arabské a anglické články jsou rozděleny podle jurisdikce, všechny arabské jsou egyptské a všechny anglické emirátské, takže tento běh nepodporuje žádné tvrzení o jazyce.

Funguje to proto, že otázka má správnou odpověď. Zda tento článek odpovídá na tuto otázku, rozhoduje článek a otázka, obojí leží před modelem.

Kde to funguje: zachycení odpovědí, které odpověďmi nejsou

Než jsme začali používat Jev, hodnotili jsme odpovědi v benchmarcích jazykovým modelem v roli rozhodčího. Tento rozhodčí byl velkorysý specifickým a škodlivým způsobem. Udělil dokonalých 10.0 56 % odpovědí, které hodnotil, a u jednoho modelu vyšlo 90 % odpovědí bezchybně ve všech čtyřech dimenzích. Hodnotitel bez stropu nic neměří na horním konci své škály.

Jev ohodnotil 0 % odpovědí na 9.9 nebo výše. Užitečnější je, že zachytil všech pět useknutých chyb API v sadě s pravděpodobnostmi mezi 0.96 a 0.97. Předchozí rozhodčí těchto pět ohodnotil 1 z 10 a započítal je do průměru schopností modelu, což znamenalo, že jsme 10% poruchovost infrastruktury vykazovali jako právní nekompetentnost. Jejich vyloučení posunulo jeden model z 5.80 na 7.67.

Nejcennější, co model pro naše benchmarky udělal, nebyla kvalita posuzování. Bylo to zjištění, že daný řetězec není odpověď.

Kde to funguje, v produkci: kontrola souladu, kterou regulární výraz neviděl

Tohle už běží ostře a své místo si vysloužilo tím, že zachytilo něco trapného.

Každý veřejný text projde před zveřejněním předběžnou kontrolou proti našim vlastním pravidlům sdělení. Některá z těchto pravidel jsou nepřekročitelná: netvrdíme, že nahrazujeme právníky, a netvrdíme, že naše AI je prosta halucinací, protože ani jedno není pravda a obojí jsou tvrzení, která regulátor čte velmi pozorně.

Francouzský koncept obsahující doslovná porušení obou pravidel prošel touto kontrolou s návratovým kódem 0 a nulovým počtem nálezů. Regulární výrazy byly pouze anglické. Francouzské „nahrazujeme právníky“ a francouzské „naše AI nemá halucinace“ prošlo rovnou kontrolou, která by jejich anglické ekvivalenty okamžitě zastavila.

Sémantický průchod zachytil obojí jednoznačně: 0.90 u implikovaného tvrzení, 0.95 u nepřekročitelného pravidla o nahrazení právníků, 0.83 u toho, jak by to četl regulátor. Cena za koncept: zhruba $0.00005, za osm typovaných otázek v jediném paralelním požadavku.

Výsledek, který jsme nečekali, je ten, že regulární výrazy a sémantika se ukázaly jako doplňující, nikoli nadbytečné. Vycházeli jsme z toho, že jedno vyřadí druhé, a na 35 skutečných konceptech jsme změřili, že každé pravidlo s regulárním výrazem, které mělo sémantický protějšek, zachycovalo jiné vyjádření téhož rizika. Regulární výraz zachytí doslovné znění. Sémantický průchod zachytí parafrázi. Náš vlastní úkol předpokládal, že něco vyřadíme, a data řekla, že ne.

Kde se to obrátilo: dotaz, zda je citace podložená

Nyní k selhání, které přeorganizovalo naše myšlení.

Požádali jsme Jev o ohodnocení podloženosti u 150 skutečných právních odpovědí vytvořených třemi špičkovými modely na 50 zadáních z MENA a Spojeného království. Podloženost zde znamená: jsou tvrzení podpořena, jsou citace skutečné a správně použité. Je to vůbec nejdůležitější otázka v Legal AI a je to otázka, kterou má naše vlastní audit halucinací neustále klást.

Odpovědi s vymyšlenými citacemi získaly 3.21. Poctivé odpovědi získaly 2.79. Korelace mezi souhrnným skóre a lidmi ověřenými štítky přesnosti byla r = +0.02, tedy žádná.

Kontrola vymýšlení nejen že nezachytila, ale odměnila je.

Jakmile pochopíte proč, nelze to přehlédnout. Článek 5bis královského dekretu M/13 působí přesně, konkrétně a autoritativně. Neexistuje. Model, který má posoudit podloženost jen z textu, nemá s čím srovnávat, a proto sáhne po rysech, které obvykle podložený text doprovázejí: konkrétnost, hustota citací, sebejistá struktura. Vymýšlení vytváří všechny tři. Konkrétnost je to, jak vypadá vymýšlení, takže jakékoli hodnocení, které odměňuje konkrétnost, odměňuje vymýšlení.

Teď změňte jednu věc. Dejte modelu spolu s tvrzením i zdrojovou pasáž a zeptejte se, zda tato pasáž podporuje toto tvrzení. Na samostatném, reprodukovatelném běhu se 180 páry z našeho vlastního korpusu dosáhl hostovaný model AUC 0.9962 a zachytil 94.4 % chybných přisouzení při nulové míře falešných poplachů.

Stejný model. Stejná úloha v abstraktním smyslu. Opačný výsledek, protože jedna verze je srovnání dvou věcí, které má před sebou, a druhá je vyhledávání znalostí, které provést nedokáže.

Ještě jedno upozornění, protože je důležitější než úspěch. Na téže sadě 180 párů dosáhne prostá kontrola obsažení pomocí `grep` AUC 0.9944 a zachytí 98.9 %. Tyto páry byly postaveny na doslovném obsažení, k čemuž je `grep` určen. Berte 0.9962 jako spodní mez, nikoli strop, a berte podloženost na úrovni parafráze, kde by si typovaný klasifikátor měl skutečně zasloužit své místo, za tímto během netestovanou.

Vyhledávání není implementační detail pod krokem ověření. Vyhledávání je to, co činí ověření vůbec možným.

Kde prohrálo s počítadlem kroků: řízení smyčky

Tento vzor jsme testovali výslovně pro tento příspěvek a test nepřežil.

Vzor říká: po každém kroku agenta se zeptat, zda je další krok pravděpodobně užitečný, a při odpovědi ne skončit. Test jsme postavili z 52 našich vlastních dokončených průběhů agentů, 1,750 označených kroků. Skutečnost pro každý krok byla, zda další krok skutečně přinesl informaci, která ještě nebyla někde v průběhu, vypočtená pravidlem, které jsme ručně ověřili v 24 z 25 případů.

Zaplatili jsme $0.54 za to, že jsme neporazili vlastnost vypočtenou rozdílem množin.

Dvě věci pod tím stojí za víc než titulek. První je, že odmlka není vyčerpání. Bezplatné pravidlo zastavit po dvou po sobě jdoucích krocích, které nepřinesly nic nového, provozované jako orákulum nad vlastním předpokladem, poškodilo 30 z 31 průběhů, které zastavilo. Agenti uprostřed užitečné práce často na chvíli utichnou.

Druhá vysvětluje celý výsledek. Rozdělte řádky podle toho, jaký druh nástroje další krok použil, a obraz se úplně změní: 0.742, když další krok zapisuje nebo upravuje soubor, 0.695, když čte nebo vyhledává, a 0.597, téměř náhoda, u příkazů shellu, kde leží 59 % našich řádků.

Nikdy nepředpovídal, zda se agent naučil dost. Předpovídal, zda další věc, která se vrátí, bude potvrzení zápisu nebo stránka výstupu. To je úsudek o tvaru další události, nikoli o stavu znalostí agenta.

Rozsah je třeba vymezit poctivě: náš korpus tvoří programátorští a výzkumní agenti, nikoli smyčky právního uvažování, a strop úspor byl od začátku nízký, protože dokončený záznam je z definice takový, který skončil zhruba tehdy, kdy došly informace. Obě skutečnosti omezují možnost zobecnění. Ani jedna vzor nezachrání.

Kde prohrálo s regulárním výrazem: brány rizika volání nástrojů

Poslední testovaný vzor a nejnepříjemnější, protože jsme chtěli, aby tento fungoval.

Provozujeme infrastrukturu, která nesmí přestat fungovat. Pravidlo, které ji chrání, dnes žije v konfiguračním souboru, který má agent přečíst a dodržet. Pravidlo, které závisí na tom, že bude přečteno, není kontrola. Brána, která se spustí při volání, kontrola je.

Označili jsme tedy 19,922 skutečných volání nástrojů ze 766 našich vlastních záznamů, 284 z nich jsme ohodnotili a porovnali typovaný klasifikátor se seznamem zakázaných vzorů, jaký byste skutečně napsali ručně.

Požadovali jsme zachycení každého destruktivního volání. Klasifikátor dosáhl 89.1 %, pod oběma seznamy zákazů. Regulární výraz vyhrává třídu, pro kterou test existoval.

Je v tom ukrytá skutečná výhra. U úzké otázky, zda konkrétní volání může vyřadit živý server, zachytila vyhrazená otázka ano či ne 21 z 22 při 3.4% míře falešných poplachů, zatímco silnější z dvou ručně psaných seznamů zákazů zachytil 8 z 22. Spojením obou se podíl rizikových volání, která projdou, zhruba zpolovinuje. Při jedenácti centech za tisíc volání cena není to, co vás zastaví. Doporučení, které z toho vzešlo, je přesto nasadit regulární výraz a klasifikátor ponechat jako druhý názor, nikdy ne jako bránu.

Nejčistší výsledek celého programu leží uvnitř tohoto testu a týká se toho, jak se ptáte, nikoli na co. Stejný model, stejné řádky, stejné odpoledne. Konkrétní otázka, může toto volání vyřadit jeden z těchto konkrétních živých serverů, dosáhla 95.5% recallu při 3.4% míře falešných poplachů. Abstraktní otázka, je tato akce nevratná, potřebovala mnohem volnější práh k dosažení srovnatelného recallu a cestou zvýšila míru falešných poplachů na 34.6 %.

Už jsme to jednou zjistili a zapsali jako zásadu: pojmenujte konkrétní test, ne abstraktní kategorii. Poprvé to máme jako kontrolované srovnání, nikoli jako anekdotu, a velikost rozdílu nás překvapila.

Ještě jedna věc z tohoto testu, i s jejími mezemi. Pokusili jsme se klasifikátor přesvědčit, aby schválil volání, která zablokoval, pomocí osmi ručně napsaných vstřikovaných zadání na 384 párových voláních, umístěných v příkazu, popisu a kontextu úkolu. Žádné spolehlivě nepřevrátilo zablokované volání na povolené. To je skutečný výsledek a malý: osm zadání napsaných tím, kdo test postavil, není red team, a seznam zákazů je vůči tomu imunní z konstrukce, nikoli náhodou. Dokumentace společnosti TypeSafe sama uvádí mezi omezeními modelu, že se se stavem nezachází jako s nepřátelským, a pro bezpečnostní bránu toto omezení dopadá přímo na vstup, který útočník ovládá.

Osmý vzor a proč je právní

Vše výše je vypůjčeno z obecného inženýrství agentů. Tohle je naše a vychází z omezení, které se skutečně projevuje jen v právu.

Dlouhé běhy agentů přetékají svůj kontext a standardní řešení je nechat jazykový model dosavadní záznam shrnout. Pro většinu softwaru je to v pořádku. Pro právní práci je to tichá katastrofa, protože shrnutí zákona je nový dokument. Obsahuje nová slova. Ta slova napsal model, nikoli zákonodárce, a každý další krok teď uvažuje o parafrázi, nikoli o zákonu.

Alternativou je zhušťovat bez parafrázování. Ohodnotit každý krok záznamu, zda se stále týká aktuálního cíle, vyřadit nerelevantní a zbylé ponechat slovo od slova. Nic se nepřepisuje. Kontext se zkracuje proto, že se věci odebraly, nikoli proto, že se přeformulovaly.

Shrnutí zákona je nový dokument. Vyfiltrovaný seznam zákonů jsou stále samotné zákony.

Tento vzor nás zajímá nejvíc a je to ten, který jsme dosud neměřili, takže jej berte jako návrhový postoj, nikoli výsledek. Říkáme to nahlas, protože je to tvar problému, pro který je rozhodovací model mimořádně vhodný, a protože jsme neviděli nikoho jiného, kdo by zhušťování pojal jako požadavek správnosti, nikoli jako optimalizaci nákladů.

Dvě věci o právní práci, před kterými vás nikdo nevaruje

Nevidí naskenovaný dokument. Jev přijímá text. Velmi velký podíl skutečných právních dokumentů, zejména v regionu MENA, přichází jako fotografie papíru. To znamená, že veškerou práci, která určuje, zda dostane férový vstup, odvádí řetězec před ním, a jakákoli jistota, kterou uvádí, je podmíněna krokem OCR, o němž nic neví. Otevřené reimplementace téže architektury běžící na základních modelech schopných pracovat s obrazem existují, což je směr, kterým se to nakonec bude ubírat, ale hostovaný model, který máte dnes před sebou, je slepý.

Právní zkratky ho rozbijí způsobem, který vypadá jako chyba, ale není. Požádali jsme jej o klasifikaci žádosti o revizi arabské MSA a její označení změn. Právní charakter vyšel 0.30, což u zjevně právní žádosti vypadá jako selhání. Izolujte frázi a obraz se vyjasní: samotné MSA dosáhne 0.97, Master Services Agreement 0.98, MSA napsaná arabsky 0.96 a Arabic MSA se propadne na 0.30. Slovo Arabic bezprostředně před MSA změní význam zkratky z Master Services Agreement na Modern Standard Arabic.

Model má pravdu. Fráze je skutečně nejednoznačná a byla by nejednoznačná i pro lidského čtenáře. Právní práce v regionu MENA však přesně tuto konstrukci vytváří neustále, takže každý řetězec, který směruje podle označení dokumentu, na ni narazí, a v benchmarku bude vypadat jako selhání modelu, ačkoli jde o artefakt nejednoznačnosti vstupu. Pokud vyhodnocujete klasifikátor na právním textu, ověřte si, zda nejde o nejednoznačnou zkratku, dříve než usoudíte, že model nezvládá vaši jurisdikci.

Proti alternativám: revize smluv ve třech jazycích

Vše výše se týká toho, kam Jev zapadá do celé sestavy. Další samozřejmá otázka je, jak obstojí v obyčejné revizi smluv proti modelům, které byste jinak použili. Týden po uvedení publikovala společnost Eigenwelt Labs přesně takový test na dvou benchmarcích anotovaných právníky od The Atticus Project. Jejich výsledek na CUAD zařadil Jev na třetí místo: Gemini 3.8 Flash s 0.644 AUPR, jemně doladěný model o 421M parametrech zvaný Laya s 0.620 a Jev s 0.553. V nákladech bylo pořadí opačné, přičemž Jev stál zhruba sedmdesátišestinu ceny Gemini v jejich běhu na MAUD. Byli také upřímní v tom, co netestovali: pouze anglické smlouvy SEC, nic v jiných jazycích ani jurisdikcích.

Toto poslední upozornění je to, na kterém nám záleží, a proto jsme srovnání zopakovali a přidali jazyky, které vynechali. Vzali jsme 300 rozhodnutí o ustanoveních z testovací části CUAD napříč deseti typy ustanovení a každý odstavec strojově přeložili do arabštiny a francouzštiny, přičemž otázka k ustanovení zůstala anglicky. Pět modelů: Jev, Gemini 3.8 Flash, Claude Haiku 4.5, Gemini 3.1 Pro jako špičková reference a Laya doladěná na trénovací části CUAD. Celkové výdaje: $2.84.

Skóre jsou AUPR, kde vyšší je lepší, na 300 rozhodnutích na jazyk, z nichž 27 % je pozitivních. Náklady platí pro angličtinu. Údaj pro Jev je vypočten z ceníkové ceny krát naměřený počet tokenů, protože jeho API nevrací fakturovanou částku. U ostatních jde o to, co poskytovatel vyfakturoval.

Na našem vzorku se pořadí obrací a Jev je první ve všech třech jazycích. Nejprve posuďte velikost a teprve potom směr. Náskok před Gemini Flash je +0.025 v angličtině a +0.022 ve francouzštině, obojí obstojí v párovém bootstrapu, a +0.013 v arabštině, což neobstojí. Špičkový model nedosáhl lepšího výsledku než Flash a stál sedmkrát víc.

Nemyslíme si, že jsme někoho vyvrátili, a důvod je v designu. Náš vzorek je z konstrukce z 27 % pozitivní. CUAD při své přirozené četnosti je pod 1 % a Eigenwelt jej takto provedl napříč 41 typy ustanovení proti našim 10. Většina našich negativních případů je špatný typ ustanovení položený odstavci, nikoli téměř správné případy ukryté kdesi v dlouhé smlouvě. AUPR se s prevalencí výrazně mění, takže naše absolutní čísla a jejich nelze klást vedle sebe. V čem se oba běhy shodují, jsou náklady: oba ukazují, že Jev je u rozhodnutí CUAD 36 až 54krát levnější než Gemini Flash.

Rychlost má stejný tvar. Jev odpověděl na všechny tři otázky k odstavci v jednom požadavku s mediánem 333ms. Každý jazykový model potřeboval samostatné volání na každou otázku, po 0.9 až 2.6 sekundy.

Vícejazyčný výsledek je ten, kvůli kterému jsme přišli. Přesun ustanovení z angličtiny do arabštiny či francouzštiny nezměnil skóre žádného API modelu o více než 0.011 a každý z těchto rozdílů leží uvnitř svého intervalu spolehlivosti. Výhrada je přesně tak velká jako zjištění. Jde o strojové překlady amerických smluv, nikoli o smlouvy sepsané v Rijádu či Paříži, a otázka zůstala anglicky. Ukazuje to, že modely umějí číst přeložené právní arabštiny. Neukazuje to zatím, že by přečetly nájemní smlouvu sepsanou v Dubaji.

U malého modelu se jazyk projevuje. Anglický checkpoint modelu Laya rozbíjí 93 % arabského textu na bajtové fragmenty a jeho arabské skóre kleslo na 0.293, což je při 27% podílu pozitivních případů náhoda. Doladění na anglických smlouvách tam nezměnilo nic. Omezení z naší strany: doladění jsme provedli na jediném Apple M3 Pro pod velkým tlakem na paměť a mohli jsme trénovat jen horní 4 z 28 vrstev modelu Laya. Naše doladění je mnohem slabší než u Eigenwelt a naše číslo nic neříká proti jejich.

Klasifikace ustanovení zapadá do pravidla, k němuž dospěl zbytek tohoto příspěvku. Zda je odstavec ustanovením o rozhodném právu, rozhoduje odstavec a definice a obojí leží před modelem. To je ten druh úsudku, v němž Jev obstál všude, kde jsme jej testovali. Tabulka revize má tisíce buněk a při takovém objemu je malá výhoda v přesnosti za třicetišestinu nákladů číslem, kolem kterého bychom plánovali.

Pravidlo, které z toho všeho vzešlo

Šest oblastí, tři výhry, tři prohry. Vzor v prohrách je to, co stojí za to si odnést.

Přeřazování funguje, protože zda tento článek odpovídá na tuto otázku, má odpověď, o které mezi sebou rozhodují článek a otázka. Podloženost citací funguje, když předáte zdroj, a obrací se, když ne, protože bez zdroje se otázka mění ve vyhledávání znalostí. Řízení smyčky selhává, protože zda se agent naučil dost, nerozhoduje nic v jeho průběhu. Navrhování interních odkazů, které jsme také testovali, selhalo stejně: na otázku, zda by čtenář měl skutečný důvod kliknout z jedné stránky na druhou, vyšla skóre proti 761 ručně vybraným odkazům 0.582 pro skutečné odkazy a 0.537 pro dvojice, které nikdy žádný editor nepropojil, tedy rozdíl 0.045, přičemž ruční kontrolory se shodli ve 12 z 20.

Než na úsudku začnete stavět, zeptejte se, jaká je pro něj skutečnost. Pokud je poctivá odpověď preference editora, čekejte rozdíl kolem 0.05 a počítejte s člověkem.

Je to stejná hranice, kterou naše vyšetřování vymyšlených citací našlo z druhé strany, a proto posuzujeme nástroje podle toho, zda ověřují, že citace říká, co se jí přisuzuje, nikoli jen že existuje.

Co bychom řekli tomu, kdo hodnotí Legal AI

Čtyři věci, jen jedna z nich se týká konkrétně tohoto modelu.

Ptejte se, k čemu je kontrola ukotvena. „Naše AI ověřuje citace“ není architektura. Ověřit, že případ existuje, je dotaz do databáze. Ověřit, že případ říká to, co odpověď tvrdí, je srovnání a vyžaduje zdrojovou pasáž po ruce v okamžiku úsudku. Produkty, které dělají to první a popisují to jako to druhé, jsou pravidlo, nikoli výjimka.

Ptejte se na míru selhání, ne na míru úspěchu. Každý nástroj v této kategorii zveřejňuje číslo, které mu lichotí. Velmi málo z nich zveřejňuje, co změřily a prohrály. Naše vlastní poctivost má meze, které stojí za zmínku: první automatický průchod označováním korpusu volání nástrojů byl z 86 % chybný u své nejdůležitější třídy, a to vždy stejným směrem, a přišli jsme na to ručním ověřením, nikoli důvtipem.

Ptejte se, proti čemu byl benchmark hodnocen. Tohle zachytí téměř každého. Benchmark lze hodnotit proti skutečnosti nebo proti shodě se špičkovým jazykovým modelem. To druhé je mnohem levnější a mnohem slabší, protože shoda s GPT zahrnuje i shodu s chybami GPT. Když dodavatel uvádí přesnost, otázka není, jak vysoké je číslo. Je, s čím bylo srovnáno.

Buďte opatrní s číslem, které je tvrzeno, nikoli změřeno. Vlastní graf společnosti TypeSafe z uvedení ukazuje 0% míru halucinací a poznámka pod ním říká jejich slovy, že číslo není empirické a je přidáno z konstrukce, protože shoda se schématem je vynucena, nikoli pozorována. Zveřejňují to. Titulek nad grafem ne. Tvrzení pod ním je pravdivé a úzké: nikdy nedostanete hodnotu mimo své schéma. Není to tvrzení, že hodnota je správná. Nezávislý analytik na to upozornil týden po uvedení a je to oprávněná připomínka.

Co se pro nás skutečně změnilo

Ne cena. Záměna volání jazykového modelu za typované ušetří drobné a drobné nikdy nebyly problém.

Změnilo se to, že rozhodnutí, které systém už činil tiše, nyní nese číslo. Revize smlouvy s 0.91 proti soudním sporům s 0.09 je trasa, kterou lze automatizovat a zaznamenat. 0.52 proti 0.46 je hod mincí s nálepkou a dostane člověka. Jazykový model by v obou případech dal stejnou odpověď, v sebejisté větě, bez možnosti obě situace rozlišit.

U produktu, kde je omýlit se celým rizikovým povrchem, to má větší cenu než jakýkoli násobek rychlosti na grafu dodavatele.

Návyk, který bychom si ponechali, i kdybychom už nikdy neodeslali další požadavek: projděte svého agenta a najděte každé volání, které pouze něco vybírá. Který nástroj další. Je to spam. Je tento úsek relevantní. Potřebuje to člověka. Je tento diff riziková změna. Nic z toho nejsou úlohy psaní. Jsou to podmínky if, které si někdo zadal u špičkového modelu, a většina z nich ho nepotřebuje.

Klíčové poznatky

• Model, který negeneruje text, je skutečný nástroj pro právní sestavu, a to na konkrétních místech, kde je úsudek srovnáním věcí, které lze předložit před něj.
• Při požadavku na ohodnocení podloženosti jen z textu ohodnotil vymyšlené citace výše než poctivé, 3.21 proti 2.79, s korelací ke skutečné přesnosti r = +0.02. Vyhledávání je to, co činí ověření možným, není to implementační detail pod ním.
• Běží v produkci na naší kontrole souladu, kde zachytil porušení nepřekročitelných pravidel ve francouzském konceptu, který náš pouze anglický regulární výraz propustil s návratovým kódem 0. Kontroly regulárním výrazem a sémantické se ukázaly jako doplňující, nikoli nadbytečné, proti našemu vlastnímu předpokladu.
• Přeřazení našeho korpusu předpisů se 17,004 články zvýšilo recall na pozici 1 z 0.638 na 0.850 za méně než tři centy.
• Řízení smyčky neporazilo bezplatné počítadlo kroků v párovém testu a jeho zdánlivá schopnost se zhroutila na téměř náhodu, jakmile jsme ošetřili, jaký druh akce následoval.
• Brána rizika volání nástrojů zachytila 89.1 % destruktivních volání, zatímco ručně psaný seznam zákazů 99.2 %. Nasazujeme regulární výraz.
• Konkrétně pro právní práci: nedokáže číst naskenovaný dokument a Arabic MSA se čte jako Modern Standard Arabic, nikoli Master Services Agreement, což snižuje právní charakter z 0.97 na 0.30.
• Zhušťování má odebírat, nikoli přepisovat. Shrnutí zákona je nový dokument.
• Na 300 rozhodnutích o ustanoveních CUAD v angličtině, arabštině a francouzštině se Jev umístil první s 0.929 až 0.933 AUPR, před Gemini 3.8 Flash o 0.013 až 0.025, za třicetišestinu nákladů. To obrací publikované pořadí Eigenwelt. Nejpravděpodobnějším důvodem je náš snazší vzorek, což jsme netestovali.
• Překlad smluv do arabštiny či francouzštiny nezměnil skóre žádného API modelu o více než 0.011. Malý model pouze pro angličtinu v arabštině klesl na úroveň náhody.
• Zeptejte se, jaká je skutečnost pro daný úsudek, než na něm začnete stavět. Žádná skutečnost, žádný nástroj.

Zdroje a další četba

• TypeSafe AI: dokumentace Jev a zveřejněná omezení
• Novel Cognition: The Guarantee, Can't Hallucinate Covers Shape, Not Truth
• Eigenwelt Labs: Benchmarking Jev on MAUD and CUAD
• The Atticus Project: CUAD, the Contract Understanding Atticus Dataset
• Jak Legal AI vymýšlí citaci
• Audit halucinací v Legal AI
• Orchestrační vrstva Legal AI
• Legal AI Benchmark 2026