Jev în interiorul unui harness Legal AI: 8 tipare de decizie și limita pe care am măsurat-o

Propunerea și de ce am luat-o în serios

Circulă un argument potrivit căruia majoritatea agenților AI își irosesc resursa cea mai scumpă pe decizii care nu au avut niciodată nevoie de o propoziție. Direcționarea unei cereri către modelul potrivit este o decizie. A stabili dacă un apel de instrument este sigur este o decizie. Ordonarea a cincizeci de documente regăsite înseamnă cincizeci de decizii. Niciuna nu produce text pe care să-l citească cineva, și totuși toate sunt încredințate unui model care facturează pe cuvânt și răspunde în paragrafe.

În septembrie 2026, TypeSafe AI a lansat un model construit în jurul acestui argument. Jev este ceea ce compania numește un model System One, iar proprietatea sa definitorie este că nu generează deloc text. Trimiteți prin POST un bloc de stare și un set de întrebări tipizate și primiți înapoi probabilități calibrate, toate evaluate într-un singur apel paralel.

Există trei primitive și nu există o a patra. Un noul este o întrebare cu răspuns da sau nu care returnează o probabilitate între 0 și 1, iar acea probabilitate este încrederea: 0,5 înseamnă aruncarea unei monede, nu o intensitate medie. Un choice alege o opțiune dintr-o listă pe care o definiți dumneavoastră și, fizic, nu poate returna o opțiune pe care nu ați declarat-o. Un score plasează intrarea pe o scală ordonată pe care o descrieți în cuvinte și returnează media ponderată cu probabilitățile, astfel încât o împărțire 70/30 între două niveluri revine ca 1,30, nu ca 1 sau 2.

Aceasta este întreaga interfață. Nu poate rezuma, rescrie, redacta, extrage un fragment sau căuta ceva. Nu are bază de cunoștințe și nici regăsire de informații. Răspunde la întrebări al căror spațiu de răspuns l-ați declarat, despre o stare pe care i-ați furnizat-o.

Partea care se pierde ușor din vedere

Instinctul este să îl încadrați la categoria clasificator ieftin și rapid. Asta subestimează ce s-a schimbat de fapt, iar ce s-a schimbat nu este prețul, ci ordinea.

Un model de limbaj scrie câte un token pe rând, așa că tokenul nouă nu poate exista până nu există tokenul opt. Puneți-i patru întrebări fără legătură între ele despre un contract și acele patru judecăți independente se așază la coadă una după alta, apoi revin ca un bloc pe care trebuie să-l analizați, să-l validați și să-l reîncercați când forma este greșită. Jev elimină coada. Declarați spațiul de răspuns de la început și fiecare întrebare se rezolvă simultan, pe aceeași stare. Textul este o linie pe care trebuie să o parcurgeți. Un spațiu de răspuns este o cameră pe care o vedeți dintr-odată.

Rândul despre modul de eșec este cel care contează în drept și merită spus direct. Promisiunea oferită este că nu veți primi niciodată o valoare din afara schemei. Nu este o promisiune că valoarea este corectă.

O greșeală validă conform schemei rambursează clientul greșit la fel de repede ca una cu formă incorectă.

Pentru o companie de AI juridic, cuvântul interesant din toate acestea este calibrat. Un număr pe care vă puteți ramifica în cod este un obiect diferit de un paragraf pe care un avocat trebuie să îl citească și în care trebuie să aibă încredere. Am scris în articolul nostru despre stratul de orchestrare că partea din AI-ul juridic care determină dacă citările rezistă este invizibilă din exterior. Acesta este un candidat pentru a umple o parte din acea zonă invizibilă.

Așa că l-am rulat pe întreaga noastră infrastructură. Fiecare măsurătoare de mai jos este a noastră, pe propriul nostru corpus, iar cele care au ieșit prost sunt și ele aici.

Ce am măsurat și cât a costat

Zece suprafețe, treisprezece tichete închise, sub 0,20 USD cheltuiți în total. Nu este o laudă a cumpătării. Este motivul pentru care experimentul a meritat făcut: la o fracțiune de cent pe judecată vă puteți permite să verificați fiecare eveniment în loc să eșantionați, iar stabilirea unui rezultat nul nu costă aproape nimic.

Latența, măsurată pe propriul nostru trafic, cu o conexiune caldă menținută deschisă: 292 ms la mediană, 374 ms la p90, 395 ms la p95, pe 40 de apeluri. Calculul pe server, separat, durează 112 ms. Prima noastră măsurătoare a indicat 700 ms, iar noi am repetat intern acel număr timp de o săptămână înainte să observăm că era greșit. Nu reutilizaserăm niciodată o conexiune, așa că fiecare apel plătea pentru un handshake nou. Același API, aceeași versiune de model, o măsurare atentă a lucrului greșit. Este o mică jenă și una utilă, pentru că este exact tipul de eroare care face ca un benchmark să nu mai poată fi reprodus o lună mai târziu.

Opt tipare și pe care le-am testat efectiv

Șapte dintre acestea au circulat sub forma listei de tipare a unui dezvoltator. Al optulea este al nostru și se dovedește a fi cel care contează cel mai mult pentru munca juridică.

• Direcționarea între modele. Estimați complexitatea sarcinii, trimiteți munca ușoară către un model mic și munca dificilă către unul de frontieră.
• Porți de risc pentru apelurile de instrumente. Înainte ca un agent să execute un instrument, evaluați instrumentul, argumentele sale și sarcina curentă și returnați permite, blochează sau aprobare umană.
• Trierea intenției și a domeniului. Clasificați cererea într-un set fix de intenții înainte ca agentul principal să înceapă raționamentul. În drept, acestea sunt jurisdicția, domeniul de practică și livrabilul.
• Decizii de buclă. După fiecare pas al agentului, estimați dacă un nou pas este probabil util.
• Reordonarea rezultatelor regăsite. Evaluați fiecare pasaj regăsit în raport cu interogarea și transmiteți în context doar pe cele cu scorurile cele mai mari.
• Mecanisme de protecție și verificări de politică. Rulați verificările de siguranță și de conformitate ca clasificări rapide, în loc să generați un răspuns complet argumentat.
• Escaladarea către un om. Estimați dacă o decizie automată este suficient de fiabilă pentru a fi executată.
• Compactarea verbatim a contextului. Evaluați fiecare pas al unei urme lungi de agent după cât mai are legătură cu obiectivul, eliminați pașii inutili și păstrați-i pe cei rămași cuvânt cu cuvânt.

Am măsurat până acum șase dintre ele pe propriile noastre date. Trei funcționează, unul dintre ele fiind astăzi în producție. Trei nu funcționează. Eșecurile primesc mai mult spațiu mai jos, pentru că sunt mai instructive și pentru că nimeni altcineva nu le publică.

O notă despre context: există deja un număr mic de instrumente construite pe aceeași tehnologie pentru verificarea citărilor juridice, toate lansate în ultimele două săptămâni. Sunt mai degrabă experimente timpurii decât produse funcționale și niciunul nu publică o cifră de acuratețe. Golul pe care îl acoperim nu este că nimeni nu a avut această idee. Este că nimeni nu a publicat ce se întâmplă atunci când o verifici.

Unde funcționează: reordonarea rezultatelor regăsite

Corpusul nostru de legislație MENA conține 17.004 articole. Regăsirea în el este în primul rând lexicală, ceea ce înseamnă că o interogare și un articol care folosesc cuvinte diferite pentru aceeași obligație se pot rata complet. Acesta este eșecul obișnuit al căutării juridice în orice limbă și este mai grav în arabă, unde morfologia pune o distanță mai mare între termenul interogării și corespondentul său.

Am luat 80 de interogări rezervate pentru testare, le-am trecut prin regăsirea existentă, apoi am reordonat candidații punând o singură întrebare pentru fiecare: răspunde acest articol la această întrebare?

Rangul reciproc mediu a crescut de la 0,719 la 0,869. Zece din zece cazuri verificate manual au fost în acord, inclusiv două în care modelul a refuzat corect să promoveze ceva, pentru că nu exista niciun candidat valid. Cost total: 0,0245 USD.

Încă o rezervă. Articolele noastre în arabă și în engleză sunt împărțite pe jurisdicții, toate cele în arabă fiind egiptene și toate cele în engleză emiratiene, așa că această rulare nu susține nicio afirmație despre limbă.

Funcționează pentru că întrebarea are un răspuns corect. Dacă acest articol răspunde la această întrebare se stabilește prin articol și prin întrebare, iar ambele se află în fața modelului.

Unde funcționează: depistarea răspunsurilor care nu sunt răspunsuri

Înainte să adoptăm Jev, notam răspunsurile din benchmark cu un model de limbaj în rol de evaluator. Acel evaluator era generos într-un mod specific și dăunător. A acordat nota maximă 10,0 la 56% dintre răspunsurile evaluate, iar pentru un model 90% dintre răspunsuri au ieșit impecabile pe toate cele patru dimensiuni. Un evaluator fără plafon nu măsoară nimic în partea de sus a scalei sale.

Jev a acordat 9,9 sau mai mult la 0% dintre răspunsuri. Mai util, a depistat toate cele cinci erori API trunchiate din set, cu probabilități între 0,96 și 0,97. Evaluatorul anterior le notase pe aceleași cinci cu 1 din 10 și le inclusese în media scorului de capabilitate al modelului, ceea ce înseamnă că raportaserăm o rată de 10% de defecțiuni de infrastructură drept incompetență juridică. Excluderea lor a mutat un model de la 5,80 la 7,67.

Cel mai valoros lucru pe care modelul l-a făcut pentru benchmarkurile noastre nu a fost să judece calitatea. A fost să observe că un șir de caractere nu era un răspuns.

Unde funcționează, în producție: poarta de conformitate pe care regexul nu o putea vedea

Acesta este activ și și-a câștigat locul depistând ceva jenant.

Trecem fiecare text public printr-o poartă de verificare prealabilă înainte de publicare, comparându-l cu propriile noastre reguli de comunicare. Unele dintre aceste reguli sunt linii roșii: nu spunem că înlocuim avocații și nu afirmăm că AI-ul nostru nu are halucinații, pentru că niciuna dintre afirmații nu este adevărată și amândouă sunt genul de afirmații pe care o autoritate de reglementare le citește cu atenție.

O ciornă în franceză care conținea încălcări literale ale ambelor reguli a trecut de acea poartă cu exit 0, fără nicio constatare. Tiparele regex erau doar în engleză. Formularea franceză pentru înlocuim avocații și cea pentru AI-ul nostru nu are halucinații au trecut direct printr-o verificare care le-ar fi oprit imediat echivalentele în engleză.

O trecere semantică le-a depistat pe amândouă fără echivoc: 0,90 pentru afirmația implicită, 0,95 pentru linia roșie privind înlocuirea avocaților, 0,83 pentru modul în care ar citi-o o autoritate de reglementare. Cost per ciornă: aproximativ 0,00005 USD, pentru opt întrebări tipizate într-o singură cerere paralelă.

Rezultatul la care nu ne așteptam este că regexul și verificarea semantică s-au dovedit complementare, nu redundante. Am pornit de la ideea că una o va scoate din uz pe cealaltă și am constatat, pe 35 de ciorne reale, că fiecare regulă regex cu un echivalent semantic depista o formulare diferită a aceluiași risc. Regexul prinde formularea literală. Trecerea semantică prinde parafraza. Propriul nostru tichet anticipa că vom putea renunța la ceva, iar datele au spus nu.

Unde s-a inversat: întrebarea dacă o citare este fundamentată

Acum eșecul care ne-a reorganizat gândirea.

I-am cerut lui Jev să evalueze fundamentarea pentru 150 de răspunsuri juridice reale, produse de trei modele de frontieră pe 50 de solicitări din MENA și Regatul Unit. Fundamentarea înseamnă aici: sunt afirmațiile susținute, sunt citările reale și folosite corect. Este cea mai importantă întrebare din AI-ul juridic și este întrebarea pe care propriul nostru audit al halucinațiilor există ca să o pună în continuare.

Răspunsurile cu citări inventate au obținut 3,21. Răspunsurile oneste au obținut 2,79. Corelația dintre scorul compus și etichetele de acuratețe verificate de oameni a fost r = +0,02, adică inexistentă.

Verificarea nu doar că nu a detectat invenția. A recompensat-o.

Odată ce vedeți de ce, nu mai puteți ignora. Articolul 5bis din Decretul Regal M/13 sună precis, specific și autoritar. Nu există. Un model rugat să judece fundamentarea doar pe baza textului nu are cu ce să compare, așa că se bazează pe trăsăturile care însoțesc de obicei un text fundamentat: specificitatea, densitatea citărilor, structura sigură. Invenția le produce pe toate trei. Specificitatea este chipul invenției, așa că orice grilă care recompensează specificitatea recompensează invenția.

Acum schimbați un singur lucru. Dați modelului pasajul sursă alături de afirmație și întrebați dacă acest pasaj susține această propoziție. Pe o rulare separată și reproductibilă de 180 de perechi din propriul nostru corpus, modelul găzduit a atins un AUC de 0,9962 și a depistat 94,4% dintre atribuirile greșite la o rată zero de alarme false.

Același model. Aceeași sarcină, în abstract. Rezultat opus, pentru că una dintre versiuni este o comparație între două lucruri aflate în fața sa, iar cealaltă este o căutare de cunoștințe pe care nu o poate efectua.

Încă o rezervă, pentru că aceasta contează mai mult decât reușita. Pe același set de 180 de perechi, o simplă verificare de conținere cu `grep` obține AUC 0,9944 și depistează 98,9%. Acele perechi au fost construite pe conținere verbatim, exact lucrul pentru care există `grep`. Tratați 0,9962 ca pe un prag minim, nu ca pe un plafon, și considerați fundamentarea la nivel de parafrază, unde un clasificator tipizat ar trebui să-și dovedească realmente utilitatea, ca netestată de acea rulare.

Regăsirea nu este un detaliu de implementare aflat sub pasul de verificare. Regăsirea este ceea ce face verificarea posibilă.

Unde a pierdut în fața unui contor de pași: controlul buclei

Pe acesta l-am testat special pentru acest articol și nu a rezistat.

Tiparul spune: după fiecare pas al agentului, întrebați dacă un nou pas este probabil util și opriți-vă când răspunsul este nu. Am construit testul din 52 dintre traiectoriile noastre finalizate ale agenților, cu 1.750 de pași etichetați. Adevărul de referință pentru fiecare pas a fost dacă pasul următor a adus efectiv informații care nu se aflau deja undeva în traiectorie, calculat printr-o regulă pe care am verificat-o manual și care a fost corectă în 24 din 25 de cazuri.

Am plătit 0,54 USD ca să nu batem o caracteristică calculată cu o diferență de mulțimi.

Două lucruri de dedesubt valorează mai mult decât titlul. Primul este că o acalmie nu înseamnă epuizare. Regula gratuită „oprește-te după doi pași consecutivi care nu au adus nimic nou”, rulată ca oracol pe propria premisă, a afectat 30 dintre cele 31 de traiectorii pe care le-a oprit. Agenții tac adesea în mijlocul unei munci utile.

Al doilea explică întregul rezultat. Împărțiți rândurile după tipul de instrument folosit în pasul următor și imaginea se schimbă complet: 0,742 când pasul următor scrie sau editează un fișier, 0,695 când citește sau caută și 0,597, aproape de hazard, pentru comenzile shell, unde se află 59% dintre rândurile noastre.

Nu a estimat niciodată dacă agentul aflase suficient. A estimat dacă următorul lucru primit înapoi va fi o confirmare de scriere sau o pagină de rezultate. Aceasta este o judecată despre forma următorului eveniment, nu despre starea cunoștințelor agentului.

Să delimităm onest: corpusul nostru conține agenți de programare și de cercetare, nu bucle de raționament juridic, iar plafonul economiilor era scăzut de la început, pentru că o transcriere finalizată este, prin definiție, una care s-a oprit aproximativ atunci când s-au oprit informațiile. Ambele fapte limitează cât de mult se poate generaliza. Niciunul nu salvează tiparul.

Unde a pierdut în fața unei expresii regulate: porțile de risc pentru apelurile de instrumente

Ultimul tipar testat și cel mai incomod, pentru că ne doream ca acesta să funcționeze.

Administrăm infrastructură care nu are voie să cadă. Regula care o protejează se află în prezent într-un fișier de configurare pe care un agent ar trebui să îl citească și să îl respecte. O regulă care depinde de faptul că este citită nu este un control. O poartă care se declanșează la apel este.

Așa că am etichetat 19.922 de apeluri reale de instrumente din 766 dintre transcrierile noastre, am evaluat 284 dintre ele și am comparat un clasificator tipizat cu lista de interdicții pe care ați scrie-o efectiv de mână.

Am cerut ca fiecare apel distructiv să fie depistat. Clasificatorul a atins 89,1%, sub ambele liste de interdicții. Regexul câștigă exact clasa pentru care exista testul.

În interior se ascunde o reușită reală. La întrebarea îngustă dacă un anumit apel ar putea scoate din funcțiune un server activ, o întrebare dedicată de tip da sau nu a depistat 21 din 22 la o rată de alarme false de 3,4%, în timp ce mai puternica dintre cele două liste de interdicții scrise de mână a depistat 8 din 22. Combinați-le și rata apelurilor riscante care scapă se înjumătățește. La unsprezece cenți pe mia de apeluri, costul nu este ceea ce vă oprește. Recomandarea care a rezultat rămâne totuși să livrați regexul și să păstrați clasificatorul ca a doua opinie, niciodată ca poartă.

Cel mai curat rezultat din întregul program se află în acest test și ține de felul în care întrebați, nu de ce întrebați. Același model, aceleași rânduri, aceeași după-amiază. Întrebarea concretă, poate acest apel să scoată din funcțiune unul dintre aceste servere active anume, a atins un recall de 95,5% la o rată de alarme false de 3,4%. Întrebarea abstractă, este această acțiune ireversibilă, a avut nevoie de un prag mult mai permisiv pentru a ajunge la un recall comparabil și a împins pe drum rata de alarme false la 34,6%.

Mai învățaserăm asta și o notaserăm ca maximă: numiți testul concret, nu categoria abstractă. Este prima dată când o avem sub forma unei comparații controlate, nu a unei anecdote, iar mărimea diferenței ne-a surprins.

Încă ceva din acel test, cu limitele sale. Am încercat să convingem clasificatorul să aprobe apeluri pe care le blocase, folosind opt payloaduri de injecție scrise de mână pe 384 de apeluri pereche, plasate în comandă, în descriere și în contextul sarcinii. Niciunul nu a transformat în mod fiabil un apel blocat într-unul permis. Este un rezultat real și unul modest: opt payloaduri scrise de aceeași persoană care a construit testul nu înseamnă un red team, iar o listă de interdicții este imună la așa ceva prin construcție, nu din noroc. Documentația proprie TypeSafe menționează printre limitările modelului faptul că starea nu este tratată ca ostilă, iar pentru o poartă de siguranță această limitare cade direct pe intrarea controlată de un atacator.

Al optulea tipar și de ce este cel juridic

Tot ce este mai sus este preluat din ingineria generală a agenților. Acesta este al nostru și provine dintr-o constrângere care se resimte cu adevărat doar în drept.

Rulările lungi ale agenților își depășesc contextul, iar soluția standard este ca un model de limbaj să rezume urma de până atunci. Pentru majoritatea software-ului, asta este în regulă. Pentru munca juridică este un dezastru discret, pentru că rezumatul unei legi este un document nou. Conține cuvinte noi. Acele cuvinte au fost scrise de un model, nu de un legiuitor, iar fiecare pas ulterior raționează despre parafrază, nu despre lege.

Alternativa este compactarea fără parafrazare. Evaluați fiecare pas al urmei după cât mai are legătură cu obiectivul curent, eliminați-i pe cei care nu mai au și păstrați-i pe cei rămași cuvânt cu cuvânt. Nimic nu este rescris. Contextul devine mai scurt pentru că s-au eliminat lucruri, nu pentru că s-au reformulat.

Rezumatul unei legi este un document nou. O listă filtrată de legi rămâne tot legile.

Acesta este tiparul care ne interesează cel mai mult și este cel pe care nu l-am măsurat încă, așa că tratați-l ca pe o poziție de design, nu ca pe un rezultat. Îl spunem cu voce tare pentru că este tipul de problemă pentru care un model de decizie este neobișnuit de potrivit și pentru că nu am văzut pe nimeni altcineva tratând compactarea ca pe o cerință de corectitudine, nu ca pe o optimizare de cost.

Două lucruri despre munca juridică despre care nu vă avertizează nimeni

Nu poate vedea un document scanat. Jev primește text. O parte foarte mare din documentele juridice reale, în special în regiunea MENA, sosesc ca fotografii ale unor hârtii. Asta înseamnă că fluxul aflat înaintea sa face toată munca ce determină dacă primește o intrare corectă, iar orice nivel de încredere raportat depinde de un pas OCR despre care nu știe nimic. Există reimplementări deschise ale aceleiași arhitecturi care rulează pe modele de bază capabile de viziune, iar aceasta este direcția în care se va merge în cele din urmă, dar modelul găzduit pe care îl aveți astăzi la dispoziție este orb.

Abrevierile juridice îl încurcă într-un mod care pare un bug și nu este. I-am cerut să clasifice o cerere de a revizui un MSA arab și de a-l marca cu modificări. Caracterul juridic a ieșit 0,30, ceea ce, pentru o cerere evident juridică, pare un eșec. Izolați expresia și imaginea se clarifică: MSA singur obține 0,97, Master Services Agreement 0,98, un MSA redactat în arabă 0,96, iar Arabic MSA scade la 0,30. Așezarea cuvântului Arabic imediat înainte de MSA schimbă acronimul din Master Services Agreement în Modern Standard Arabic.

Modelul are dreptate. Expresia este cu adevărat ambiguă și ar fi ambiguă și pentru un cititor uman. Dar munca juridică din MENA generează constant exact această construcție, așa că orice flux care direcționează pe baza etichetei unui document se va lovi de ea, iar într-un benchmark va părea un eșec al modelului, când de fapt este un artefact al ambiguității intrării. Dacă evaluați un clasificator pe text juridic, verificați existența unei abrevieri ambigue înainte să concluzionați că modelul nu face față jurisdicției dumneavoastră.

Comparat cu alternativele: analiza contractelor în trei limbi

Tot ce este mai sus privește locul lui Jev în interiorul unui sistem. Următoarea întrebare evidentă este cum se descurcă la simpla analiză a contractelor, comparat cu modelele pe care altfel le-ați folosi. La o săptămână după lansare, Eigenwelt Labs a publicat exact acest test, pe două benchmarkuri adnotate de avocați de la The Atticus Project. Rezultatul lor pe CUAD l-a plasat pe Jev pe locul trei: Gemini 3.8 Flash la 0,644 AUPR, un model ajustat fin cu 421M de parametri numit Laya la 0,620 și Jev la 0,553. La cost, ordinea a fost inversă, Jev având aproximativ o șaptezeci și șasea parte din prețul Gemini în rularea lor pe MAUD. Au fost, de asemenea, sinceri cu privire la ce nu testaseră: doar contracte SEC în engleză, nimic în alte limbi sau jurisdicții.

Această ultimă rezervă este cea care contează pentru noi, așa că am refăcut comparația și am adăugat limbile pe care le lăsaseră deoparte. Am luat 300 de decizii privind clauze din setul de test CUAD, pe zece tipuri de clauze, și am tradus automat fiecare paragraf în arabă și franceză, păstrând întrebarea despre clauză în engleză. Cinci modele: Jev, Gemini 3.8 Flash, Claude Haiku 4.5, Gemini 3.1 Pro ca referință de frontieră și Laya ajustat fin pe setul de antrenare CUAD. Cheltuială totală: 2,84 USD.

Scorurile sunt AUPR, unde o valoare mai mare este mai bună, pe 300 de decizii per limbă, dintre care 27% pozitive. Costurile sunt pentru engleză. Cifra pentru Jev este calculată din prețul de listă înmulțit cu tokenurile măsurate, pentru că API-ul său nu returnează suma facturată. Celelalte sunt sumele facturate de furnizor.

Pe eșantionul nostru ordinea se inversează, iar Jev iese primul în toate cele trei limbi. Citiți mărimea avantajului înaintea direcției sale. Avansul față de Gemini Flash este +0,025 în engleză și +0,022 în franceză, ambele trecând de un bootstrap pereche, și +0,013 în arabă, care nu trece. Modelul de frontieră nu a obținut un scor mai bun decât Flash și a costat de șapte ori mai mult.

Nu credem că am infirmat pe cineva, iar motivul ține de design. Eșantionul nostru este pozitiv în proporție de 27% prin construcție. CUAD, la rata sa naturală, este sub 1%, iar Eigenwelt l-a rulat astfel pe 41 de tipuri de clauze, față de cele 10 ale noastre. Majoritatea exemplelor noastre negative sunt tipul greșit de clauză întrebat despre un paragraf, nu cazuri la limită îngropate undeva într-un contract lung. AUPR variază mult în funcție de prevalență, așa că cifrele noastre absolute și ale lor nu pot fi puse una lângă alta. Ceea ce confirmă ambele rulări este costul: amândouă îl plasează pe Jev de 36 până la 54 de ori mai ieftin per decizie CUAD decât Gemini Flash.

Viteza are aceeași formă. Jev a răspuns la toate cele trei întrebări despre un paragraf într-o singură cerere, cu o mediană de 333 ms. Fiecare model de limbaj a avut nevoie de un apel separat pentru fiecare întrebare, de 0,9 până la 2,6 secunde fiecare.

Rezultatul multilingv este cel pentru care am venit. Trecerea unei clauze din engleză în arabă sau franceză nu a modificat scorul niciunui model API cu mai mult de 0,011, iar fiecare dintre aceste diferențe se află în interiorul intervalului său de încredere. Rezerva este exact la fel de mare ca descoperirea. Acestea sunt traduceri automate ale unor contracte americane, nu contracte redactate la Riad sau la Paris, iar întrebarea a rămas în engleză. Arată că modelele pot citi arabă juridică tradusă. Nu arată încă faptul că pot citi un contract de închiriere redactat în Dubai.

Modelul mic este cel la care limba contează. Checkpointul englezesc al lui Laya împarte 93% din textul arab în fragmente de octeți, iar scorul său în arabă a scăzut la 0,293, ceea ce, la o rată de 27% de pozitive, înseamnă hazard. Ajustarea fină pe contracte în engleză nu a schimbat nimic în această privință. O limită din partea noastră: am făcut ajustarea fină pe un singur Apple M3 Pro, sub o presiune mare asupra memoriei, și am putut antrena doar ultimele 4 dintre cele 28 de straturi ale lui Laya. Ajustarea noastră este mult mai slabă decât cea a Eigenwelt, iar cifra noastră nu spune nimic împotriva lor.

Clasificarea clauzelor se încadrează în regula la care a ajuns restul acestui articol. Dacă un paragraf este o clauză privind legea aplicabilă se stabilește prin paragraf și prin definiție, iar ambele se află în fața modelului. Acesta este tipul de judecată la care Jev a rezistat peste tot unde l-am testat. Un tabel de analiză are mii de celule, iar la un asemenea volum un mic avantaj de acuratețe la o treizeci și șasea parte din cost este cifra după care ne-am planifica.

Regula care a rezultat din toate acestea

Șase suprafețe, trei reușite, trei eșecuri. Tiparul din eșecuri este lucrul care merită reținut.

Reordonarea funcționează pentru că întrebarea dacă acest articol răspunde la această întrebare are un răspuns pe care articolul și întrebarea îl stabilesc împreună. Fundamentarea citărilor funcționează când furnizați sursa și se inversează când nu o furnizați, pentru că fără sursă întrebarea devine o căutare de cunoștințe. Controlul buclei eșuează pentru că întrebarea dacă agentul a aflat suficient nu este stabilită de nimic din traiectorie. Sugerarea linkurilor interne, pe care am testat-o și pe ea, a eșuat în același fel: la întrebarea dacă un cititor ar avea un motiv real să treacă de pe o pagină pe alta, scorurile pe 761 de linkuri selectate de oameni au fost 0,582 pentru linkurile reale și 0,537 pentru perechile pe care niciun editor nu le conectase vreodată, o diferență de 0,045, iar verificatorii umani au fost de acord în 12 din 20 de cazuri.

Înainte să construiți pe o judecată, întrebați care este adevărul de referință pentru ea. Dacă răspunsul onest este preferința unui editor, așteptați-vă la o diferență de aproximativ 0,05 și planificați implicarea unui om.

Aceasta este aceeași limită pe care propria noastră investigație despre citările false a găsit-o din direcția opusă și este motivul pentru care judecăm instrumentele după faptul că verifică dacă o citare spune ceea ce pretind ele, nu doar dacă există.

Ce i-am spune cuiva care evaluează AI juridic

Patru lucruri, dintre care doar unul privește acest model în mod special.

Întrebați de ce este ancorată verificarea. „AI-ul nostru verifică citările” nu este o arhitectură. A verifica dacă o hotărâre există este o căutare într-o bază de date. A verifica dacă hotărârea spune ceea ce susține răspunsul este o comparație și necesită pasajul sursă la îndemână în momentul judecății. Produsele care fac primul lucru și îl descriu drept al doilea sunt regula, nu excepția.

Cereți rata de eșec, nu rata de succes. Fiecare instrument din această categorie publică un număr care îl avantajează. Foarte puține publică ce au măsurat și au pierdut. Propria noastră onestitate are limite care merită menționate: prima trecere automată de etichetare a acelui corpus de apeluri de instrumente a fost greșită în proporție de 86% pe clasa sa cea mai importantă, toate erorile în aceeași direcție, iar noi am descoperit asta prin verificare manuală, nu prin ingeniozitate.

Întrebați în raport cu ce a fost evaluat benchmarkul. Aceasta îi prinde aproape pe toți. Un benchmark poate fi evaluat în raport cu adevărul de referință sau în raport cu acordul cu un model de limbaj de frontieră. A doua variantă este mult mai ieftină și mult mai slabă, pentru că a fi de acord cu GPT înseamnă și a fi de acord cu greșelile GPT. Când un furnizor raportează acuratețea, întrebarea nu este cât de mare este numărul. Este cu ce a fost comparat numărul.

Fiți atenți la un număr afirmat, nu măsurat. Graficul de lansare al TypeSafe arată o rată de halucinații de 0%, iar nota de subsol de sub el spune, în cuvintele lor, că numărul nu este empiric și este adăugat prin construcție, deoarece potrivirea cu schema este impusă, nu observată. Ei o declară. Titlul de deasupra graficului nu o face. Afirmația de dedesubt este adevărată și îngustă: nu veți primi niciodată o valoare din afara schemei. Nu este o afirmație că valoarea este corectă. Un analist independent a făcut această observație la o săptămână după lansare și este una corectă.

Ce s-a schimbat de fapt pentru noi

Nu costul. Înlocuirea unui apel către un model de limbaj cu unul tipizat economisește bănuți, iar bănuții nu au fost niciodată problema.

Ce s-a schimbat este că o decizie pe care sistemul o lua deja în tăcere poartă acum un număr. Analiza contractelor la 0,91 față de litigii la 0,09 este o direcționare pe care o puteți automatiza și înregistra. 0,52 față de 0,46 este aruncarea unei monede cu o etichetă pe ea și ajunge la un om. Un model de limbaj ar fi dat același răspuns în ambele cazuri, într-o propoziție sigură, fără nicio modalitate de a deosebi cele două situații.

Pentru un produs în care a greși constituie întreaga suprafață de risc, asta valorează mai mult decât orice multiplicator de viteză de pe graficul unui furnizor.

Obiceiul pe care l-am păstra chiar dacă nu am mai trimite nicio cerere: parcurgeți-vă agentul și găsiți fiecare apel care doar alege ceva. Ce instrument urmează. Este acesta spam. Este acest fragment relevant. Este nevoie de un om. Este acest diff riscant. Niciuna dintre acestea nu este o sarcină de scriere. Sunt instrucțiuni if pe care cineva le-a externalizat către un model de frontieră, iar majoritatea nu au nevoie de unul.

Concluzii principale

• Un model care nu generează text este un instrument real pentru un sistem juridic, în locurile specifice în care o judecată este o comparație între lucruri pe care i le puteți pune în față.
• Rugat să evalueze fundamentarea doar pe baza textului, a acordat citărilor inventate scoruri mai mari decât celor oneste, 3,21 față de 2,79, cu o corelație cu acuratețea reală de r = +0,02. Regăsirea este ceea ce face verificarea posibilă, nu un detaliu de implementare aflat sub ea.
• Rulează în producție în poarta noastră de conformitate, unde a depistat încălcări ale liniilor roșii într-o ciornă în franceză pe care regexul nostru, doar în engleză, a lăsat-o să treacă cu exit 0. Regexul și verificările semantice s-au dovedit complementare, nu redundante, contrar propriei noastre previziuni.
• Reordonarea corpusului nostru de legislație cu 17.004 articole a crescut recall-ul pe primul loc de la 0,638 la 0,850 pentru mai puțin de trei cenți.
• Controlul buclei nu a depășit un contor gratuit de pași într-un test pereche, iar aparenta sa abilitate a scăzut aproape la nivelul hazardului odată ce am controlat tipul de acțiune care urma.
• O poartă de risc pentru apelurile de instrumente a depistat 89,1% dintre apelurile distructive, acolo unde o listă de interdicții scrisă de mână a depistat 99,2%. Livrăm regexul.
• Specific pentru munca juridică: nu poate citi un document scanat, iar Arabic MSA este interpretat ca Modern Standard Arabic, nu ca Master Services Agreement, ceea ce scade caracterul juridic de la 0,97 la 0,30.
• Compactarea trebuie să elimine, nu să rescrie. Rezumatul unei legi este un document nou.
• Pe 300 de decizii privind clauze CUAD în engleză, arabă și franceză, Jev s-a clasat primul cu între 0,929 și 0,933 AUPR, înaintea Gemini 3.8 Flash cu între 0,013 și 0,025, la o treizeci și șasea parte din cost. Aceasta inversează ordinea publicată de Eigenwelt. Eșantionul nostru mai ușor este motivul cel mai probabil, pe care nu l-am testat.
• Traducerea contractelor în arabă sau franceză nu a modificat scorul niciunui model API cu mai mult de 0,011. Un model mic antrenat doar în engleză a coborât la nivelul hazardului în arabă.
• Întrebați care este adevărul de referință pentru o judecată înainte să construiți pe ea. Fără adevăr de referință, fără instrument.

Surse și lecturi suplimentare

• TypeSafe AI: documentația Jev și limitările publicate
• Novel Cognition: Promisiunea, „nu poate halucina” acoperă forma, nu adevărul
• Eigenwelt Labs: Evaluarea comparativă a lui Jev pe MAUD și CUAD
• The Atticus Project: CUAD, Contract Understanding Atticus Dataset
• Cum inventează AI-ul juridic o citare
• Auditul halucinațiilor în AI-ul juridic
• Stratul de orchestrare al AI-ului juridic
• Benchmark AI juridic 2026