In breve: una vera pratica legale non è un prompt e una risposta. Richiede di leggere documenti lunghi, ragionare tra più giurisdizioni, portare a termine compiti in più passaggi, citare fonti che esistono e sapere quando astenersi. Un test a prompt singolo ne misura solo una fetta sottile. Questo articolo descrive che cosa deve fare un'IA giuridica e come HAQQ pensa di valutarlo. Non contiene punteggi.
Una pratica non è un prompt
Prova HAQQ AI gratis
Sperimenta la redazione e ricerca legale con IA
Chiedete a un avvocato che cosa rende difficile una pratica e raramente dirà la domanda. Dirà il fascicolo: una pila di documenti, tre date diverse, due leggi applicabili, una controparte che ha cambiato posizione a metà strada e un socio che vuole una risposta difendibile entro fine giornata. La difficoltà sta nel lavoro attorno alla domanda.
Cinque cose ricorrono. Ciascuna è un punto in cui un'IA giuridica può sembrare fluida e sbagliare comunque.
Documenti lunghi
Una data room, un pacchetto di contratti o un fascicolo giudiziario è molto più lungo di ciò che una persona legge in una sola seduta. Il rischio non è che il modello lo salti. Il rischio è che lo legga tutto e dia peso alla parte sbagliata: una clausola di cambio di controllo sepolta in un allegato, un'eccezione dentro una definizione, una modifica che sovrascrive in silenzio un termine precedente. Una sintesi che si legge bene può comunque perdere la clausola che il cliente rimpiangerebbe di scoprire più tardi.
Ragionamento tra giurisdizioni
Il diritto non si trasferisce in modo pulito. Uno strumento di finanziamento di stampo statunitense che si converte in azioni privilegiate presuppone un meccanismo di categorie di azioni che una società a responsabilità limitata libanese non ha. La dottrina della consideration, centrale nel common law, non svolge quel ruolo nel diritto contrattuale saudita. Non esiste il rapporto di lavoro a volontà nei Paesi del Golfo, dove si applicano termini di preavviso e indennità di fine rapporto. Una risposta che applica il sistema sbagliato non è leggermente fuori misura. Si fonda su una regola che non governa.
Il sistema deve quindi sapere quale diritto si applica, dirlo e tenere separate le regole di quel diritto da quelle che conosce meglio.
Compiti in più passaggi
Una due diligence, una revisione contrattuale rispetto a un playbook, un parere di ricerca con le sue fonti: sono sequenze. Trovare i documenti, estrarre i fatti, confrontarli con il diritto, riconciliare i conflitti, redigere, controllare. Nel nostro esperimento su una data room, lo stesso modello, gli stessi documenti e la stessa valutazione hanno dato risultati diversi a seconda di come era strutturato il lavoro, non di quale modello lo eseguiva. Lo abbiamo raccontato in prompt singolo contro sciame di agenti nella due diligence M&A.
Accuratezza delle citazioni
Una risposta fluida con una citazione che non esiste è il difetto che i tribunali hanno sanzionato. La versione più sottile è un passaggio reale citato all'articolo sbagliato, perché sembra autentico e supera un controllo veloce. Alcuni tribunali enunciano ormai chiaramente il dovere. La Practice Direction No. 1 del 2026 della QICDRC in Qatar, per esempio, richiede che ogni citazione sia verificata su fonti primarie o su una banca dati giuridica riconosciuta (paragrafo 16). Ne abbiamo parlato in che cosa richiede davvero la practice direction del Qatar.
Il dovere di verificare non cambia con le regole sulla divulgazione. Un'IA giuridica deve quindi rendere il controllo facile da fare e facile da dimostrare.
Astensione calibrata
A volte l'esito giusto non è una risposta. Manca la fonte, il diritto richiesto non si applica, o la domanda richiede fatti che nessuno ha fornito. Un sistema che risponde sempre finirà per inventare. Un sistema che si astiene sempre è inutile. Calibrare significa astenersi quando mancano gli elementi e rispondere quando ci sono, ed è la più difficile da testare delle cinque, perché un'astensione sembra un fallimento su un semplice tabellone.
Perché i benchmark a prompt singolo non lo colgono
- Consegnano il testo rilevante. Il lavoro vero inizia dal trovarlo.
- Valutano una sola risposta. Il lavoro vero è una sequenza in cui un errore iniziale si propaga.
- Premiano il rispondere. Un modello che non si astiene mai può ottenere buoni punteggi pur non essendo sicuro su cui fare affidamento.
- Fanno la media. Una citazione inventata tra cinquanta corrette non è la stessa cosa di cinquantuno risposte plausibili, e una media lo nasconde.
- Sono di solito scritti per un solo ordinamento, quindi non possono mostrare che un modello abbia applicato quello sbagliato.
Come HAQQ pensa la valutazione
Trattiamo questi punti come dimensioni separate e li riportiamo separatamente, invece di fonderli in un solo numero. Dove una domanda può essere verificata per confronto esatto, come lo strumento, l'articolo o un verdetto di autentico o fabbricato, il punteggio è deterministico e non usa alcun modello come giudice. Dove la risposta è aperta, la legge una persona. Le chiavi di risposta sono costruite su fonti primarie e verificate da un avvocato, e alcune pratiche contengono problemi inseriti di proposito, così da sapere che cosa deve cogliere una buona risposta.
Includiamo anche domande progettate perché non si risponda, e domande ambientate in una giurisdizione che spingono il sistema verso il diritto di un'altra. L'ambito e il metodo del nostro lavoro MENA sono esposti in il benchmark di IA giuridica MENA: ambito e metodo.
Punti chiave
- Il lavoro legale difficile sta nel fascicolo attorno alla domanda: documenti lunghi, più diritti, molti passaggi.
- L'accuratezza delle citazioni e l'astensione calibrata sono competenze distinte, e nessuna emerge da un punteggio medio unico.
- Una valutazione utile riporta le dimensioni separatamente e dichiara dove non può ancora giudicare.
