In breve: abbiamo trasformato un modello frontier (Opus 4.8) in un finto database giuridico e verificato dove fabbrica dati. Ha rifiutato di inventare citazioni inesistenti: 4 riferimenti impossibili su 4 sono tornati come non trovati. Ma su una query plausibile ha fabbricato la ricerca stessa: un elenco di risultati classificati con un punteggio di rilevanza inventato e una citazione reale, cliccabile, che rimandava alla legge sbagliata. L'allucinazione pericolosa non è il caso falso che si riesce a scoprire. È la citazione reale associata al contenuto sbagliato, con il modello che insiste di aver fatto una ricerca quando non l'ha fatta.
Il numero che citano tutti, e quello che si perdono
Se avete valutato strumenti di IA legale nell'ultimo anno, conoscete già la statistica che fa paura. Uno studio di Stanford del 2024 ha misurato tassi di allucinazione del 43% per GPT-4, del 33% per la ricerca IA di Westlaw e del 17% per Lexis+. Un database separato traccia ormai oltre 1.000 casi giudiziari in cui avvocati hanno depositato citazioni inventate dall'IA. Alcuni sono stati sanzionati.
Tassi di allucinazione negli strumenti di ricerca legale
Stanford, 2024, quota di risposte contenenti un'allucinazione
Gli strumenti legali fondati sul retrieval battono i modelli generalisti, ma gli errori residui diventano più sottili, come una citazione reale associata alla legge sbagliata.
Il consiglio che segue è sempre lo stesso: verificate ogni citazione. Vero, e quasi inutile, perché presuppone che le allucinazioni sembrino falsi evidenti. Quelle che fanno sanzionare gli avvocati non lo sono. Così abbiamo condotto un esperimento per vedere che aspetto hanno davvero.
L'esperimento: far diventare il modello la biblioteca
La maggior parte dei test sull'allucinazione pone al modello una domanda legale e valuta la risposta. Noi abbiamo fatto qualcosa di più insolito. Abbiamo usato uno strumento open source, world-model-harness, per far impersonare a Opus 4.8 il database giuridico stesso, il motore di ricerca, non l'avvocato.
Ecco la configurazione in termini semplici. Abbiamo registrato sessioni di ricerca legale reali su un database multi-giurisdizionale autentico, statuti e giurisprudenza in UE, Francia e Germania. Poi abbiamo addestrato il modello a impersonare quel database: si invia una query, e il modello restituisce ciò che pensa il database restituirebbe: risultati di ricerca, testo del documento, citazioni. Un database reale recupera. Il nostro predice. Il divario tra i due è l'allucinazione, isolata sotto un microscopio.
Una confessione dal processo di costruzione: il nostro primo run mostrava un'accuratezza delle citazioni quasi del 100% e stavamo quasi per festeggiare. Poi abbiamo capito che stavamo testando la cache, non il modello: gli avevamo dato query che aveva già visto, quindi si limitava a rimandare indietro le risposte reali. Imbarazzante per un pomeriggio, istruttivo per sempre: l'unico test onesto di un'IA legale è su domande che non ha mai visto.
Scoperta 1: non inventa una citazione dal nulla
Abbiamo sottoposto alla finta biblioteca quattro riferimenti inesistenti: un regolamento UE inventato, un articolo del Code civil francese fabbricato, un numero CELEX privo di senso e un caso costituzionale tedesco fittizio.
In tutti e quattro i casi ha risposto come farebbe un database reale: risoluzione fallita, non trovato. Non ha inventato un caso plausibile per colmare il vuoto. È una buona notizia autentica, e vale la pena dirlo ad alta voce. I modelli frontier del 2026 sono molto meglio calibrati di quanto suggerisca la fama del “si inventano tutto”. Di fronte a qualcosa di impossibile, Opus 4.8 ha rifiutato. Se fosse tutta la storia, ci si potrebbe rilassare. Non lo è.
Scoperta 2: fabbrica la ricerca stessa
Poi gli abbiamo chiesto qualcosa di plausibile ma mai visto, sulle regole dell'AI Act UE per i sistemi ad alto rischio. Il modello ha prodotto una risposta completa del database, classificata: più risultati, date della Gazzetta ufficiale, un punteggio di rilevanza di 0,71243286, tutto presentato come se fosse stato recuperato da EUR-Lex. Nulla di quel retrieval è avvenuto realmente. Non c'era alcun indice, nessuna ricerca, nessun punteggio. Ha inventato l'atto stesso di cercare qualcosa. E le citazioni restituite sono la lezione da manuale sul perché questo conta:
- CELEX 32024R1689, reale e corretta. È davvero l'AI Act UE. Un richiamo impressionante.
- CELEX 32024R0900, reale, cliccabile e sbagliata. Quella citazione si risolve perfettamente su EUR-Lex, ma rimanda al Regolamento (UE) 2024/900 sulla trasparenza della pubblicità politica. Non ha nulla a che vedere con la conformità sull'IA.
Quella seconda citazione è il punto centrale. Non è una citazione falsa: una citazione falsa è facile da scoprire perché non si risolve. Questa è una citazione reale associata alla legge sbagliata. Chi verifica le citazioni la chiama mismatch nome/citazione. Si clicca, si carica un regolamento UE ufficiale, tutto sembra legittimo, e ci si ritrova ad aver fondato il proprio argomento sul diritto della pubblicità pensando che fosse diritto dell'IA. Ogni link si risolve. Nulla sembra sbagliato.
Avvertenza onesta: questa è una prova di concetto puntuale, non un benchmark, un corpus ridotto e una sola fabbricazione colta su una manciata di sonde. Non stiamo dichiarando un tasso. Stiamo mostrando una forma.
Prova HAQQ AI gratis
Sperimenta la redazione e ricerca legale con IA
Perché è il fallimento che sopravvive alla revisione
Torniamo al consiglio standard: verificate ogni citazione. Ora guardiamolo fallire. L'avvocato controlla la citazione dell'AI Act: reale. Controlla la successiva, anch'essa reale, si carica correttamente. Verifica superata, perché verificare di solito significa questo link funziona, e ogni link funzionava. L'errore non riguarda l'esistenza della citazione. Riguarda se dice ciò che il modello sostiene, una cosa molto più difficile da cogliere, ed esattamente il tipo di errore che finisce in un atto depositato.
La lezione più profonda riguarda dove vive la menzogna. Ci si preoccupa istintivamente che il modello sbagli la legge. Il rischio reale è che sbagli il retrieval, che la frase ho cercato nel database ed ecco cosa ho trovato sia essa stessa l'allucinazione, completa di un punteggio di fiducia inventato per venderla.
Il punto di vista di HAQQ: la ricerca è l'allucinazione
Questo è il motivo per cui fondiamo le risposte di HAQQ su un retrieval reale invece di chiedere a un modello di richiamare la legge a memoria. Non perché i modelli siano poco intelligenti: questo ha rifiutato ogni citazione impossibile e ha azzeccato il numero dell'AI Act. Ma un modello a cui si chiede di essere la fonte, prima o poi, mette in scena il retrieval che non ha compiuto. L'unica soluzione è rendere reale il retrieval: recuperare il documento effettivo da un indice effettivo, poi verificare che la citazione si risolva nel caso che il modello ha indicato, non solo in un caso qualsiasi.
Ne discende una domanda per chi acquista. Non chiedete a un fornitore di IA legale se allucina: tutti dicono di no. Chiedete: quando mi mostrate una citazione, avete recuperato esattamente quel documento, e verificate che il nome del caso corrisponda alla citazione? Il mismatch nome/citazione è il segnale rivelatore. Uno strumento che controlla solo se le citazioni sono ben formate lascia passare senza problemi il 32024R0900.
Punti chiave
- Un modello frontier ben calibrato non inventa citazioni dal nulla: ha rifiutato 4 riferimenti impossibili su 4.
- Fabbrica il retrieval stesso su query plausibili, incluso un punteggio di rilevanza fittizio e una citazione reale che rimanda alla legge sbagliata.
- L'allucinazione pericolosa è quella che supera la verifica: ogni link si risolve, solo il significato è sbagliato.
- Fondate l'IA legale su retrieval reale più corrispondenza delle citazioni, e giudicate i fornitori in base a se controllano che una citazione dica ciò che dichiarano, non solo che esista.
