In sintesi: questo è il nostro test di maggio 2026. Abbiamo sottoposto a Claude Sonnet 4, GPT-4o e Gemini 2.5 Flash le 100 domande più popolari di sempre di r/legaladvice. Claude Sonnet 4 ne ha superate 88, GPT-4o 87 e Gemini 2.5 Flash 78. Tutti e tre hanno ottenuto il punteggio più basso sulle avvertenze (da 3,0 a 3,15 su 5), ben al di sotto della loro accuratezza giuridica (da 3,98 a 4,30).
Risultato datato, conservato come documentazione. Questo benchmark è stato eseguito a maggio 2026 su modelli che nel frattempo sono stati sostituiti. Per risultati aggiornati consultate quale IA scegliere per il lavoro legale, aggiornato a ottobre 2026, il benchmark legale di Claude Opus 5.5 (23 settembre 2026, 120 verdetti alla cieca) e come testare un'IA legale (30 settembre 2026, cinque domande trabocchetto su Emirati Arabi Uniti, Arabia Saudita e Libano, 80 risposte). I numeri riportati di seguito sono invariati rispetto all'articolo originale.
Dati chiave
- Tassi di superamento sulle 100 domande più popolari di sempre di r/legaladvice: Claude Sonnet 4 88/100, GPT-4o 87/100, Gemini 2.5 Flash 78/100 (test HAQQ, maggio 2026).
- Dimensione più debole per tutti e tre: avvertenze appropriate, da 3,0 a 3,15 su 5. L'accuratezza giuridica andava da 3,98 a 4,30 (test HAQQ, maggio 2026).
- Su 20 nuove domande pubblicate nelle 48 ore precedenti: Claude Sonnet 4 95%, GPT-4o 90%, Gemini 2.5 Flash 85% (test HAQQ, maggio 2026).
- Giudice: Claude Sonnet 4 ha valutato ogni risposta, comprese le proprie, senza convalida da parte di un avvocato (test HAQQ, maggio 2026).
- Contesto: nel 2019 il World Justice Project ha stimato che 5,1 miliardi di persone hanno bisogni di giustizia insoddisfatti (WJP, Measuring the Justice Gap, 2019).
Trasparenza. HAQQ sviluppa IA legale e ha progettato, eseguito e valutato questo test. HAQQ non era tra i modelli testati.
Come abbiamo impostato il test?
Abbiamo preso i 100 post più votati di sempre su r/legaladvice: domande reali su controversie tra locatori e inquilini, lavoro, affidamento, accuse penali, lesioni personali e altro ancora. Il post medio superava i 2.200 caratteri, quindi la maggior parte delle domande era accompagnata da fatti confusi.
Ogni domanda è stata inviata a tre modelli tramite OpenRouter con lo stesso prompt di sistema: agire come un avvocato statunitense esperto, individuare la giurisdizione, identificare le questioni, citare la legge applicabile, analizzare e infine consigliare.
- Claude Sonnet 4 (Anthropic)
- GPT-4o (OpenAI)
- Gemini 2.5 Flash (Google)
Come sono state valutate le risposte?
Claude Sonnet 4 ha svolto il ruolo di giudice e ha assegnato a ogni risposta un punteggio da 1 a 5 su cinque dimensioni: accuratezza giuridica (le norme citate sono corrette?), completezza delle questioni (ha individuato tutte le questioni giuridiche?), qualità del ragionamento (il ragionamento è coerente?), valore pratico (aiuterebbe la persona a compiere il passo successivo giusto?) e avvertenze appropriate (dice che non si tratta di consulenza legale e indirizza a un avvocato locale?).
Una risposta era superata se la sua media era almeno 3,5 e nessuna dimensione scendeva sotto 2. Usare un modello per valutare altri modelli introduce distorsioni, su cui torniamo più avanti.
Quale modello ha superato più domande?
Claude Sonnet 4 ne ha superate 88 su 100, GPT-4o 87 e Gemini 2.5 Flash 78. Con 100 domande e un solo giudice, un divario di un punto tra Claude e GPT-4o è rumore: consideratelo un pareggio.
Che punteggi hanno ottenuto i modelli in ciascuna dimensione?
L'accuratezza giuridica andava da 3,98 a 4,30 su 5. Gemini ha ottenuto il punteggio più alto nella completezza delle questioni (4,82), davanti a Claude (4,58). La dimensione più forte di Claude era il valore pratico, con 4,73 contro 4,21 di GPT-4o, soprattutto perché le sue risposte elencavano più passi concreti. Le avvertenze sono state il punto debole di tutti i modelli.
Che cosa abbiamo imparato a maggio 2026?
I modelli di solito individuavano l'area del diritto corretta
Nella maggior parte dei 100 casi, ciascun modello ha individuato l'area del diritto, identificato le questioni principali e fornito consigli su cui una persona poteva agire. Questa è stata la parte incoraggiante del test.
Il punto debole erano le avvertenze
Tutti e tre i modelli hanno ottenuto tra 3,0 e 3,15 sulle avvertenze appropriate. Approfondivano l'analisi, spesso correttamente, senza dire che si trattava di informazioni generali o che la persona avrebbe dovuto rivolgersi a un avvocato locale. Una risposta sicura di sé priva di avvertenze è rischiosa anche quando è corretta, perché il lettore non può capire quali parti dipendono dal suo Stato o dalla sua situazione. È uno dei motivi per cui aggiungiamo misure di salvaguardia, avvertenze e rinvio a un avvocato su qualsiasi modello utilizzato da HAQQ.
Prova HAQQ AI gratis
Sperimenta la redazione e ricerca legale con IA
Medie alte non hanno significato un tasso di superamento alto
Gemini 2.5 Flash aveva le medie più alte in accuratezza giuridica (4,30) e completezza delle questioni (4,82), ma il tasso di superamento più basso, il 78%. Alcune sue risposte erano troncate; altre omettevano del tutto l'avvertenza e fallivano su quella dimensione. Nel lavoro legale, una risposta eccellente nella maggior parte dei casi e incompleta negli altri è difficile da usare con fiducia.
Quanto è affidabile un giudice IA?
Claude ha giudicato tutti e tre i modelli, compreso se stesso. Ciò solleva tre problemi che non abbiamo potuto eliminare in questo test: un possibile vantaggio del fattore campo, una preferenza per le strutture di risposta che il giudice riconosce e l'assenza di un riferimento verificato, perché nessun avvocato ha controllato le risposte. Ciò che i punteggi misurano è la concordanza con l'idea che un singolo modello ha di una buona risposta.
I nostri test successivi hanno affrontato questo aspetto. Il benchmark di Opus 5.5 di settembre 2026 ha utilizzato due giudici esterni ad Anthropic, e il test delle domande trabocchetto ha utilizzato tre giudici alla cieca e ha pubblicato tutte le 80 risposte.
I risultati hanno retto su domande nuove?
I 100 post più popolari sono abbastanza vecchi da poter comparire nei dati di addestramento. Per verificarlo abbiamo applicato la stessa procedura a 20 domande pubblicate su r/legaladvice nelle 48 ore precedenti. Claude Sonnet 4 ha ottenuto il 95%, GPT-4o il 90% e Gemini 2.5 Flash l'85%. Venti domande sono un campione piccolo, quindi lo interpretiamo come "nessun segno di memorizzazione" e non come un miglioramento.
Che cosa significa per un prodotto di IA legale?
Già a maggio 2026 i modelli ragionavano sulle comuni questioni giuridiche statunitensi abbastanza bene da essere utili nella maggior parte dei casi. Il restante 5 a 15% è dove un prodotto si guadagna la fiducia: scegliere quale risposta tenere tra i modelli, aggiungere le avvertenze che i modelli hanno omesso, ancorare le risposte alla giurisdizione e ai documenti dello studio e rendere ogni citazione riconducibile alla sua fonte. È il lavoro che Justinian, il motore di IA legale di HAQQ, svolge sopra i modelli che esegue.
Metodologia
- Data del test: maggio 2026.
- Domande: i 100 post più popolari di sempre su r/legaladvice, più 20 post delle 48 ore precedenti, filtrati per mantenere i post testuali di sostanza.
- Modelli: Claude Sonnet 4, GPT-4o e Gemini 2.5 Flash, tutti richiamati tramite OpenRouter con prompt di sistema identici.
- Prompting: catena di ragionamento con uno schema di ragionamento giuridico in cinque passaggi (giurisdizione, questioni, diritto, analisi, consiglio).
- Giudice: Claude Sonnet 4, giudice unico, cinque dimensioni valutate da 1 a 5, nessuna revisione da parte di un avvocato.
- Regola di superamento: media di almeno 3,5 e nessuna dimensione sotto 2.
- Dati: codice, domande, risposte e punteggi sono stati conservati in un repository al momento del test.



