In sintesi: Astra è in testa sul merito giuridico, con 17,63 su 20, e vince per meno di un punto. Per quel margine costa 11 volte più per risposta di GPT-5.6 Luna Pro; rispetto a Claude Opus 5 è l'acquisto più conveniente, 1,7 volte meno caro per risposta, perché scrive 3,5 volte meno. Tutti i modelli testati hanno sbagliato il diritto saudita o egiziano pur citando l'articolo corretto. È l'errore che nessuno strumento di verifica intercetta, e si trova nel nostro mercato.
Che cosa abbiamo testato
41 prompt in 20 aree di pratica, dall'M&A e dal diritto dei mercati finanziari all'immigrazione e all'edilizia. Tre modelli: GPT-6 Astra, Claude Opus 5, GPT-5.6 Luna Pro. Sforzo di ragionamento fissato su medio per tutti e tre, perché il confronto fosse equo e non lusinghiero. Nove proprietà misurate separatamente, perché un modello che redige in modo impeccabile e inventa una norma non è un buon modello giuridico. 66,55 $ di inferenza fatturata. Test eseguito il 10 settembre 2026.
HAQQ non è incluso in questo benchmark. Non abbiamo inserito il nostro prodotto in uno studio condotto da noi. Quello che segue riguarda tre modelli di frontiera, misurati l'uno rispetto all'altro.
La classifica è serrata. Il prezzo no.
Sul merito giuridico (qualità valutata più accuratezza), Astra è in testa con 17,63 su 20. Sul punteggio composito, che include una posizione per velocità, prevale Luna Pro con 30,93 su 35, contro 30,05 di Astra e 28,13 di Opus 5.
Sono vere entrambe le cose, ed è proprio questo il punto. Un benchmark che riporta solo il punteggio composito le sta dicendo, implicitamente, che la latenza conta quanto avere ragione.
Nessuno compra un token
| Modello | Prezzo per milione di token in output | Token per risposta | Costo per risposta |
|---|---|---|---|
| GPT-6 Astra | 50 $ | 5.201 | 0,2622 $ |
| Claude Opus 5 | 25 $ | 18.190 | 0,4566 $ |
| GPT-5.6 Luna Pro | 1,20 $ | 16.356 | 0,0231 $ |
Astra applica il doppio della tariffa per token di Opus 5 e costa comunque 1,7 volte meno per risposta, perché scrive 3,5 volte meno token per dire la stessa cosa.
Il modello nominalmente più economico è quello più costoso.
La sinteticità è il risultato. Il vantaggio di Astra non è essere più intelligente, è sapere quando smettere di scrivere.
Rispetto a Luna Pro il compromesso crolla: 11 volte il costo per risposta per meno di un punto di punteggio composito. Per domande e risposte giuridiche generali ad alto volume, non è difendibile.
La manopola del ragionamento è una leva di costo, non di qualità
Astra espone un'impostazione dello sforzo di ragionamento, quindi abbiamo eseguito dieci prompt a ciascun livello. Passare da basso ad alto ha moltiplicato il costo per 1,5 e la latenza per 1,8, e ha spostato la qualità valutata di -0,17 punti.
Alzarlo ha reso le risposte leggermente peggiori e sensibilmente più care. Se utilizza Astra, fissi lo sforzo.
La parte che dovrebbe preoccuparla
Sei domande in cinque giurisdizioni, poste nella lingua che userebbe un professionista locale. Termini di preavviso nel diritto del lavoro saudita e limiti del periodo di prova negli Emirati Arabi Uniti, in arabo. Termini di prescrizione e disciplina delle clausole abusive nel diritto francese. Norme sui trasferimenti in Qatar. Normativa egiziana sui dati.
Astra: 83,3% giuridicamente corretto. Luna Pro: 83,3%. Claude Opus 5: 83,3%. Ogni modello ha risposto correttamente a 5 domande su 6.
Tutti e tre hanno risposto nella lingua giusta, ogni volta. Tutti e tre hanno citato la disposizione giusta, ogni volta. Ciascuno ha poi riportato in modo errato il contenuto di una disposizione: Astra e Luna Pro sul consenso al trasferimento transfrontaliero previsto dalla legge egiziana sulla protezione dei dati personali (PDPL), Claude Opus 5 sull'articolo 75 della Legge sul lavoro saudita, di cui ha citato la formulazione del preavviso anteriore al 2025.
Un verificatore di citazioni approva quella risposta. Ogni strumento di rilevamento delle allucinazioni sul mercato approva quella risposta. Un cliente no.
È il divario tra la padronanza di una lingua e la correttezza in una giurisdizione, e né una finestra di contesto più ampia né un motore di ragionamento più capace lo colmano.
Il contesto lungo è risolto. Pagarlo no.
Abbiamo inserito quattro clausole in conflitto in un contratto quadro di servizi (un tetto, un'esclusione che lo deroga, una clausola di adeguamento composto e una clausola sulla legge applicabile) al 6%, 24%, 47% e 68% della sua lunghezza. Rispondere correttamente significa trovarle tutte e quattro e applicare l'ordine di prevalenza corretto. Trovare solo la prima produce un numero preciso, sicuro e sbagliato.
Tutti e tre hanno risposto correttamente a 25k, 100k e 200k token. Ma arrivare alla stessa risposta a 200k è costato 2,01 $ su Astra e 0,15 $ su Luna Pro. Uno scarto di 13 volte per un output identico.
Il determinismo non è disponibile a nessun prezzo
Stessa domanda, stesso seed, cinque volte. Nessun modello ha riprodotto una risposta identica. La somiglianza a livello di parola è andata da 0,47 a 0,78. Due dei tre accettano un seed e tuttavia non producono mai due volte lo stesso testo.
Se la stessa domanda su un contratto restituisce una risposta diversa il martedì, non era affidabile nemmeno il lunedì. Qualsiasi impegno di coerenza preso con un cliente va costruito sopra il modello, non acquistato dal modello.
Che cosa diremmo a uno studio che sceglie oggi
Instradi per tipo di pratica, non per marchio. La nostra tabella per area di pratica mostra Astra in vantaggio nella maggior parte delle aree e Opus 5 avanti in materia di insolvenza ed ESG, con distacchi così ridotti che la decisione dipende di solito da costo e latenza più che dalle capacità.
Non sposti le domande e risposte giuridiche ad alto volume su Astra aspettandosi un salto di qualità. Lo valuti invece dove sta pagando Opus 5 per risposte lunghe che nessuno legge.
E qualunque scelga, verifichi la giurisdizione. Tutti e tre le forniranno il numero di articolo corretto abbinato alla regola sbagliata, nelle lingue in cui lavora il nostro mercato.
I limiti, detti chiaramente
Questi risultati si basano su meno prompt di quanti ne avessimo previsti, e Claude Opus 5 ha risposto a 37 dei 41 contro 41 per gli altri due, quindi la base è disomogenea. Consideri la classifica provvisoria e il risultato multilingue come quello su cui vale la pena agire. Misureremo di nuovo quando il set completo sarà pronto e pubblicheremo ciò che emerge.
Abbiamo condotto il test noi stessi. Non è stato sottoposto a verifica indipendente. Il metodo è descritto sopra perché lei possa controllarlo.
Prova HAQQ AI gratis
Sperimenta la redazione e ricerca legale con IA
