In sintesi: abbiamo messo alla prova Claude Opus 5.5, Opus 5 e Fable 5.1 su dieci prompt di livello professionale per avvocati e raccolto 120 verdetti alla cieca da due giudici esterni ad Anthropic. I modelli si sono piazzati a quattro verdetti l'uno dall'altro, e i risultati formano un ciclo anziché una classifica. Il prezzo è stato l'elemento che li ha separati nettamente: Opus 5.5 costa la metà di Fable 5.1 per risposta. Pubblichiamo anche ciò che è andato storto, perché uno di questi errori ci ha quasi consegnato un risultato falso.
Tutti citano gli stessi tre numeri
Cercate un confronto tra gli attuali modelli di Anthropic e troverete una pagina di articoli che concordano tra loro. Opus 5.5 eguaglia Fable 5.1 nella maggior parte dei compiti. Costa molto meno. È più veloce.
Quei numeri sono corretti, e li abbiamo verificati alla fonte invece di fidarci della stampa. La pagina di Anthropic indica che i token di input e di output costano "4 $ e 20 $ per milione, il 20% in meno di Opus 5", e che "Opus 5.5 genera inoltre l'output oltre il 30% più velocemente di Opus 5". Rispetto ai 10 $ e 50 $ di Fable 5.1, significa il 60% in meno per token.
Quello che quasi nessuno ha fatto è confrontare i modelli in modo indipendente. La copertura è vero giornalismo, ma riferisce l'autovalutazione di un fornitore.
Il benchmark giuridico indipendente che siamo riusciti a verificare alla fonte, e ne abbiamo trovato uno soltanto, concorda nel complesso con il fornitore. Il Legal Research Bench di Vals AI attribuisce a Opus 5.5 il 50,48%, al 4° posto su 68 modelli. È un buon risultato, ed è anche un risultato sulla ricerca giuridica, che è un solo compito. Non dice a un giurista d'impresa se il modello redige una clausola di earn-out migliore rispetto al modello che costa il doppio.
Abbiamo cercato quella risposta senza trovarla, quindi abbiamo condotto il test noi stessi.
Una nota su ciò che non abbiamo pubblicato. Due dati molto ripresi su Opus 5.5 in un benchmark di agenti giuridici non hanno superato la verifica con la fonte primaria: la pagina dei risultati del benchmark non elenca affatto il modello, e la pagina del fornitore non riporta il punteggio che gli viene attribuito. Li abbiamo esclusi entrambi. Se vedete quei numeri citati altrove, chiedete da dove provengono.
Che cosa abbiamo testato
Dieci prompt, scritti come incarichi che un avvocato in attività riconoscerebbe, non come domande d'esame:
- Revisionare con modifiche tracciate un tetto di responsabilità in un contratto SaaS
- Un parere IRAC sull'efficacia di un patto di non concorrenza
- Una ricerca ricca di citazioni sulla giurisdizione personale
- Un parere su un trasferimento transfrontaliero di dati dagli Emirati Arabi Uniti alla Francia
- Redigere una clausola di earn-out
- Un triage ai sensi dell'AI Act UE per un prodotto legal tech
- Un memo strategico: arbitrato o contenzioso ordinario
- Segnali d'allarme nella due diligence di un acqui-hire
- Una lettera al cliente che comunica una sentenza sfavorevole
- Indennità di fine servizio: DIFC a confronto con il diritto emiratino continentale
Due di questi riguardano questioni MENA, perché è il diritto per cui è costruito il nostro prodotto e perché è lì che i dati di addestramento scarseggiano.
Ogni modello ha risposto a tutti e dieci. Poi ogni risposta è stata messa a confronto con tutte le altre in un confronto a coppie alla cieca, valutato da due giudici esterni ad Anthropic: GPT-5.5 e Gemini 3.1 Pro. Ogni giudice ha visto ogni coppia due volte, una per ciascun ordine, il che neutralizza la tendenza ben documentata di un modello linguistico a favorire la risposta che legge per prima. Tre abbinamenti, dieci prompt, due giudici, due ordini. 120 verdetti.
I giudici hanno valutato quattro dimensioni su una scala da 1 a 10: accuratezza, completezza, utilità pratica e qualità redazionale. È stato detto loro che la prolissità non è qualità, e di giudicare come un socio che rivede il lavoro di un associate.
Due impostazioni contano più di quanto sembri. Abbiamo fissato lo sforzo di ragionamento su "high" per tutti e tre i modelli, così che il confronto misuri la capacità a parità di impostazione e non tre diversi valori predefiniti dei fornitori. E abbiamo omesso del tutto la temperatura, perché Fable 5.1 non accetta quel parametro tramite OpenRouter. Impostarla avrebbe dato ai due modelli Opus un determinismo che Fable non poteva avere.
L'intero test è costato 15,26 $. Tutti i prezzi dei modelli in questo articolo sono prezzi di listino OpenRouter letti dall'API il 23 settembre 2026, e tutti i costi per risposta sono calcolati sui token effettivamente consumati dal nostro test.
Il risultato non forma una classifica
Tre scontri diretti, 40 verdetti alla cieca ciascuno
Dieci prompt di livello professionale, due giudici esterni ad Anthropic, entrambi gli ordini di presentazione. Pareggi indicati a parte.
Opus 5.5 contro Opus 5
Opus 5.5 contro Fable 5.1
Opus 5 contro Fable 5.1
Leggete lo schema complessivo, non una singola riga. Opus 5.5 batte Fable 5.1, Fable 5.1 batte Opus 5 e Opus 5 batte Opus 5.5. Nessun ordinamento dei tre modelli è coerente con tutti e tre i risultati.
Opus 5.5 batte Fable 5.1. Fable 5.1 batte Opus 5. Opus 5 batte Opus 5.5.
È un ciclo, non una classifica. Non esiste un ordinamento di questi tre modelli coerente con tutti e tre i risultati, il che è il segnale più chiaro possibile che le differenze sono inferiori alla precisione della misura.
Guardandolo dall'altro lato emerge la stessa cosa. Ogni modello compare in due abbinamenti, quindi totalizza 80 verdetti.
Verdetti vinti, su 80 per modello
Ogni modello ha affrontato entrambi gli altri su tutti e dieci i prompt, quindi ciascuno totalizza 80 dei 240 giudizi.
Quattro verdetti di scarto. Su questo insieme di compiti, con questa dimensione del campione, i tre modelli sono intercambiabili quanto a qualità.
Avremmo potuto scrivere il titolo al contrario. "Opus 5.5 batte Fable 5.1 nel lavoro legale" è vero, è ciò che dicono i nostri stessi numeri, e avrebbe circolato molto più di questo articolo. Sarebbe stato anche un margine di tre verdetti su quaranta presentato come una scoperta. Non crediamo che reggerebbe a una ripetizione del test, e preferiamo dirlo piuttosto che scoprirlo in pubblico.
Che cosa significa davvero uno scarto di quattro verdetti
Un benchmark risponde alla domanda che ci si può permettere di porre, non a quella che si voleva porre. Dieci prompt sono ciò che si compra con 15 $ a uno sforzo di ragionamento elevato. Bastano per rilevare una grande differenza e non per risolverne una piccola, e quella che abbiamo trovato è piccola.
La lettura onesta è che, su questo insieme di compiti e con questa dimensione del campione, questi tre modelli sono intercambiabili quanto a qualità. Chi pubblica un ordinamento sicuro di questi modelli sulla base di un benchmark di queste dimensioni sta riportando rumore con un decimale.
Un modello che vince 35 a 39 non ha perso. Un modello che vince 85 a 15 ha vinto.
Non è una critica ai benchmark. È un argomento per leggerli in base all'entità dell'effetto, non alla posizione.
I giudici non erano d'accordo, e questo è decisivo
Abbiamo usato due giudici proprio perché nessuno dei due potesse determinare da solo il risultato. Non si sono trovati d'accordo, e il loro disaccordo è sistematico, non casuale.
| Giudice | Opus 5.5 | Opus 5 | Fable 5.1 | Pareggi | Che cosa premia |
|---|---|---|---|---|---|
| GPT-5.5 | 21 | 16 | 23 | 0 | prudenza, fonti pulite |
| Gemini 3.1 Pro | 14 | 23 | 13 | 10 | copertura, completezza |
GPT-5.5 ha messo Fable 5.1 al primo posto e non ha mai dichiarato un pareggio. Gemini 3.1 Pro ha messo Opus 5 al primo posto con ampio margine e ne ha dichiarati dieci.
Leggendo le motivazioni, la ragione è evidente. GPT-5.5 premia la prudenza, fonti pulite e il rispetto del perimetro dell'incarico. Gemini 3.1 Pro premia la copertura, e ha costantemente preferito la risposta più lunga, quella che individuava più obblighi e segnalava più eventualità.
Nessuno dei due sbaglia. Sono due visioni difendibili di che cosa sia un buon lavoro da associate, e producono vincitori diversi sulle stesse risposte. Se c'è una cosa da portare via da questo articolo, è questa: quando un benchmark riporta un punteggio unico, chiedete chi era il giudice e che cosa premia, perché quella scelta pesa più di quanto sembri.
Un risultato regge con entrambi i giudici. Opus 5.5 si piazza secondo con ciascuno di essi, quindi nessun giudice lo colloca all'ultimo posto.
Dove i punteggi si separano
I verdetti a coppie sono serrati. I punteggi per dimensione sono più rivelatori, perché mostrano modelli che sbagliano in direzioni diverse.
Punteggio medio dei giudici per dimensione, da 1 a 10
Media di tutti i verdetti in cui compariva ciascun modello. Le barre sono disegnate sull'intera scala da 0 a 10.
Accuratezza
Completezza
Utilità pratica
Redazione
Le barre si somigliano perché i risultati si somigliano: lo scarto complessivo tra tre modelli e quattro dimensioni è di 1,26 punti. Leggete i valori, non le lunghezze. Questa uniformità è il risultato, non un problema di visualizzazione.
Sull'accuratezza c'è parità in vetta. Opus 5.5 e Fable 5.1 hanno entrambi una media di 8,55. Opus 5 si colloca sotto entrambi, a 8,18.
La completezza va nella direzione opposta. Opus 5 è in testa con 9,44, Fable 5.1 segue con 9,22 e Opus 5.5 chiude con 8,93.
Questa inversione è l'elemento più utile del test. Opus 5 ha scritto le risposte più lunghe e approfondite dell'insieme e ha ottenuto i punteggi più alti in completezza e utilità pratica, mentre ha ottenuto il più basso in accuratezza. Opus 5.5 ha scritto risposte più brevi che i giudici hanno valutato più precise. Fable 5.1 si è collocato più vicino alla vetta su entrambe.
Per molti lavori, la completezza è ciò che si cerca. Nel lavoro legale, la priorità tra queste due dimensioni è una scelta da compiere deliberatamente anziché ereditarla da una classifica, perché una risposta che copre più terreno ed è meno accurata non è per forza quella da inviare a un cliente.
Prova HAQQ AI gratis
Sperimenta la redazione e ricerca legale con IA
L'aspetto in cui non c'è partita
Costo per risposta, misurato sui token reali
Dieci prompt giuridici per modello con sforzo di ragionamento elevato, fatturati ai prezzi di listino OpenRouter del 23 settembre 2026.
I token di ragionamento sono fatturati come output. Opus 5.5 ha ragionato più a lungo dei tre, 10.031 token di ragionamento per risposta contro i 6.953 di Fable 5.1, ed è comunque risultato il più economico.
Misurato sui token reali anziché sul prezzo di listino, Opus 5.5 ha risposto a questi dieci prompt a 0,3647 $ per risposta. Opus 5 si è attestato a 0,4362 $. Fable 5.1 si è attestato a 0,7249 $, quasi il doppio di Opus 5.5, per una differenza di qualità che i nostri stessi dati non riescono a risolvere.
La velocità è andata nella stessa direzione. Opus 5.5 ha impiegato in media 184 secondi per risposta, Fable 5.1 193 e Opus 5 238.
Quanto ciascun modello fa pagare per pensare merita un paragrafo a sé, perché ci ha sorpreso. Opus 5.5 era il modello più economico e anche quello che ha pensato più a lungo. Fable 5.1 ha scritto le risposte visibili più brevi dei tre ed è comunque costato di più, perché il suo prezzo di listino è 2,5 volte quello di Opus 5.5. Il basso costo per token ha dato a Opus 5.5 lo spazio per ragionare di più e risultare comunque in vantaggio sulla fattura.
Il benchmark ci ha quasi mentito
Questa è la parte che la maggior parte dei resoconti di benchmark tralascia, ed è quella che vorremmo leggere di più.
Il nostro primo passaggio limitava ogni risposta a 32.000 token. Avevamo elementi a sostegno di quel numero: un test precedente sullo stesso insieme di prompt aveva dimostrato che con 32k non c'erano troncamenti, con la risposta più lunga sotto gli 11.000 token.
Quegli elementi non erano trasferibili, e il motivo è un dettaglio che vale la pena conoscere. I token di ragionamento sono fatturati come output e rientrano nello stesso budget di token della risposta. Fissare lo sforzo di ragionamento su "high" ha aggiunto circa 8.000 token di ragionamento per risposta, e il budget che prima era ampio è diventato stretto.
Sul prompt di redazione della clausola di earn-out, entrambi i modelli Opus hanno raggiunto il limite e sono stati interrotti a metà risposta. Fable 5.1 ha terminato normalmente. Su quel prompt, quindi, non stavamo confrontando tre modelli. Stavamo confrontando un modello con due modelli privati del finale, e i verdetti che ne sono derivati puntavano dritto contro i modelli in prova.
Rieseguito a 64.000 token, Opus 5.5 ha usato 51.358 token su quel solo prompt. Il limite di 32k lo stava tagliando all'incirca a metà.
Dietro il primo errore ce n'era un secondo. Avevamo interrotto un test a metà della fase di giudizio, e questo aveva già memorizzato nella cache verdetti calcolati sulle risposte troncate. Quei verdetti in cache sono sopravvissuti alla nuova esecuzione delle risposte, perché una risposta troncata non è un errore e alla cache sembrava completa. Abbiamo dovuto individuare e scartare ogni verdetto relativo ai prompt interessati e rigenerarli.
Ha fatto la differenza. Sul sottoinsieme pulito ma incompleto di otto prompt, Fable 5.1 era davanti a Opus 5.5. Reintegrati i due prompt corretti, il risultato si è ribaltato. Un limite di cui avevamo buoni motivi per fidarci, più una cache che avevamo dimenticato di avere, avrebbe prodotto un titolo sicuro e sbagliato.
Che cosa abbiamo cambiato
- Il sistema di test ora interrompe l'esecuzione se una risposta torna con un motivo di terminazione diverso da un arresto regolare. In precedenza stampava un avviso e proseguiva. Un avviso in un log non è un blocco.
- Una cella troncata non viene più considerata in cache. Il controllo di obsolescenza verifica il motivo di terminazione, non solo la presenza di un campo di errore, perché il troncamento non è un errore.
- Ogni cella viene scritta su disco appena completata, così un'esecuzione interrotta riprende senza pagare di nuovo, e ogni verdetto registra quale versione della risposta ha giudicato.
Lo segnaliamo perché questa modalità di errore si generalizza. Se confrontate modelli di ragionamento tra loro e impostate un limite di token pensato per modelli senza ragionamento, molto probabilmente state misurando il limite.
Il punto di vista di HAQQ
Sviluppiamo AI giuridica, quindi non siamo neutrali sulla scelta dei modelli, e diremo chiaramente che cosa questo test ha cambiato per noi.
Abbiamo spostato la redazione giuridica ordinaria su Opus 5.5. Non perché i nostri dati lo incoronino, cosa che non possono fare, ma perché è indistinguibile per qualità dai due modelli che costano di più, ed è più veloce. Quando due opzioni risultano misurabilmente equivalenti e una costa la metà, la decisione non è in bilico, anche se il benchmark lo è.
Abbiamo mantenuto Fable 5.1 per i passaggi finali sottoposti a controllo di qualità, il lavoro la cui risposta viene letta da qualcuno esterno all'azienda. È una cautela, non un risultato. I nostri numeri non la giustificano, e un insieme di prompt più ampio potrebbe benissimo superarla.
Per un team legale che sceglie un modello, la conclusione utile non è quale modello abbia vinto. È che il divario di qualità tra gli attuali modelli di frontiera sui compiti giuridici è ormai abbastanza ridotto da far contare prezzo, latenza e modo in cui un modello sbaglia più di chi guida una classifica. Scegliete quello il cui modo di sbagliare vi risulta accettabile, poi provatelo sulle vostre pratiche, perché le vostre pratiche non sono i nostri dieci prompt.
Limiti
- Dieci prompt sono un campione ridotto. Bastano per rilevare una grande differenza, e non ne hanno trovata nessuna. Considerate provvisorio ogni margine a coppie riportato qui.
- Due giudici, entrambi modelli linguistici. Abbiamo usato giudici esterni ad Anthropic e invertito le posizioni per controllare i bias evidenti, ma un giudice LLM non è un avvocato, e abbiamo già scritto quanto possano sbagliare i giudici LLM proprio su questo tipo di compito.
- Il disaccordo tra giudici resta irrisolto. I nostri due giudici hanno prodotto vincitori diversi. Li riportiamo entrambi invece di farne la media in un unico numero che nasconda la divergenza.
- Un'unica esecuzione, senza ripetizioni. Non abbiamo eseguito ogni prompt più volte, quindi non possiamo separare la variabilità del modello dalla sua capacità.
- Il nostro insieme di prompt è nostro. Tende verso il diritto commerciale, il lavoro transfrontaliero e l'area MENA, perché è ciò per cui sviluppiamo.
Punti chiave
- Tre modelli di frontiera di Anthropic si sono piazzati a quattro verdetti l'uno dall'altro sui 240 giudizi alla cieca che abbiamo raccolto su compiti giuridici di livello professionale. Con questa dimensione del campione non esiste un ordinamento affidabile tra loro.
- I risultati non sono transitivi: Opus 5.5 batte Fable 5.1, Fable 5.1 batte Opus 5, Opus 5 batte Opus 5.5. Questo schema è di per sé la prova che le differenze sono inferiori alla precisione della misura.
- Due giudici hanno prodotto due vincitori diversi dalle stesse risposte. Quando un benchmark riporta un solo numero, chiedete che cosa premia il suo giudice.
- Il prezzo è stato l'elemento di netta separazione. Opus 5.5 ha risposto a circa la metà del costo per risposta di Fable 5.1, e nessun modello dell'insieme è stato più veloce.
- Accuratezza e completezza si sono mosse in direzioni opposte. Il modello più approfondito dell'insieme ha ottenuto il punteggio più basso in accuratezza.
- Se fissate lo sforzo di ragionamento, ricontrollate il limite di token. I token di ragionamento rientrano nello stesso budget, e un limite prima sicuro troncherà le risposte senza avvisare.
