En bref : nous avons soumis Claude Opus 5.5, Opus 5 et Fable 5.1 à dix requêtes de niveau avocat et recueilli 120 verdicts à l'aveugle auprès de deux juges extérieurs à Anthropic. Les modèles ont terminé à quatre verdicts les uns des autres, et les résultats forment une boucle plutôt qu'un classement. Le prix est le critère qui les a nettement départagés : Opus 5.5 revient à la moitié du coût par réponse de Fable 5.1. Nous publions aussi ce qui a mal tourné, car l'un de ces incidents a failli nous livrer un faux résultat.
Tout le monde cite les trois mêmes chiffres
Cherchez une comparaison des modèles actuels d'Anthropic et vous trouverez une page d'articles qui se recoupent. Opus 5.5 égale Fable 5.1 sur la plupart des tâches. Il coûte bien moins cher. Il est plus rapide.
Ces chiffres sont exacts, et nous les avons vérifiés à la source plutôt que de nous fier à la presse. La page d'Anthropic indique que les jetons d'entrée et de sortie coûtent "4 $ et 20 $ par million, 20 % de moins qu'Opus 5", et qu'"Opus 5.5 génère aussi sa sortie plus de 30 % plus vite qu'Opus 5". Face aux 10 $ et 50 $ de Fable 5.1, cela représente 60 % de moins par jeton.
Ce que presque personne n'a fait, c'est confronter les modèles de manière indépendante. La couverture médiatique relève du vrai journalisme, mais elle rend compte de l'auto-évaluation d'un fournisseur.
Le benchmark juridique indépendant que nous avons pu vérifier à la source, et il n'y en a qu'un, rejoint globalement le fournisseur. Le Legal Research Bench de Vals AI attribue à Opus 5.5 un score de 50,48 %, au 4e rang sur 68 modèles. C'est un bon résultat, mais il porte sur la recherche juridique, qui n'est qu'une tâche. Il ne dit pas à un juriste d'entreprise si le modèle rédige une meilleure clause d'earn-out que celui qui coûte deux fois plus cher.
Nous avons cherché cette réponse sans la trouver, alors nous avons mené le test nous-mêmes.
Une note sur ce que nous n'avons pas publié. Deux chiffres largement repris sur Opus 5.5 dans un benchmark d'agents juridiques n'ont pas résisté à une vérification auprès de la source primaire : la page de résultats du benchmark ne mentionne pas du tout le modèle, et la page du fournisseur ne comporte pas le score qui lui est attribué. Nous les avons écartés tous les deux. Si vous voyez ces chiffres cités ailleurs, demandez d'où ils viennent.
Ce que nous avons testé
Dix requêtes, rédigées comme des tâches qu'un avocat en exercice reconnaîtrait plutôt que comme des questions d'examen :
- Annoter un plafond de responsabilité dans un contrat SaaS
- Une note IRAC sur l'opposabilité d'une clause de non-concurrence
- Une recherche riche en citations sur la compétence juridictionnelle personnelle
- Un avis sur un transfert transfrontalier de données des Émirats arabes unis vers la France
- Rédiger une clause d'earn-out
- Un tri au regard de l'AI Act européen pour un produit legal tech
- Une note stratégique arbitrage contre contentieux judiciaire
- Les signaux d'alerte de due diligence dans un acqui-hire
- Une lettre au client annonçant un jugement défavorable
- L'indemnité de fin de service : DIFC contre droit émirien continental
Deux d'entre elles portent sur des dossiers MENA, parce que c'est le droit pour lequel notre propre produit est conçu et parce que c'est là que les données d'entraînement sont rares.
Chaque modèle a répondu aux dix. Puis chaque réponse a été confrontée à chacune des autres dans une comparaison par paires à l'aveugle, notée par deux juges extérieurs à Anthropic : GPT-5.5 et Gemini 3.1 Pro. Chaque juge a vu chaque paire deux fois, une fois dans chaque ordre, ce qui neutralise la tendance bien documentée d'un modèle de langage à favoriser la réponse qu'il lit en premier. Trois paires, dix requêtes, deux juges, deux ordres. 120 verdicts.
Les juges ont noté quatre dimensions sur une échelle de 1 à 10 : exactitude, exhaustivité, utilité pratique et qualité rédactionnelle. On leur a indiqué que la prolixité n'est pas la qualité, et de juger comme un associé relisant le travail d'un collaborateur.
Deux paramètres comptent plus qu'il n'y paraît. Nous avons fixé l'effort de raisonnement à "high" sur les trois modèles, de sorte que la comparaison mesure la capacité à réglage constant plutôt que trois réglages par défaut différents. Et nous avons entièrement omis la température, car Fable 5.1 n'accepte pas ce paramètre via OpenRouter. La fixer aurait donné aux deux modèles Opus un déterminisme auquel Fable ne pouvait prétendre.
L'ensemble du test a coûté 15,26 $. Tous les prix de modèles cités dans cet article sont les prix catalogue d'OpenRouter relevés via l'API le 23 septembre 2026, et tous les coûts par réponse sont calculés à partir des jetons effectivement consommés par notre test.
Le résultat ne forme pas un classement
Trois face-à-face, 40 verdicts à l'aveugle chacun
Dix requêtes de niveau avocat, deux juges extérieurs à Anthropic, les deux ordres de présentation. Égalités affichées à part.
Opus 5.5 contre Opus 5
Opus 5.5 contre Fable 5.1
Opus 5 contre Fable 5.1
Lisez le schéma d'ensemble plutôt qu'une ligne isolée. Opus 5.5 bat Fable 5.1, Fable 5.1 bat Opus 5, et Opus 5 bat Opus 5.5. Aucun ordre des trois modèles n'est compatible avec les trois résultats.
Opus 5.5 bat Fable 5.1. Fable 5.1 bat Opus 5. Opus 5 bat Opus 5.5.
C'est une boucle, pas un classement. Aucun ordre de ces trois modèles n'est compatible avec les trois résultats, ce qui est le signal le plus clair possible que les écarts sont inférieurs à la précision de la mesure.
Prenez le problème dans l'autre sens et le même constat apparaît. Chaque modèle figure dans deux paires, et totalise donc 80 verdicts.
Verdicts gagnés, sur 80 par modèle
Chaque modèle a affronté les deux autres sur les dix requêtes, et totalise donc 80 des 240 jugements.
Quatre verdicts d'écart. Sur ce jeu de tâches, avec cette taille d'échantillon, les trois modèles sont interchangeables en qualité.
Nous aurions pu écrire le titre autrement. "Opus 5.5 bat Fable 5.1 en matière juridique" est vrai, c'est ce que disent nos propres chiffres, et cela aurait circulé bien plus que cet article. Ce serait aussi une marge de trois verdicts sur quarante, présentée comme une conclusion. Nous ne pensons pas que cela résisterait à un nouveau test, et nous préférons le dire plutôt que de le découvrir en public.
Ce que signifie réellement un écart de quatre verdicts
Un benchmark répond à la question que l'on a les moyens de poser, pas à celle que l'on voulait poser. Dix requêtes, c'est ce que 15 $ permettent d'acheter avec un effort de raisonnement élevé. C'est assez pour détecter un écart important, pas assez pour trancher un écart faible, et c'est un écart faible que nous avons trouvé.
La lecture honnête est que, sur ce jeu de tâches et avec cette taille d'échantillon, ces trois modèles sont interchangeables en qualité. Quiconque publie un classement assuré de ces modèles à partir d'un benchmark de cette taille rapporte du bruit assorti d'une décimale.
Un modèle qui gagne 35 contre 39 n'a pas perdu. Un modèle qui gagne 85 contre 15 a gagné.
Ce n'est pas une critique des benchmarks. C'est un argument pour les lire en fonction de l'ampleur de l'effet plutôt que du rang.
Les juges n'étaient pas d'accord, et cela pèse lourd
Nous avons utilisé deux juges précisément pour qu'aucun ne puisse porter le résultat à lui seul. Ils ne se sont pas accordés, et leur désaccord est systématique plutôt qu'aléatoire.
| Juge | Opus 5.5 | Opus 5 | Fable 5.1 | Égalités | Ce qu'il valorise |
|---|---|---|---|---|---|
| GPT-5.5 | 21 | 16 | 23 | 0 | prudence, sources propres |
| Gemini 3.1 Pro | 14 | 23 | 13 | 10 | couverture, exhaustivité |
GPT-5.5 a placé Fable 5.1 en tête et n'a jamais prononcé une seule égalité. Gemini 3.1 Pro a placé Opus 5 en tête avec une large marge et a prononcé dix égalités.
Lisez les justifications et la raison apparaît. GPT-5.5 valorise la prudence, des sources propres et le respect du périmètre de la mission. Gemini 3.1 Pro valorise la couverture, et a constamment préféré la réponse plus longue qui recensait davantage d'obligations et signalait davantage d'aléas.
Aucun des deux n'a tort. Ce sont deux visions défendables de ce qu'est un bon travail de collaborateur, et elles désignent des vainqueurs différents sur les mêmes réponses. Si vous ne retenez qu'une chose de cet article, retenez celle-ci : lorsqu'un benchmark affiche un score unique, demandez qui était le juge et ce qu'il valorise, car ce choix pèse plus qu'il n'y paraît.
Un résultat tient avec les deux juges. Opus 5.5 se classe deuxième chez chacun d'eux, si bien qu'aucun juge ne le place en dernier.
Là où les notes se séparent
Les verdicts par paires sont serrés. Les notes par dimension sont plus révélatrices, car elles montrent des modèles qui échouent dans des directions différentes.
Note moyenne des juges par dimension, de 1 à 10
Moyenne de tous les verdicts dans lesquels chaque modèle figurait. Les barres sont tracées sur l'échelle complète de 0 à 10.
Exactitude
Exhaustivité
Utilité pratique
Rédaction
Les barres se ressemblent parce que les résultats se ressemblent : l'écart total entre trois modèles et quatre dimensions est de 1,26 point. Lisez les valeurs, pas les longueurs. Cette uniformité est le résultat, pas un problème d'affichage.
En exactitude, égalité au sommet. Opus 5.5 et Fable 5.1 obtiennent tous deux 8,55 en moyenne. Opus 5 se situe en dessous, à 8,18.
L'exhaustivité va dans l'autre sens. Opus 5 mène avec 9,44, Fable 5.1 suit avec 9,22, et Opus 5.5 ferme la marche avec 8,93.
Cette inversion est l'enseignement le plus utile du test. Opus 5 a rédigé les réponses les plus longues et les plus fouillées de l'ensemble et a obtenu les notes les plus hautes en exhaustivité et en utilité pratique, tout en obtenant la plus basse en exactitude. Opus 5.5 a rédigé des réponses plus courtes que les juges ont jugées plus précises. Fable 5.1 se situait au plus près du sommet sur les deux.
Pour beaucoup de travaux, l'exhaustivité est ce que l'on recherche. En matière juridique, l'arbitrage entre ces deux dimensions est un choix à faire délibérément plutôt qu'à hériter d'un classement, car une réponse qui couvre plus de terrain tout en étant moins exacte n'est pas forcément celle qu'il faut envoyer à un client.
Essayer HAQQ AI gratuitement
Découvrez la rédaction et la recherche juridique par IA
Le critère qui n'est pas serré
Coût par réponse, mesuré sur les jetons réels
Dix requêtes juridiques par modèle avec un effort de raisonnement élevé, facturées aux prix catalogue d'OpenRouter du 23 septembre 2026.
Les jetons de raisonnement sont facturés comme de la sortie. Opus 5.5 a réfléchi le plus longtemps des trois, 10 031 jetons de raisonnement par réponse contre 6 953 pour Fable 5.1, et reste pourtant le moins cher.
Mesuré sur les jetons réels plutôt que sur le prix catalogue, Opus 5.5 a répondu à ces dix requêtes pour 0,3647 $ par réponse. Opus 5 s'est établi à 0,4362 $. Fable 5.1 s'est établi à 0,7249 $, soit presque le double d'Opus 5.5 pour un écart de qualité que nos propres données ne permettent pas de trancher.
La vitesse va dans le même sens. Opus 5.5 a mis en moyenne 184 secondes par réponse, Fable 5.1 193 et Opus 5 238.
Ce que chaque modèle facture pour réfléchir mérite un paragraphe à part, car cela nous a surpris. Opus 5.5 était le modèle le moins cher et aussi celui qui a réfléchi le plus longtemps. Fable 5.1 a produit les réponses visibles les plus courtes des trois et a pourtant coûté le plus cher, car son prix catalogue est 2,5 fois celui d'Opus 5.5. Son faible coût par jeton a laissé à Opus 5.5 la marge de réfléchir davantage tout en restant gagnant sur la facture.
Le benchmark a failli nous mentir
C'est la partie que la plupart des comptes rendus de benchmark omettent, et c'est celle que nous voudrions le plus lire.
Notre premier passage plafonnait chaque réponse à 32 000 jetons. Nous avions des éléments à l'appui de ce chiffre : un test antérieur sur le même jeu de requêtes avait montré qu'avec 32k aucune réponse n'était tronquée, la plus longue restant sous les 11 000 jetons.
Ces éléments ne se transposaient pas, et la raison est un détail à connaître. Les jetons de raisonnement sont facturés comme de la sortie et s'imputent sur le même budget de jetons que la réponse. Fixer l'effort de raisonnement à "high" a ajouté environ 8 000 jetons de raisonnement par réponse, et le budget qui était confortable est devenu serré.
Sur la requête de rédaction de la clause d'earn-out, les deux modèles Opus ont atteint le plafond et ont été coupés en pleine réponse. Fable 5.1 a terminé normalement. Sur cette requête, nous ne comparions donc pas trois modèles. Nous comparions un modèle à deux modèles amputés de leur conclusion, et les verdicts obtenus désignaient directement les modèles testés.
Relancé à 64 000 jetons, Opus 5.5 a utilisé 51 358 jetons sur cette seule requête. Le plafond de 32k le coupait environ de moitié.
Une deuxième défaillance se cachait derrière la première. Nous avions interrompu un test en pleine phase de jugement, et il avait déjà mis en cache des verdicts calculés sur les réponses tronquées. Ces verdicts en cache ont survécu à la relance des réponses, car une réponse tronquée n'est pas une erreur et paraissait complète au cache. Nous avons dû retrouver et écarter chaque verdict relatif aux requêtes concernées, puis les régénérer.
Cela a compté. Sur le sous-ensemble propre mais incomplet de huit requêtes, Fable 5.1 devançait Opus 5.5. Une fois les deux requêtes réparées réintégrées, le résultat s'est inversé. Un plafond auquel nous avions de bonnes raisons de nous fier, plus un cache dont nous avions oublié l'existence, aurait produit un titre assuré et faux.
Ce que nous avons changé
- Le banc de test interrompt désormais l'exécution si une réponse revient avec un motif de fin autre qu'un arrêt normal. Auparavant, il affichait un avertissement et continuait. Un avertissement dans un journal n'est pas un garde-fou.
- Une cellule tronquée n'est plus considérée comme mise en cache. Le contrôle de péremption vérifie le motif de fin, et pas seulement la présence d'un champ d'erreur, car une troncature n'est pas une erreur.
- Chaque cellule est écrite sur disque dès qu'elle est terminée, de sorte qu'une exécution interrompue reprend sans payer deux fois, et chaque verdict enregistre la version de la réponse qu'il a jugée.
Nous le mentionnons parce que ce mode de défaillance se généralise. Si vous comparez des modèles de raisonnement entre eux avec un plafond de jetons pensé pour des modèles sans raisonnement, il est très probable que vous mesuriez le plafond.
Le point de vue de HAQQ
Nous développons de l'IA juridique, nous ne sommes donc pas neutres sur le choix des modèles, et nous dirons clairement ce que ce test a changé pour nous.
Nous avons basculé la rédaction juridique courante sur Opus 5.5. Non pas parce que nos données le couronnent, ce qu'elles ne peuvent pas faire, mais parce qu'il est indiscernable en qualité des deux modèles plus chers, tout en étant plus rapide. Quand deux options sont mesurablement équivalentes et que l'une coûte moitié moins, la décision n'est pas serrée, même si le benchmark l'est.
Nous avons conservé Fable 5.1 pour les passes finales soumises à un contrôle de qualité, le travail dont la réponse sera lue par quelqu'un d'extérieur à l'entreprise. C'est une précaution plutôt qu'une conclusion. Nos chiffres ne la justifient pas, et un jeu de requêtes plus large pourrait bien la rendre inutile.
Pour une équipe juridique qui choisit un modèle, la conclusion utile n'est pas de savoir quel modèle a gagné. C'est que l'écart de qualité entre les modèles de pointe actuels sur les tâches juridiques est désormais assez faible pour que le prix, la latence et la manière dont un modèle échoue comptent davantage que la place en tête d'un classement. Choisissez celui dont le mode d'échec vous paraît acceptable, puis testez-le sur vos propres dossiers, car vos dossiers ne sont pas nos dix requêtes.
Limites
- Dix requêtes, c'est un petit échantillon. C'est assez pour détecter un écart important, et le test n'en a trouvé aucun. Considérez chaque marge par paire présentée ici comme provisoire.
- Deux juges, tous deux des modèles de langage. Nous avons utilisé des juges extérieurs à Anthropic et inversé les positions pour neutraliser les biais évidents, mais un juge LLM n'est pas un avocat, et nous avons expliqué ailleurs à quel point les juges LLM peuvent se tromper sur exactement ce type de tâche.
- Le désaccord entre juges n'est pas résolu. Nos deux juges ont désigné des vainqueurs différents. Nous présentons les deux plutôt que de les fondre dans une moyenne unique qui masquerait cette divergence.
- Une seule exécution, sans répétition. Nous n'avons pas exécuté chaque requête plusieurs fois, nous ne pouvons donc pas distinguer la variance du modèle de sa capacité.
- Notre jeu de requêtes nous est propre. Il penche vers le droit des affaires, le transfrontalier et la région MENA, car c'est ce pour quoi nous développons.
Points clés
- Trois modèles de pointe d'Anthropic ont terminé à quatre verdicts les uns des autres sur les 240 jugements à l'aveugle que nous avons recueillis sur des tâches juridiques de niveau avocat. Aucun ordre fiable ne se dégage entre eux avec cette taille d'échantillon.
- Les résultats sont non transitifs : Opus 5.5 bat Fable 5.1, Fable 5.1 bat Opus 5, Opus 5 bat Opus 5.5. Ce schéma prouve à lui seul que les écarts sont inférieurs à la précision de la mesure.
- Deux juges ont désigné deux vainqueurs différents à partir des mêmes réponses. Lorsqu'un benchmark affiche un chiffre unique, demandez ce que son juge valorise.
- Le prix est le critère qui a nettement départagé les modèles. Opus 5.5 a répondu pour environ la moitié du coût par réponse de Fable 5.1, et aucun modèle de l'ensemble n'a été plus rapide.
- L'exactitude et l'exhaustivité ont évolué en sens inverse. Le modèle le plus exhaustif de l'ensemble a obtenu la note la plus basse en exactitude.
- Si vous fixez l'effort de raisonnement, revérifiez votre plafond de jetons. Les jetons de raisonnement s'imputent sur le même budget, et un plafond qui était sûr auparavant tronquera les réponses sans prévenir.
