En bref : Astra arrive en tête sur le fond juridique, avec 17,63 sur 20, et l'emporte de moins d'un point. Pour cette marge, il coûte 11 fois plus par réponse que GPT-5.6 Luna Pro ; face à Claude Opus 5, il reste le choix le plus rentable, 1,7 fois moins cher par réponse, parce qu'il écrit 3,5 fois moins. Tous les modèles testés se sont trompés sur le droit saoudien ou égyptien tout en citant le bon article. C'est l'erreur qu'aucun outil de vérification ne détecte, et elle se trouve sur notre marché.
Ce que nous avons testé
41 prompts couvrant 20 domaines de pratique, des fusions-acquisitions et du droit boursier à l'immigration et à la construction. Trois modèles : GPT-6 Astra, Claude Opus 5, GPT-5.6 Luna Pro. Effort de raisonnement fixé à moyen pour les trois, afin que la comparaison soit équitable plutôt que flatteuse. Neuf propriétés mesurées séparément, car un modèle qui rédige admirablement et invente un texte de loi n'est pas un bon modèle juridique. 66,55 $ d'inférence facturée. Test réalisé le 10 septembre 2026.
HAQQ ne figure pas dans ce benchmark. Nous n'avons pas inscrit notre propre produit dans une étude que nous avons menée. Ce qui suit porte sur trois modèles de pointe, mesurés les uns par rapport aux autres.
Le classement est serré. Le prix, non.
Sur le fond juridique (qualité évaluée plus exactitude), Astra est en tête avec 17,63 sur 20. Sur le score composite, qui intègre un rang de vitesse, Luna Pro l'emporte avec 30,93 sur 35, contre 30,05 pour Astra et 28,13 pour Opus 5.
Les deux sont vrais, et c'est précisément le propos. Un benchmark qui ne publie que le score composite vous dit implicitement que la latence compte autant que la justesse de la réponse.
Personne n'achète un token
| Modèle | Prix par million de tokens en sortie | Tokens par réponse | Coût par réponse |
|---|---|---|---|
| GPT-6 Astra | 50 $ | 5 201 | 0,2622 $ |
| Claude Opus 5 | 25 $ | 18 190 | 0,4566 $ |
| GPT-5.6 Luna Pro | 1,20 $ | 16 356 | 0,0231 $ |
Astra facture le double du tarif par token d'Opus 5 et coûte pourtant 1,7 fois moins par réponse, parce qu'il écrit 3,5 fois moins de tokens pour dire la même chose.
Le modèle nominalement moins cher est le plus coûteux.
La concision est le résultat clé. L'avantage d'Astra ne tient pas à une intelligence supérieure : il sait s'arrêter d'écrire.
Face à Luna Pro, l'arbitrage s'effondre : 11 fois le coût par réponse pour moins d'un point de score composite. Pour des questions-réponses juridiques générales en volume, ce n'est pas défendable.
Le réglage du raisonnement agit sur le coût, pas sur la qualité
Astra propose un paramètre d'effort de raisonnement ; nous avons donc lancé dix prompts à chaque niveau. Passer de bas à élevé a multiplié le coût par 1,5 et la latence par 1,8, et a fait varier la qualité évaluée de -0,17 point.
L'augmenter a rendu les réponses légèrement moins bonnes et nettement plus chères. Si vous utilisez Astra, fixez l'effort.
Ce qui devrait vous inquiéter
Six questions portant sur cinq juridictions, posées dans la langue qu'utiliserait un praticien local. Délais de préavis en droit du travail saoudien et durée maximale de la période d'essai aux Émirats arabes unis, en arabe. Délais de prescription et doctrine des clauses abusives en droit français. Règles de transfert au Qatar. Droit égyptien des données.
Astra : 83,3 % de réponses juridiquement correctes. Luna Pro : 83,3 %. Claude Opus 5 : 83,3 %. Chaque modèle a répondu correctement à 5 questions sur 6.
Les trois ont répondu dans la bonne langue, à chaque fois. Les trois ont cité la bonne disposition, à chaque fois. Chacun a ensuite mal énoncé le contenu d'une disposition : Astra et Luna Pro sur le consentement aux transferts transfrontaliers prévu par la loi égyptienne sur la protection des données personnelles (PDPL), Claude Opus 5 sur l'article 75 du Code du travail saoudien, dont il a cité la formulation du préavis antérieure à 2025.
Un vérificateur de citations valide cette réponse. Tous les outils de détection d'hallucinations du marché valident cette réponse. Un client, non.
C'est l'écart entre l'aisance dans une langue et l'exactitude dans une juridiction, et ni une fenêtre de contexte plus grande ni un meilleur moteur de raisonnement ne le comble.
Le contexte long est résolu. Son coût, non.
Nous avons placé quatre clauses contradictoires dans un contrat-cadre de services (un plafond, une exception qui y déroge, une clause d'indexation cumulative et une clause de droit applicable) à 6 %, 24 %, 47 % et 68 % de sa longueur. Pour répondre correctement, il faut trouver les quatre et appliquer le bon ordre de priorité. Ne trouver que la première produit un chiffre précis, avancé avec assurance, et faux.
Les trois ont trouvé la bonne réponse à 25k, 100k et 200k tokens. Mais obtenir la même réponse à 200k a coûté 2,01 $ avec Astra et 0,15 $ avec Luna Pro. Un écart de 13 fois pour un résultat identique.
Le déterminisme n'est disponible à aucun prix
Même question, même seed, cinq fois. Aucun modèle n'a reproduit une réponse identique. La similarité au niveau des mots allait de 0,47 à 0,78. Deux des trois acceptent un seed et ne produisent pourtant jamais deux fois le même texte.
Si la même question contractuelle renvoie une réponse différente le mardi, elle n'était déjà pas fiable le lundi. Tout ce que vous promettez à un client en matière de cohérence doit être construit au-dessus du modèle, et non acheté auprès de lui.
Ce que nous dirions à un cabinet qui choisit aujourd'hui
Orientez par type de dossier, pas par marque. Notre tableau par domaine de pratique montre Astra en tête dans la plupart des domaines et Opus 5 devant en procédures collectives et en ESG, avec des écarts si faibles que la décision relève généralement du coût et de la latence plutôt que des capacités.
Ne basculez pas vos questions-réponses juridiques à fort volume vers Astra en espérant un bond de qualité. Envisagez-le en revanche là où vous payez Opus 5 pour de longues réponses que personne ne lit.
Et quel que soit votre choix, vérifiez la juridiction. Les trois vous fourniront le bon numéro d'article associé à la mauvaise règle, dans les langues dans lesquelles travaille notre marché.
Les limites, sans détour
Ces résultats reposent sur moins de prompts que prévu, et Claude Opus 5 a répondu à 37 des 41 contre 41 pour les deux autres : la base est donc inégale. Considérez le classement comme provisoire et le résultat multilingue comme le constat sur lequel agir. Nous mesurerons à nouveau lorsque l'ensemble complet sera terminé et publierons ce qu'il montre.
Nous avons mené ce test nous-mêmes. Il n'a pas fait l'objet d'un audit indépendant. La méthode est décrite ci-dessus pour que vous puissiez la vérifier.
Essayer HAQQ AI gratuitement
Découvrez la rédaction et la recherche juridique par IA
