Benchmark de l'IA juridique 2026 : les résultats de HAQQ lors d'une évaluation indépendante

Pourquoi une évaluation indépendante

La plupart des évaluations de Legal AI sont réalisées par les entreprises qui vendent le produit. La nôtre incluse, et la nôtre est biaisée par définition, parce que c'est la nôtre. Nous avons donc fait le contraire : nous avons confié HAQQ à un évaluateur indépendant sans intérêt dans le résultat et lui avons demandé de l'évaluer par rapport à ses concurrents.

Lorsqu'un tiers qui n'a rien à gagner effectue le test, le chiffre a une signification différente. C'est la direction que prend le marché. Les acheteurs, et de plus en plus les LLM qui recommandent des outils, recherchent des sources indépendantes fiables plutôt que le marketing des fournisseurs. Nous préférons mériter le score plutôt que de le revendiquer.

Comment fonctionne l'évaluation

Un score ne vaut que ce que vaut la méthode qui le sous-tend, voici donc la méthode complète. Rien de tout cela n'est notre conception - il s'agit de la méthodologie publiée par l'évaluateur, appliquée de manière identique à chaque application du groupe.

• <b>61 tâches réelles, soumises par des avocats praticiens</b>, couvrant la rédaction de contrats et l'extraction d'informations dans <b>21 juridictions</b>, y compris les États-Unis, le Royaume-Uni, l'Inde, Singapour, les Pays-Bas et Oman.
• <b>Les documents arrivent tels qu'ils le sont en pratique</b> - fichiers Word natifs, PDF, numérisations, photographies et fichiers avec suivi des modifications. Rien n'est pré-converti en texte propre, donc la lecture du fichier original fait elle-même partie de ce qui est mesuré.
• <b>Critères binaires de réussite/échec, rédigés par des avocats, fixés avant les tests.</b> Une tâche n'est réussie que lorsque <i>chaque</i> critère applicable est rempli. Lorsque plusieurs réponses seraient professionnellement défendables, les critères le permettent - tout en rejetant les omissions et erreurs spécifiques.
• <b>Deux axes, jamais mélangés : le fond et la forme.</b> Le fond demande si le travail est correct et complet ; la forme demande si un avocat pourrait l'utiliser tel quel. Une réponse polie mais juridiquement incorrecte échoue quand même.
• Chaque tâche est exécutée deux fois, indépendamment, et le score est la moyenne des deux exécutions - ainsi une seule génération chanceuse ne peut pas influer sur le résultat.
• Deux juges LLM indépendants évaluent chaque résultat, et tout désaccord susceptible de modifier la réussite d'une tâche est transmis à un avocat qualifié qui examine le résultat à l'aveugle, sans savoir quel produit l'a produit. Le verdict humain est définitif et est conservé pour audit.
• The High Bar est le sous-ensemble qu'au plus 2 des 10 applications évaluées ont pu compléter : 34 tâches, notées sur 68 tentatives. Il existe spécifiquement pour distinguer les performances exceptionnelles de la compétence ordinaire.

Deux conséquences à intégrer avant de lire les chiffres ci-dessous. Premièrement, les taux de réussite pour cette référence semblent brutalement bas par rapport aux chiffres marketing que l'on voit ailleurs - c'est la règle "tous les critères ou rien" qui fait son travail, et elle s'applique à tous de la même manière. Deuxièmement, nous ne voyons jamais les scores individuels de nos concurrents. L'évaluateur ne nous montre qu'une moyenne agrégée de l'IA juridique, c'est pourquoi cet article compare HAQQ aux moyennes plutôt qu'à des produits nommés.

Faits marquants

• Taux de réussite global : 27,0%, supérieur à la moyenne des Legal AI et à la moyenne de l'industrie. Une tâche ne réussit que lorsque tous les critères rédigés par un avocat sont remplis, c'est pourquoi les chiffres absolus sont bas dans l'ensemble du domaine.
• The High Bar : 5,9% vs 1,1%. Sur le sous-ensemble le plus difficile, HAQQ a réussi plus de cinq fois plus souvent que la moyenne des Legal AI, et près de trois fois la moyenne générale.
• Outil le plus performant testé sur la rédaction en droit omanais (50,0%) - non seulement compétitif, mais le plus performant.
• 100% sur la gestion des références manquantes. Sur les tâches conçues pour qu'un modèle invente des annexes et des références absentes, HAQQ a préservé l'absence à chaque fois.
• 2.53/3 sur la forme - clarté 2.73, structure 2.65 - au-dessus des deux moyennes. Correct et utilisable tel quel.
• L'ensemble des tâches était délibérément difficile ; l'ensemble du domaine obtient des scores faibles, car la plupart des outils échouent encore sur un travail juridique réellement difficile.

Ce que le benchmark a révélé

Voici les chiffres de la comparaison directe. "Legal AI avg" représente la moyenne agrégée des autres applications Legal AI évaluées ; "general-purpose avg" représente les assistants de discussion de pointe. La forme est notée de 1 à 3, où 3 est le meilleur.

Et les mesures où l'évaluateur a noté HAQQ seul :

Rédaction de contrats

L'évaluateur a noté la rédaction sur deux axes : la substance (la réponse est-elle exacte et complète ?) et la forme (le livrable est-il soigné et prêt à être présenté à un client ?).

HAQQ a surpassé les outils généralistes et la moyenne des Legal AI sur chacun de ces points : un taux de réussite de 24,2 % contre 23,9 % et 20,6 %, et 2,56/3 pour la forme contre 2,44 pour les deux catégories. Sur l'ensemble des critères individuels plutôt que sur des tâches complètes, HAQQ a satisfait 78,6 % des demandes des avocats. Pas seulement techniquement correct. Correct et prêt à être présenté au client.

La barre haute : les tâches les plus difficiles

Le benchmark comprenait un ensemble plus restreint de problèmes les plus difficiles, officiellement appelé The High Bar : les 34 tâches qu'aucune des 10 applications évaluées n'a pu accomplir plus de 2 fois. Travail en plusieurs étapes, documents de référence multiples, scénarios factuels complexes. Le genre de choses où la plupart des IA échouent tout simplement.

HAQQ a réussi 5,9 % de ces 68 tentatives. La Legal AI moyenne a réussi 1,1 % ; la moyenne des outils généralistes était de 2,2 %. C'est plus de cinq fois le champ de la Legal AI et près de trois fois les assistants de discussion de pointe - la marge la plus large que HAQQ ait affichée dans toute l'évaluation.

Lisez ces chiffres honnêtement : 5,9 % est un chiffre bas en termes absolus, et il devrait l'être. Ce sont des tâches spécifiquement choisies parce que l'ensemble de l'industrie y échoue. L'écart est le signal ici, pas le niveau. C'est la partie qui nous intéresse le plus, car cela ressemble à un vrai travail juridique plutôt qu'à une démo.

Trois choses qui ont marqué

1. Travail juridique au Moyen-Orient

Pour les rédactions régies par le droit omanais, HAQQ a obtenu les meilleurs résultats de l'étude comparative, avec 50,0 %. Non pas juste compétitif. Le plus fort. C'est ce que nous nous sommes donné pour mission de construire, donc ce ne fut pas une surprise pour nous, mais il est bon de le voir confirmé par quelqu'un qui n'a aucune raison de nous flatter.

2. Documents numérisés et de basse résolution

Le travail juridique repose sur de mauvais PDF : contrats faxés, dépôts numérisés, pages photographiées. Sur des documents source numérisés, photographiés, expurgés et autrement imparfaits, HAQQ a rempli 65,2 % des critères et a réussi 33,3 % des tâches directement - au-dessus de la moyenne pour les deux. Il a plus souvent extrait du contenu lisible tout en signalant ce qu'il ne pouvait pas lire, car il ne s'appuie pas sur l'OCR intégré d'un modèle. Il exécute sa propre solution.

3. Il n'a rien inventé

L'étude comparative comprenait des tâches conçues pour inciter un modèle à inventer ce qui n'existe pas : annexes manquantes, références absentes. HAQQ a obtenu 100 % au point de contrôle des références manquantes. Lorsque des annexes clés étaient manquantes, il a systématiquement préservé le vide au lieu d'en inventer le contenu.

Pourquoi l'hallucination est cruciale en droit

Dans le "vibe-coding", une hallucination est un bug que vous détectez. En droit, une hallucination est une fausse affaire citée à un juge. Vous avez vu les gros titres. Pour un contrat ou une pièce de procédure, une seule clause inventée ou une référence croisée à une loi qui n'existe pas n'est pas un simple "défaut". C'est éliminatoire.

Ainsi, "presque juste" n'est pas un produit. Le véritable critère est de savoir si un avocat peut faire suffisamment confiance au résultat pour s'en servir de base. Des tests indépendants sur des tâches sans contenu sont l'une des rares méthodes honnêtes de mesurer cela, et c'est exactement là que HAQQ a été conçu pour être performant.

L'architecture, pas le modèle

Voici le changement que toute l'industrie est en train de vivre : ce n'est plus le modèle qui gagne. Tout le monde peut appeler les mêmes modèles de pointe. Ce qui distingue maintenant les produits de Legal AI, c'est le logiciel autour du modèle - la récupération, les outils, le raisonnement, les données.

HAQQ fonctionne avec son propre moteur, Justinian. Considérez-le comme le Palantir du travail juridique : il se connecte à votre pile existante, construit une ontologie de vos dossiers et boucle la boucle entre vos documents et la réponse.

En interne, HAQQ orchestre six modèles - deux open-source et quatre propriétaires - derrière un routeur qui lit chaque invite et choisit le bon modèle pour la tâche, équilibrant la précision et le coût, de sorte qu'aucun modèle unique n'exécute toutes les tâches. Autour des modèles se trouvent les propres outils de HAQQ : le navigateur, l'extracteur de PDF, l'OCR. Les modèles sont un composant. L'extraction, la couche de citation et le routage nous appartiennent. C'est pourquoi il fonctionne avec les mauvais PDF et refuse d'halluciner là où les enveloppes plus minces ne le font pas.

La partie que personne d'autre ne résout : les marchés émergents

Le droit européen et américain est relativement facile pour l'IA. Il est numérisé, bien documenté et inlassablement analysé. C'est pourquoi chaque outil semble décent sur un contrat britannique.

Maintenant, pointez les mêmes outils vers le Moyen-Orient, l'Amérique du Sud, ou des parties de l'Afrique et de l'Asie. Le droit n'est pas proprement numérisé. Les données d'entraînement sont minces. Et les modèles hallucinent - le même échec que vous voyez sur les invites du Moyen-Orient apparaît partout où les données sont rares.

HAQQ a été conçu précisément pour cela. Nous avons nous-mêmes inscrit et extrait le droit primaire de ces juridictions, ce qui est un atout que les outils juridiques généralistes n'ont pas. Être le plus fort au Moyen-Orient dans un benchmark indépendant n'est pas de la chance. C'est la conception.

Ce que les benchmarks de Legal AI devraient mesurer ensuite

L'évaluation que nous avons menée a affiné notre vision de ce qu'un banc d'essai d'IA juridique devrait tester. Voici quelques points que, selon nous, l'ensemble du secteur devrait adopter :

• Le percentile, pas la réussite ou l'échec. « Au-dessus de la moyenne » ne vous dit presque rien. Les 50e et 99e percentiles sont tous deux supérieurs à la moyenne, et ce ne sont pas les mêmes produits. Indiquez où un outil se situe par rapport à la pointe de la technologie.
• Difficulté et défendabilité. La génération d'un contrat est facile à réaliser. Un OCR fiable sur de mauvaises numérisations, ou une extraction qui cite la clause exacte, peut prendre douze à dix-huit mois. Pondérez la difficulté de développement d'une capacité, car c'est ce qui distingue un véritable leader d'une démo.
• Prix et ROI. La qualité est désormais un prérequis pour les meilleurs. La question que se posent réellement les acheteurs est la suivante : à quel coût ? Coût par contrat, par tâche de recherche, par page. Mesurez-le et récompensez les fournisseurs transparents et abordables.
• Inférence d'intention. Les vrais utilisateurs n'écrivent pas d'invites longues et parfaites. Ils tapent « rédiger un NDA » ou « examiner ces documents ». Un bon outil déduit ce qu'ils veulent dire et parvient à la réponse sans dix allers-retours, l'inverse d'un chatbot conçu pour vous faire parler.
• Citations et sources vérifiées. Le web regorge de lois obsolètes. Ce qui compte, c'est de savoir si un outil cite la disposition spécifique et actuelle. C'est là que l'écart entre un LLM général et un véritable logiciel juridique apparaît le plus rapidement.
• Raisonnement sur l'examen. Pour l'examen de contrats, la valeur n'est pas seulement la ligne rouge. Ce sont les suggestions, les scénarios et le processus de réflexion visible qui les sous-tendent. Évaluez si l'outil montre son travail.
• Taux d'hallucination, en tête d'affiche. Pour toutes les raisons ci-dessus, c'est le chiffre qui préoccupe le plus les avocats. Il doit figurer dans le titre, et non en bas de page.

Prochaine étape pour cette analyse comparative

C'était la première phase, et elle couvrait la rédaction de contrats et l'extraction de données. La suite arrive.

HAQQ est actuellement désigné comme un candidat pour le T3 2026 dans les cinq catégories de certification : Meilleure application d'IA juridique (globale), Rédaction de contrats, Extraction d'informations, The High Bar et Expérience utilisateur. Pour être précis sur ce que cela signifie, car la formulation est importante : Candidat est la désignation par l'évaluateur, au cours du trimestre, pour une application participante, et les certifications ne sont confirmées qu'une fois le trimestre clôturé. Si aucune application n'atteint le seuil dans une catégorie, aucune certification n'est décernée. Nous publierons nos résultats, que nous gagnions ou perdions.

Le mois prochain, ils s'étendront à la recherche et à l'analyse juridiques, puis à d'autres régions, au-delà de l'approche traditionnelle axée sur les États-Unis et le Royaume-Uni, vers les juridictions des marchés émergents d'Amérique du Sud, d'Afrique, d'Asie et d'Europe du Sud-Est. Ce sont exactement les régions sur lesquelles nous nous concentrons. Ils fonctionnent sur un rythme trimestriel, car les modèles évoluent assez rapidement pour que toute référence soit à moitié obsolète au moment où une nouvelle est mise en service.

La version honnête

Nous sommes fiers de ce résultat et nous n'allons pas en faire trop. Un taux de réussite global de 27,0 % est un véritable seuil franchi lors d'un test délibérément brutal - et cela signifie également que sur environ trois tâches difficiles sur quatre, il y avait encore au moins un critère rédigé par un avocat que nous avons manqué. Ces deux phrases sont vraies, et quiconque citant la première sans la seconde interprète mal la référence.

Nous ne pouvons pas non plus vous dire à quel point nous sommes éloignés du meilleur outil du domaine, car l'évaluateur ne nous montre jamais les concurrents individuellement - seulement sous forme de moyenne. Être au-dessus de cette moyenne n'est pas la même chose qu'être premier, et nous n'insinuerons pas le contraire tant que les classements ne seront pas publiés. Ce que nous savons : sur le travail qui ressemble à une pratique juridique réelle, sur les tâches les plus difficiles de l'ensemble, et sur les juridictions que la plupart des outils ignorent, HAQQ a résisté à un examen externe. Nous continuerons à participer à chaque tour et à publier ce qu'ils trouvent.

• Justinian - the engine behind these results
• Comparaison de HAQQ avec d'autres IA juridiques
• Référence juridique de modèle frontal de 300 tâches
• HAQQ Legal Benchmark (droit civil et MENA)