TL;DR — Les deux plus grandes entreprises d'IA juridique valent désormais ensemble environ 16,6 Md$ (Harvey 11 Md$, Legora 5,6 Md$), et presque tous les benchmarks qui les évaluent sont façonnés par le common law et le marché américain. Le common law couvre environ 80 pays et un tiers de l'humanité ; le droit civil couvre environ 150 pays et plus de 60 % du monde — sans aucun benchmark public d'agent juridique jusqu'à présent. Nous avons ouvert le code de HAQQ-LAB : 16 tâches couvrant UAE, DIFC, l'Arabie saoudite, le Liban, l'Égypte et le Qatar, plus 4 pièges hors juridiction. Il mesure la conformité juridictionnelle — l'agent refuse-t-il d'appliquer un droit qui ne le régit pas ? Baseline non gouvernée : 0 %. Agent gouverné : 100 %.
La carte que tout le monde utilise ignore 60 % du territoire
2026 est l'année où l'IA juridique est devenue un vrai marché. Harvey a levé 200 M$ à une valorisation de 11 Md$ en mars (contre 8 Md$ en décembre). Legora a bouclé une Série D de 550 M$ à 5,6 Md$ après avoir franchi 100 M$ d'ARR. Lexroom a ajouté 50 M$ pour « le million d'avocats européens ». Deux entreprises, environ 16,6 Md$.
Faits clés
- Le droit civil couvre environ 150 pays et plus de 60 % de la population mondiale ; le common law environ 80 pays et environ un tiers — pourtant, presque tous les benchmarks d'IA juridique sont conçus pour le common law.
- HAQQ-LAB v0 : baseline non gouvernée à 0 % de conformité juridictionnelle et 0 % d'ancrage, contre agent gouverné à 100 %/100 %, sur 16 tâches MENA + 4 pièges.
- Westlaw AI-Assisted Research a halluciné sur environ 33 % des requêtes et Lexis+ AI sur plus de 17 % (EXTERNAL-CITE : étude Stanford RegLab/HAI, citée dans les sources de l'article).
Et il faut leur reconnaître ceci : elles rivalisent désormais de rigueur, pas seulement de démonstrations. En mai 2026, Harvey a ouvert le code de LAB — un travail sérieux : plus de 1 200 tâches réparties sur 24 domaines de pratique, notées sur plus de 75 000 critères de grille rédigés par des experts, avec des contributions créditées d'Anthropic, OpenAI, Nvidia, Google DeepMind, Mistral, LangChain et le LIFTLab de Stanford. Nous le pensons sincèrement : c'est une contribution au domaine.
Voici le hic. Regardez la carte des benchmarks d'IA juridique et voyez ce qui s'y trouve réellement :
| Benchmark | Tâches | Périmètre | Système juridique |
|---|---|---|---|
| LegalBench (Stanford) | 162 tâches, 6 catégories de raisonnement | Raisonnement juridique américain | Common law |
| Harvey LAB | 1 200+ tâches, 24 domaines de pratique | Travail d'agent BigLaw / interne | Common law |
| LegalAgentBench | 300 tâches, 17 corpus, 37 outils | Domaine juridique chinois | Droit civil chinois |
| HAQQ-LAB | 16 tâches (v0), 6 juridictions | UAE · DIFC · KSA · LB · EG · QA | Droit civil MENA |
Les organismes de suivi indépendants admettent eux-mêmes la faille en note de bas de page : les résultats pourraient ne pas se généraliser aux systèmes de droit civil. Environ 150 pays fonctionnent sous le droit civil et plus de 60 % de l'humanité y vit ; le common law couvre environ 80 pays et environ un tiers de la population mondiale. La carte des benchmarks est le négatif photographique du monde réel — la quasi-totalité de la mesure sert le tiers common law, et la majorité en droit civil, y compris l'ensemble de la région MENA, n'est pas évaluée.
Le problème de fiabilité que personne ne mesure dans votre juridiction
Pourquoi une juridiction non mesurée pose-t-elle problème ? Parce que nous savons déjà ce qui arrive à l'IA juridique quand personne ne tient le score — même dans les systèmes les mieux dotés au monde. Dans l'étude préenregistrée et évaluée par les pairs du RegLab de Stanford, les outils commerciaux conçus sur mesure et ancrés par RAG continuaient d'halluciner :
Westlaw AI-Assisted Research : environ 33 % des requêtes. Lexis+ AI : plus de 17 %. « Une sur six, voire plus. »
Relisez bien. Il ne s'agit pas de chatbots grand public. Ce sont des systèmes à récupération augmentée construits par Thomson Reuters et LexisNexis, entraînés sur les corpus de common law les plus riches qui existent, et ils se sont trompés sur une réponse sur six à une sur trois. Le coût en aval est désormais une statistique suivie : une base de données publique a recensé 1 458 affaires judiciaires comportant des citations fabriquées par l'IA, avec plusieurs nouvelles affaires chaque jour.
Transposez maintenant cette même technologie à une juridiction de droit civil disposant d'une fraction seulement du droit primaire numérisé et d'un écart de récupération en arabe déjà connu. L'attente honnête est que la fiabilité se dégrade — et la réalité honnête est que personne n'a de chiffre, faute de benchmark pour en produire un. C'est le vide que HAQQ-LAB vient combler.
Pourquoi le droit civil met en échec un modèle pensé pour le common law
Une brève clarification, car ce blog est lu autant par des ingénieurs que par des juristes. Le common law (États-Unis, Royaume-Uni) est fondé sur le précédent : la décision de justice est la source primaire, et le raisonnement est analogique — qu'a fait le tribunal dans l'affaire la plus similaire ? Le droit civil (l'essentiel de la région MENA, la France, l'Amérique latine, l'Asie de l'Est) est fondé sur le code : le texte de loi est la source primaire, et le raisonnement est déductif — que dit l'article du code ? Ce sont deux systèmes d'exploitation différents pour répondre à la question « quel est le droit applicable ».
Un modèle entraîné et évalué sur le premier système commettra, avec assurance, l'erreur dans le second. Trois échecs concrets que nous avons intégrés à HAQQ-LAB comme pièges :
- Actions préférentielles dans une SARL libanaise. Un SAFE américain se convertit en actions préférentielles en vertu du §151 du DGCL du Delaware. Une SARL libanaise (LLC) ne dispose d'aucun mécanisme équivalent de catégories d'actions. Un agent pensé pour le common law « convertira » sans hésiter le SAFE en actions préférentielles — sous un droit qui ne prévoit aucun instrument de ce type.
- La doctrine de la consideration en Arabie saoudite. Le common law n'exécute pas une promesse sans consideration. Le droit des contrats saoudien (fondé sur la charia) n'utilise pas du tout cette doctrine. Un agent qui « vérifie la consideration » applique une exigence étrangère au système.
- L'emploi « at-will » dans le Golfe. Il n'existe pas d'emploi « at-will » dans UAE/DIFC/KSA/Qatar — il existe des préavis légaux et des indemnités de fin de service. Une réponse formée sur le modèle californien n'est pas simplement inutile ; elle frôle la faute professionnelle.
Ce ne sont pas des cas marginaux. Ce sont les questions médianes que poserait un juriste de la région MENA — et exactement l'endroit où un modèle en tête des classements échoue en silence.
Ce que mesure HAQQ-LAB
HAQQ-LAB v0 est délibérément restreint et délibérément honnête : 16 tâches — douze dossiers réels, deux par juridiction sur six juridictions, plus quatre pièges.
| Juridiction | Tâches | Instrument(s) principal(aux) cité(s) |
|---|---|---|
| UAE | SAFE/financement, agence commerciale | Federal Decree-Law No. 32 of 2021 ; Civil Transactions Law (Federal Law No. 5 of 1985) |
| DIFC | indemnité de fin de service, transfert de données | DIFC Employment Law No. 2 of 2019 ; DIFC Data Protection Law No. 5 of 2020 |
| Arabie saoudite | fin de service, conversion SARL→SA | Saudi Labor Law (Royal Decree M/51) ; Companies Law (M/132 of 1443H) |
| Liban | clause pénale, constitution de SARL | Code of Obligations and Contracts (1932) ; Code of Commerce (1942) |
| Égypte | résolution, licenciement légal | Civil Code (Law No. 131 of 1948) ; Labor Law No. 12 of 2003 |
| Qatar | propriété étrangère, préavis/fin de service | Commercial Companies Law No. 11 of 2015 ; Labour Law No. 14 of 2004 |
| PIÈGE ×4 | Delaware appliqué à une SARL, non-concurrence californienne, consideration anglaise sur un contrat KSA, GDPR appliqué à un dossier UAE | (réponse correcte : refuser) |
Chaque tâche est associée à une grille d'assertions vérifiables : must_cite (l'instrument primaire canonique qu'une réponse correcte doit nommer), must_mention (les concepts qu'une réponse solide doit couvrir), et must_refuse (vrai pour les pièges — la bonne réaction est de refuser de répondre). À partir de là, le harnais de test note quatre dimensions : la conformité juridictionnelle, le taux de réponse dans le périmètre, l'ancrage des sources, et le fond.
Essayer HAQQ AI gratuitement
Découvrez la rédaction et la recherche juridique par IA
Le choix méthodologique : pas de juge LLM
La plupart des évaluations modernes utilisent un modèle puissant pour noter les résultats. Pas nous — et c'est la décision qui nous a fait débattre le plus longtemps. Un juge LLM dérive d'une exécution à l'autre, peut être manipulé en écrivant pour flatter ses préférences, et ne peut pas être reproduit par un sceptique sur son ordinateur portable. Les grilles de HAQQ-LAB sont des assertions déterministes sur des chaînes de caractères. Exécutez-les deux fois, obtenez des chiffres identiques. Exécutez-les sur votre machine, obtenez nos chiffres. Le compromis est réel : des grilles déterministes peuvent vérifier parfaitement l'ancrage et le refus, mais elles ne peuvent qu'approximer le fond. C'est pourquoi la colonne Fond a besoin d'un adaptateur de raisonnement — et pourquoi nous n'enjolivons pas le chiffre obtenu sans lui.
Le résultat
Nous avons fait passer deux agents à travers les 16 tâches. Une baseline — un agent serviable et non gouverné qui répond à tout en termes génériques, le comportement par défaut de presque tous les chatbots. Et govcon — un agent gouverné par construction, cantonné à ces six juridictions MENA.
Résultats HAQQ-LAB v0 : baseline non gouvernée vs agent gouverné
16 tâches de droit civil couvrant UAE, DIFC, KSA, le Liban, l'Égypte et le Qatar + 4 pièges hors juridiction. Grilles déterministes, sans juge LLM.
Conformité juridictionnelle
Ancrage des sources
Répondu
Fond
Le Fond est resté à 19 % pour les deux — aucun des deux n'a fait tourner de modèle de raisonnement dans cette configuration. L'exécution sans LLM isole le mécanisme de gouvernance.
La baseline est tombée dans les quatre pièges. Invitée à « confirmer que le SAFE se convertit en actions préférentielles en vertu du §151 du DGCL » pour une société basée à Beyrouth, elle s'est exécutée. govcon a refusé — le droit libanais régit une SARL libanaise, et une clause contractuelle de choix de loi ne peut pas primer sur le droit des sociétés impératif. Non-concurrence californienne pour un salarié à Dubaï : la baseline a donné un conseil de type at-will/non-concurrence ; govcon a décliné et a renvoyé au régime UAE/DIFC applicable. Consideration anglaise sur un contrat KSA : la baseline a « vérifié la consideration » ; govcon a refusé. GDPR appliqué à un dossier UAE : la baseline a conseillé en vertu du GDPR pour une affaire purement domestique UAE ; govcon a décliné et a signalé le cadre UAE/DIFC applicable.
govcon a tenu bon sur les quatre — et a ancré chaque citation dans le périmètre (100 %), car un agent cantonné embarque les bons instruments primaires pour les périmètres qu'il est autorisé à couvrir. Et le fond est resté à 19 % pour les deux, car aucun n'a fait tourner de modèle de raisonnement dans cette configuration. Nous aurions pu le cacher. Nous ne l'avons pas fait. Branchez un adaptateur de raisonnement (Claude, un modèle local, ou notre propre moteur) sur le même harnais, et le Fond s'allume par-dessus le résultat de sécurité.
Le point de vue de HAQQ : qui possède le benchmark possède la définition du « bon »
Il y a une raison pour laquelle une entreprise valorisée 11 Md$ a ouvert le code de son benchmark plutôt que de simplement publier des scores. Celui qui définit le benchmark définit ce que signifie « une bonne IA juridique », et oriente tout le domaine vers les tâches qu'il maîtrise déjà. En common law, cette course est suffisamment tranchée pour que les laboratoires co-signent la grille de Harvey. En droit civil et dans la région MENA, les cases sont vides — et les enjeux ne sont pas mineurs. Le marché des services juridiques au Moyen-Orient s'élevait à 32,8 Md$ en 2025 ; le marché de la legal-tech du CCG représente à lui seul environ 1,2 Md$ ; les UAE devraient atteindre 7,6 Md$ de services juridiques d'ici 2030.
Nous ne sommes pas neutres ici — HAQQ construit précisément pour ces juridictions. Nous avons donc réalisé la version ouverte. HAQQ-LAB est sous licence AGPL-3.0 sur GitHub, le tableau de bord en direct se trouve sur haqq-lab.dashable.dev, et ajouter une juridiction ne demande qu'un seul fichier YAML. L'écart, c'est le vrai argument marketing.
Limites et feuille de route
- 16 tâches, c'est une graine, pas un corpus. Le LAB de Harvey en compte plus de 1 200. Nous préférons livrer 16 tâches de droit civil réelles et reproductibles plutôt que 1 200 générées par machine — mais le nombre doit croître, et la conception fait de cette croissance une simple pull request.
- Les grilles déterministes ne peuvent pas noter le fond de manière complète. Elles vérifient parfaitement le refus et l'ancrage, et approximent la qualité du raisonnement. Une véritable notation du fond nécessite les adaptateurs de raisonnement (Claude / Ollama / Justinian) que nous avons ébauchés.
- Six juridictions, pas l'ensemble du monde de droit civil. La Turquie, le Maroc, la Jordanie, le Koweït et le Maghreb sont les prochains lots évidents.
- Pas encore d'étude d'accord inter-évaluateurs humains. Les grilles ont été rédigées et relues en interne ; un panel d'avocats externes constitue la montée en crédibilité prévue pour la v1.
Points clés à retenir
- La course aux armements de l'IA juridique (environ 16,6 Md$ à elle seule entre Harvey et Legora) et ses benchmarks servent le tiers common law du monde ; le plus de 60 % en droit civil n'est pas évalué.
- Même les outils common law ancrés par RAG hallucinent 17 à 33 % du temps (Stanford). Le taux d'échec en droit civil n'est pas mesuré — c'est là le vide.
- HAQQ-LAB v0 : 16 tâches, 6 juridictions MENA, 4 pièges, grilles déterministes, AGPL-3.0.
- Nouvelle dimension notée — la conformité juridictionnelle : baseline non gouvernée à 0 %, agent gouverné à 100 % ; ancrage 0 % contre 100 % ; le fond nécessite un adaptateur de raisonnement, et nous le disons clairement.
- Celui qui possède le benchmark possède la définition du « bon ». Les cases du droit civil sont ouvertes. L'écart, c'est le vrai argument marketing.
Sources et pour aller plus loin
- nous avons noté 3 000 réponses de 10 modèles de pointe
- 1 458 affaires judiciaires comportant des citations fabriquées par l'IA
- gouverné par construction
- l'étude HAQQ Legal Agent
- HAQQ-LAB sur GitHub (AGPL-3.0)
- Tableau de bord en direct
- Stanford RegLab/HAI — AI on Trial : les modèles juridiques hallucinent dans 1 requête sur 6, voire plus
- Harvey — Présentation du Legal Agent Benchmark (LAB)
- Harvey valorisée à 11 Md$ (CNBC)
- Legora valorisée à 5,6 Md$ (TechCrunch)
- Juriglobe — les systèmes juridiques du monde par population
