En bref : un vrai dossier juridique n'est pas un prompt et une réponse. Il faut lire de longs documents, raisonner entre plusieurs juridictions, mener à bien des tâches en plusieurs étapes, citer des sources qui existent et savoir quand s'abstenir. Un test à prompt unique n'en mesure qu'une tranche mince. Cet article décrit ce qu'une IA juridique doit faire, et comment HAQQ envisage de l'évaluer. Il ne contient aucun score.
Un dossier n'est pas un prompt
Essayer HAQQ AI gratuitement
Découvrez la rédaction et la recherche juridique par IA
Demandez à un juriste ce qui rend un dossier difficile : il parlera rarement de la question. Il parlera du dossier lui-même : une pile de documents, trois dates différentes, deux lois applicables, une partie adverse qui a changé de position en cours de route, et un associé qui veut une réponse défendable avant la fin de la journée. La difficulté se trouve dans le travail qui entoure la question.
Cinq choses reviennent. Chacune est un endroit où une IA juridique peut sembler fluide et pourtant échouer.
Les documents longs
Une data room, un lot de contrats ou un dossier de procédure est bien plus long que ce qu'une personne lit d'une traite. Le risque n'est pas que le modèle le saute. Le risque est qu'il le lise en entier et pèse la mauvaise partie : une clause de changement de contrôle enfouie dans une annexe, une exception dans une définition, un avenant qui écrase discrètement une clause antérieure. Un résumé agréable à lire peut passer à côté de la seule clause que le client regretterait de découvrir plus tard.
Le raisonnement entre juridictions
Le droit ne se transpose pas proprement. Un instrument de financement de type américain qui se convertit en actions de préférence suppose un mécanisme de catégories d'actions qu'une société à responsabilité limitée libanaise n'a pas. La doctrine de la consideration, centrale en common law, ne joue pas ce rôle en droit saoudien des contrats. Il n'existe pas d'emploi à volonté dans les pays du Golfe, où s'appliquent des préavis et des indemnités de fin de service. Une réponse qui applique le mauvais système n'est pas légèrement fausse. Elle repose sur une règle qui ne s'applique pas.
Le système doit donc savoir quel droit s'applique, le dire, et garder séparées les règles de ce droit de celles qu'il connaît le mieux.
Les tâches en plusieurs étapes
Une due diligence, une revue de contrat selon un playbook, une note de recherche avec ses autorités : ce sont des séquences. Trouver les documents, extraire les faits, les confronter au droit, concilier les contradictions, rédiger, vérifier. Dans notre propre expérience sur une data room, le même modèle, les mêmes documents et la même notation ont produit des résultats différents selon la manière dont le travail était structuré, et non selon le modèle utilisé. Nous l'avons raconté dans prompt unique contre essaim d'agents en due diligence M&A.
L'exactitude des citations
Une réponse fluide accompagnée d'une citation qui n'existe pas est l'échec que les tribunaux sanctionnent. La version plus subtile est un vrai passage cité au mauvais article, parce qu'il paraît authentique et passe un contrôle rapide. Certains tribunaux énoncent désormais clairement ce devoir. La Practice Direction No. 1 de 2026 de la QICDRC, au Qatar, exige par exemple que chaque citation soit vérifiée auprès des sources primaires ou d'une base juridique reconnue (paragraphe 16). Nous l'avons présentée dans ce que la practice direction du Qatar exige réellement.
Le devoir de vérifier ne change pas avec les règles de divulgation. Une IA juridique doit donc rendre la vérification facile à faire et facile à démontrer.
L'abstention calibrée
Parfois, la bonne sortie n'est pas une réponse. La source manque, le droit visé ne s'applique pas, ou la question exige des faits que personne n'a fournis. Un système qui répond toujours finira par inventer. Un système qui s'abstient toujours est inutile. La calibration consiste à s'abstenir quand les éléments manquent et à répondre quand ils sont là. C'est la plus difficile des cinq à tester, car une abstention ressemble à un échec sur un simple tableau de score.
Pourquoi les benchmarks à prompt unique passent à côté
- Ils fournissent le texte pertinent. Le vrai travail commence par le trouver.
- Ils notent une seule réponse. Le vrai travail est une séquence où une erreur précoce se propage.
- Ils récompensent le fait de répondre. Un modèle qui ne s'abstient jamais peut bien scorer tout en étant dangereux à utiliser.
- Ils font des moyennes. Une citation inventée parmi cinquante correctes n'est pas la même chose que cinquante et une réponses plausibles, et une moyenne le masque.
- Ils sont le plus souvent écrits pour un seul système juridique, et ne peuvent donc pas montrer qu'un modèle a appliqué le mauvais.
Comment HAQQ envisage l'évaluation
Nous traitons ces points comme des dimensions distinctes et les rapportons séparément, au lieu de les fondre en un seul chiffre. Lorsqu'une question peut être vérifiée par comparaison exacte, comme l'instrument, l'article ou un verdict authentique ou fabriqué, la notation est déterministe et n'utilise aucun modèle comme juge. Lorsque la réponse est ouverte, un humain la lit. Les corrigés sont construits sur des sources primaires et vérifiés par un juriste, et certains dossiers contiennent des problèmes plantés afin que nous sachions ce qu'une bonne réponse doit repérer.
Nous incluons aussi des questions conçues pour qu'on s'en abstienne, et des questions situées dans une juridiction qui poussent le système vers le droit d'une autre. Le périmètre et la méthode de notre travail MENA sont exposés dans le benchmark d'IA juridique MENA : périmètre et méthode.
Points clés
- Le travail juridique difficile se loge dans le dossier autour de la question : longs documents, plusieurs droits, nombreuses étapes.
- L'exactitude des citations et l'abstention calibrée sont des compétences distinctes, et aucune n'apparaît dans un score moyen unique.
- Une évaluation utile rapporte les dimensions séparément et dit où elle ne peut pas encore juger.
