En bref : l'évaluation juridique MENA de HAQQ teste l'IA juridique sur le droit de onze juridictions, en arabe et en anglais, à partir de corrigés construits sur des sources primaires et vérifiés par un juriste. Cet article ne traite que du périmètre et de la méthode. Aucun résultat n'y est publié : ils suivront la prochaine exécution. Quatre juridictions disposent aujourd'hui d'une couverture de sources limitée, et nous les listons ci-dessous.
Pourquoi tester juridiction par juridiction
Essayer HAQQ AI gratuitement
Découvrez la rédaction et la recherche juridique par IA
La plupart des benchmarks publics d'IA juridique reposent sur des tâches en anglais, de common law. Le travail juridique au Moyen-Orient et en Afrique du Nord s'appuie sur un droit codifié, en arabe et en anglais, qui diffère d'un État à l'autre. Les zones franches financières comme le DIFC et l'ADGM ajoutent leurs propres lois au droit applicable sur le territoire. Un modèle qui répond à une question de droit des contrats libanais avec une règle d'un autre système n'a pas commis une petite erreur. Il a appliqué un droit qui ne régit pas l'affaire.
Un score régional unique masquerait précisément cet échec. L'évaluation est donc organisée par juridiction, et chaque question est rattachée au droit d'un seul lieu.
Périmètre : juridictions et langues
L'évaluation couvre onze juridictions : le Liban, les Émirats arabes unis, l'Irak, l'Égypte, Oman, la Jordanie, le Qatar, le Koweït, la Syrie, l'Arabie saoudite et Bahreïn. Les questions sont en arabe et en anglais. Dans le jeu de questions actuel, par exemple, les questions égyptiennes sont en arabe et les questions émiriennes en anglais, ce qui correspond à la manière dont ce droit est publié et pratiqué.
La couverture n'est pas la même pour les onze. Certaines juridictions disposent de davantage de sources vérifiées que d'autres, et la liste des lacunes ci-dessous les nomme.
Ce que l'évaluation demande
- Questions de cas pratique. Une affaire réaliste, formulée comme le ferait un juriste, qui appelle un conseil. Les domaines couverts comprennent le contrat, la procédure, le pénal, les sociétés, l'insolvabilité, le commercial, l'immobilier, la famille, la banque, l'assurance, l'arbitrage, le travail, la preuve, le maritime et la concurrence.
- Attribution de source. Le modèle voit le texte littéral d'une disposition et doit nommer la juridiction, l'instrument et l'article dont elle provient.
- Vérification de citation. Le modèle voit un passage accompagné d'une citation et doit dire si cette citation est authentique. Certaines sont de vrais passages rattachés au mauvais article, l'erreur qui compte le plus en pratique.
- Pièges hors juridiction. Des questions pour lesquelles la bonne réponse est de s'abstenir, ou de dire que le droit appliqué ne régit pas la situation, plutôt que de répondre en termes génériques.
Comment les corrigés sont construits
Chaque corrigé part d'une source primaire : le texte même de la loi, du décret ou du journal officiel, pas un résumé ni la réponse d'un autre modèle. Un corrigé consigne l'instrument et l'article qu'une bonne réponse doit citer, les points qu'une réponse solide doit couvrir et, pour les pièges, le fait que s'abstenir est la bonne réponse.
Un juriste vérifie ensuite le corrigé avant son utilisation. Cette étape distingue un test du droit d'un test de concordance avec un modèle.
Nous consignons aussi si chaque instrument est en vigueur, au moyen de dates plutôt que d'un oui ou d'un non. Un texte peut être adopté et publié sans être encore du droit positif : le Code de procédure pénale égyptien, loi 174 de 2025, a été publié avant sa date d'entrée en vigueur. Lorsque personne n'a vérifié un statut auprès d'un journal officiel ou d'une source officielle, nous l'enregistrons comme inconnu plutôt que de laisser un modèle le deviner.
Lorsqu'une question peut être notée par comparaison exacte, comme l'instrument, le numéro d'article ou un verdict authentique ou fabriqué, la notation est déterministe et n'utilise aucun modèle comme juge. Deux exécutions donnent le même score. Les réponses ouvertes sont plus difficiles : des vérifications de chaînes contrôlent bien l'ancrage dans les sources et l'abstention, mais n'approchent que le fond, et nous ne présentons donc pas un score automatique de fond comme plus qu'il n'est.
Où la couverture des sources est limitée aujourd'hui
Un benchmark vaut ce que valent les sources primaires derrière ses corrigés. Ces quatre juridictions sont limitées aujourd'hui, et nous préférons montrer la lacune plutôt qu'un score sur une base fragile.
- Arabie saoudite. L'essentiel de ce que nous pouvons indexer relève de recueils de réglementation de régulateurs financiers, plus étroits que les textes fondamentaux.
- Bahreïn. Nous disposons de collections de textes législatifs, mais nous ne les avons pas encore vérifiées au niveau qu'exige un corrigé : à jour, consolidées et rattachables à une page officielle.
- Irak. La législation que nous pouvons indexer penche vers la région du Kurdistan, de sorte que la couverture fédérale est plus mince.
- Syrie. Notre collection est réduite.
Pour ces juridictions, attendez-vous à moins de questions, voire à aucune, tant que les sources ne sont pas vérifiées. Nous mettrons cette liste à jour lorsque la situation évoluera.
Résultats
Aucun résultat n'est publié dans cet article. Ils suivront la prochaine exécution, avec le périmètre et la méthode décrits ici, et tout changement de l'un ou de l'autre sera indiqué à côté. Pour le benchmark antérieur, plus restreint, consacré au droit civil, voir le benchmark d'IA juridique en droit civil.
Points clés
- Onze juridictions, arabe et anglais, testées une juridiction à la fois.
- Les corrigés proviennent de sources primaires et sont vérifiés par un juriste.
- Les questions à correspondance exacte sont notées de manière déterministe, sans modèle comme juge.
- L'Arabie saoudite, Bahreïn, l'Irak et la Syrie sont limités aujourd'hui, et la lacune est énoncée, non dissimulée.
