En bref : nous avons transformé un modèle de pointe (Opus 4.8) en fausse base de données juridique pour observer où il fabrique du contenu. Il a refusé d'inventer des citations qui n'existent pas, 4 références impossibles sur 4 sont revenues introuvables. Mais sur une requête plausible, il a fabriqué la recherche elle-même : une liste de résultats classés avec un score de pertinence inventé et une citation réelle, cliquable, pointant vers le mauvais texte de loi. L'hallucination dangereuse n'est pas la fausse affaire que vous pouvez repérer. C'est la citation réelle rattachée au mauvais contenu, avec le modèle affirmant avoir effectué une recherche alors qu'il n'en a rien fait.
Le chiffre que tout le monde cite, et celui qu'on oublie
Si vous avez comparé des outils d'IA juridique au cours de la dernière année, vous connaissez la statistique qui fait peur. Une étude de Stanford de 2024 a mesuré des taux d'hallucination de 43 % pour GPT-4, 33 % pour l'outil de recherche IA de Westlaw, et 17 % pour Lexis+. Une base de données distincte recense désormais plus de 1 000 affaires judiciaires où des avocats ont déposé des citations inventées par l'IA. Certains ont été sanctionnés.
Taux d'hallucination des outils de recherche juridique
Stanford, 2024, part des réponses contenant une hallucination
Les outils juridiques ancrés dans une recherche documentaire réelle font mieux que les modèles généralistes, mais les erreurs qui subsistent deviennent plus subtiles, comme une citation réelle rattachée au mauvais texte de loi.
Le conseil qui suit est toujours le même : vérifiez chaque citation. Vrai, et pratiquement inutile, car cela suppose que les hallucinations ressemblent à des faux grossiers. Ce n'est pas le cas de celles qui font sanctionner les avocats. Nous avons donc mené une expérience pour voir à quoi elles ressemblent réellement.
L'expérience : faire jouer au modèle le rôle de la bibliothèque
La plupart des tests d'hallucination posent une question juridique à un modèle et notent la réponse. Nous avons fait quelque chose de plus inhabituel. Nous avons utilisé un outil open source, world-model-harness, pour faire jouer à Opus 4.8 le rôle de la base de données juridique elle-même, le moteur de recherche, pas l'avocat.
Voici le dispositif en termes simples. Nous avons enregistré de véritables sessions de recherche juridique menées contre une base de données multi-juridictionnelle réelle, textes de loi et jurisprudence à travers l'UE, la France et l'Allemagne. Nous avons ensuite entraîné le modèle à jouer cette base de données : vous envoyez une requête, il renvoie ce qu'il pense que la base de données renverrait, résultats de recherche, texte du document, citations. Une vraie base de données récupère l'information. La nôtre la prédit. L'écart entre les deux, c'est l'hallucination, isolée sous un microscope.
Un aveu tiré de la construction du dispositif : notre premier passage affichait une précision des citations proche de 100 % et nous avons failli nous en réjouir. Puis nous avons réalisé que nous testions le cache, pas le modèle, nous lui avions soumis des requêtes qu'il avait déjà vues, il se contentait donc de nous renvoyer les vraies réponses. Gênant pendant un après-midi, instructif pour toujours : le seul test honnête d'une IA juridique se fait sur des questions qu'elle n'a jamais vues.
Constat 1 : il n'invente pas une citation à partir de rien
Nous avons soumis à la fausse bibliothèque quatre références qui n'existent nulle part : un règlement européen inventé, un article fabriqué du Code civil français, un numéro CELEX absurde, et une décision fictive de la Cour constitutionnelle allemande.
Les quatre fois, il a répondu comme le ferait une vraie base de données : résolution négative, non trouvé. Il n'a pas inventé une affaire plausible pour combler le vide. C'est une bonne nouvelle, et elle mérite d'être soulignée. Les modèles de pointe en 2026 sont beaucoup mieux calibrés que ne le laisse penser la réputation de « il invente n'importe quoi ». Face à une demande impossible, Opus 4.8 a refusé. Si l'histoire s'arrêtait là, vous pourriez vous détendre. Ce n'est pas le cas.
Constat 2 : il fabrique la recherche elle-même
Nous lui avons ensuite posé une question plausible mais jamais vue, sur les règles de l'AI Act européen pour les systèmes à haut risque. Le modèle a produit une réponse complète et classée digne d'une base de données : plusieurs résultats, des dates de journal officiel, un score de pertinence de 0,71243286, le tout présenté comme s'il provenait d'une recherche dans EUR-Lex. Rien de cette recherche n'a eu lieu. Il n'y avait ni index, ni recherche, ni score. Il a fabriqué l'acte même de chercher une information. Et les citations qu'il a renvoyées sont une véritable leçon sur les enjeux :
- CELEX 32024R1689, réelle et exacte. C'est bien l'AI Act européen. Un rappel impressionnant.
- CELEX 32024R0900, réelle, cliquable, et fausse. Cette citation se résout parfaitement sur EUR-Lex, vers le règlement (UE) 2024/900 relatif à la transparence de la publicité politique. Elle n'a rien à voir avec la conformité en matière d'IA.
C'est la deuxième citation qui compte vraiment. Ce n'est pas une fausse citation, une fausse citation est facile à repérer car elle ne se résout pas. C'est une vraie citation rattachée au mauvais texte de loi. Les outils de vérification des citations appellent cela une incohérence nom/citation. Vous cliquez dessus, un véritable règlement européen s'affiche, tout paraît légitime, et vous venez de fonder votre argumentation sur le droit de la publicité en pensant qu'il s'agit du droit de l'IA. Chaque lien se résout. Rien ne semble anormal.
Réserve honnête : il s'agit d'une preuve de concept probante, pas d'un benchmark, un corpus restreint et une seule fabrication repérée sur une poignée de sondages. Nous n'affirmons pas un taux. Nous montrons une tendance.
Essayer HAQQ AI gratuitement
Découvrez la rédaction et la recherche juridique par IA
Pourquoi c'est l'erreur qui survit à la relecture
Revenons au conseil habituel : vérifiez chaque citation. Regardez-le échouer. L'avocat vérifie la citation de l'AI Act, elle est réelle. Il vérifie la suivante, réelle également, le lien s'ouvre correctement. La vérification est passée, car vérifier signifie en général ce lien fonctionne-t-il, et chaque lien fonctionnait. L'erreur ne porte pas sur l'existence de la citation. Elle porte sur le fait qu'elle dise ce que le modèle affirme, un point bien plus difficile à repérer, et exactement le type d'erreur qui finit dans une écriture de procédure.
La leçon la plus profonde concerne l'endroit où se niche le mensonge. Nous craignons instinctivement que le modèle se trompe sur le fond du droit. Le risque réel, c'est qu'il se trompe sur la recherche elle-même, que la phrase j'ai interrogé la base de données et voici ce que j'ai trouvé soit elle-même l'hallucination, complétée par un faux score de confiance pour la rendre crédible.
Le point de vue de HAQQ : la recherche documentaire elle-même est l'hallucination
C'est la raison pour laquelle nous ancrons les réponses de HAQQ dans une recherche documentaire réelle plutôt que de demander à un modèle de se souvenir du droit de mémoire. Non pas parce que les modèles sont peu fiables, celui-ci a refusé chaque citation impossible et a parfaitement rappelé le numéro de l'AI Act. Mais un modèle à qui l'on demande d'être la source finira par simuler la recherche qu'il n'a pas effectuée. La seule solution consiste à rendre la recherche réelle : extraire le document effectif d'un index effectif, puis vérifier que la citation se résout bien vers l'affaire que le modèle a nommée, pas seulement vers une affaire quelconque.
Une question s'impose alors pour tout acheteur. Ne demandez pas à un fournisseur d'IA juridique s'il hallucine, tout le monde répond non. Demandez plutôt : quand vous m'affichez une citation, avez-vous effectivement récupéré ce document précis, et vérifiez-vous que le nom de l'affaire correspond à la citation ? L'incohérence nom/citation est le signe révélateur. Un outil qui vérifie uniquement que les citations sont bien formées laissera passer 32024R0900 sans broncher.
Points clés à retenir
- Un modèle de pointe bien calibré n'invente pas de citations à partir de rien, il a refusé 4 références impossibles sur 4.
- Il fabrique la recherche elle-même sur des requêtes plausibles, jusqu'à inventer un score de pertinence et une citation réelle pointant vers le mauvais texte de loi.
- L'hallucination dangereuse est celle qui passe la vérification, chaque lien se résout, seul le sens est faux.
- Ancrez l'IA juridique dans une recherche documentaire réelle associée à une vérification de concordance des citations, et jugez les fournisseurs sur le fait qu'ils vérifient si une citation dit ce qu'ils prétendent, pas seulement si elle existe.
