En bref : voici notre test de mai 2026. Nous avons soumis à Claude Sonnet 4, GPT-4o et Gemini 2.5 Flash les 100 questions les plus populaires de tous les temps sur r/legaladvice. Claude Sonnet 4 en a réussi 88, GPT-4o 87 et Gemini 2.5 Flash 78. Les trois modèles ont obtenu leur score le plus bas sur les mises en garde (3,0 à 3,15 sur 5), bien en dessous de leur exactitude juridique (3,98 à 4,30).
Résultat daté, conservé à titre d'archive. Ce benchmark a été réalisé en mai 2026 sur des modèles qui ont depuis été remplacés. Pour des résultats actuels, consultez quelle IA choisir pour le travail juridique, mise à jour d'octobre 2026, le benchmark juridique de Claude Opus 5.5 (23 septembre 2026, 120 verdicts à l'aveugle) et comment tester une IA juridique (30 septembre 2026, cinq questions pièges sur les Émirats arabes unis, l'Arabie saoudite et le Liban, 80 réponses). Les chiffres ci-dessous sont inchangés par rapport à l'article d'origine.
Faits clés
- Taux de réussite sur les 100 questions les plus populaires de tous les temps sur r/legaladvice : Claude Sonnet 4 88/100, GPT-4o 87/100, Gemini 2.5 Flash 78/100 (test HAQQ, mai 2026).
- Dimension la plus faible pour les trois modèles : mises en garde appropriées, 3,0 à 3,15 sur 5. L'exactitude juridique allait de 3,98 à 4,30 (test HAQQ, mai 2026).
- Sur 20 nouvelles questions publiées au cours des 48 heures précédentes : Claude Sonnet 4 95 %, GPT-4o 90 %, Gemini 2.5 Flash 85 % (test HAQQ, mai 2026).
- Juge : Claude Sonnet 4 a noté chaque réponse, y compris les siennes, sans validation par un avocat (test HAQQ, mai 2026).
- Contexte : le World Justice Project estimait en 2019 que 5,1 milliards de personnes ont des besoins de justice non satisfaits (WJP, Measuring the Justice Gap, 2019).
Transparence. HAQQ développe une IA juridique et a conçu, mené et noté ce test. HAQQ ne figurait pas parmi les modèles testés.
Comment avons-nous organisé le test ?
Nous avons pris les 100 publications les plus votées de tous les temps sur r/legaladvice : de vraies questions sur des litiges entre bailleurs et locataires, le droit du travail, la garde d'enfants, des poursuites pénales, des dommages corporels, entre autres. La publication moyenne dépassait 2 200 caractères, si bien que la plupart des questions s'accompagnaient de faits confus.
Chaque question a été envoyée à trois modèles via OpenRouter avec le même prompt système : agir comme un avocat américain expérimenté, identifier la juridiction, repérer les problèmes, citer le droit applicable, analyser, puis conseiller.
- Claude Sonnet 4 (Anthropic)
- GPT-4o (OpenAI)
- Gemini 2.5 Flash (Google)
Comment les réponses ont-elles été notées ?
Claude Sonnet 4 a fait office de juge et a noté chaque réponse de 1 à 5 sur cinq dimensions : exactitude juridique (les textes cités sont-ils corrects ?), exhaustivité des problèmes (a-t-il relevé chaque question juridique ?), qualité du raisonnement (le raisonnement est-il cohérent ?), valeur pratique (aiderait-il la personne à faire le bon choix ensuite ?) et mises en garde appropriées (précise-t-il qu'il ne s'agit pas d'un conseil juridique et renvoie-t-il vers un avocat local ?).
Une réponse était réussie si sa moyenne atteignait au moins 3,5 et qu'aucune dimension ne tombait sous 2. Faire noter des modèles par un modèle introduit un biais, sur lequel nous revenons plus bas.
Quel modèle a réussi le plus de questions ?
Claude Sonnet 4 en a réussi 88 sur 100, GPT-4o 87 et Gemini 2.5 Flash 78. Avec 100 questions et un seul juge, un écart d'un point entre Claude et GPT-4o relève du bruit : considérez-les à égalité.
Quels scores les modèles ont-ils obtenus sur chaque dimension ?
L'exactitude juridique allait de 3,98 à 4,30 sur 5. Gemini a obtenu le score le plus élevé en exhaustivité des problèmes (4,82), devant Claude (4,58). La dimension la plus forte de Claude était la valeur pratique, à 4,73 contre 4,21 pour GPT-4o, surtout parce que ses réponses énuméraient davantage d'étapes concrètes. Les mises en garde ont été le point faible de tous les modèles.
Qu'avons-nous appris en mai 2026 ?
Les modèles trouvaient généralement le bon domaine du droit
Dans la plupart des 100 cas, chaque modèle a identifié le domaine du droit, repéré les principaux problèmes et donné des conseils sur lesquels une personne pouvait agir. C'était l'aspect encourageant du test.
Le point faible : les mises en garde
Les trois modèles ont obtenu entre 3,0 et 3,15 sur les mises en garde appropriées. Ils approfondissaient l'analyse, souvent correctement, sans préciser qu'il s'agissait d'informations générales ni que la personne devait consulter un avocat local. Une réponse assurée sans avertissement est risquée même lorsqu'elle est juste, car le lecteur ne peut pas savoir quelles parties dépendent de son État ou de sa situation. C'est l'une des raisons pour lesquelles nous ajoutons des garde-fous, des avertissements et un renvoi vers un avocat à tout modèle utilisé par HAQQ.
Essayer HAQQ AI gratuitement
Découvrez la rédaction et la recherche juridique par IA
Des moyennes élevées ne signifiaient pas un taux de réussite élevé
Gemini 2.5 Flash affichait les moyennes les plus élevées en exactitude juridique (4,30) et en exhaustivité des problèmes (4,82), mais le taux de réussite le plus bas, 78 %. Certaines de ses réponses étaient tronquées ; d'autres omettaient complètement l'avertissement et échouaient sur cette dimension. Pour un travail juridique, une réponse excellente la plupart du temps et incomplète le reste du temps est difficile à utiliser en confiance.
Quelle est la fiabilité d'un juge IA ?
Claude a jugé les trois modèles, y compris lui-même. Cela soulève trois problèmes que nous n'avons pas pu éliminer dans ce test : un possible avantage à domicile, un biais en faveur des structures de réponse que le juge reconnaît, et l'absence de vérité de référence, puisqu'aucun avocat n'a vérifié les réponses. Les scores mesurent donc la concordance avec la vision qu'a un seul modèle d'une bonne réponse.
Nos tests ultérieurs ont traité ce point. Le benchmark Opus 5.5 de septembre 2026 a fait appel à deux juges extérieurs à Anthropic, et le test des questions pièges a utilisé trois juges à l'aveugle et publié les 80 réponses.
Les résultats ont-ils tenu sur de nouvelles questions ?
Les 100 publications les plus populaires sont assez anciennes pour avoir figuré dans les données d'entraînement. Pour le vérifier, nous avons appliqué la même procédure à 20 questions publiées sur r/legaladvice au cours des 48 heures précédentes. Claude Sonnet 4 a obtenu 95 %, GPT-4o 90 % et Gemini 2.5 Flash 85 %. Vingt questions forment un petit échantillon ; nous y voyons donc « aucun signe de mémorisation » plutôt qu'une amélioration.
Qu'est-ce que cela signifie pour un produit d'IA juridique ?
Dès mai 2026, les modèles raisonnaient assez bien sur les questions juridiques américaines courantes pour être utiles la plupart du temps. Les 5 à 15 % restants sont là où un produit gagne la confiance : choisir la réponse de quel modèle retenir, ajouter les mises en garde que les modèles ont omises, ancrer les réponses dans la juridiction et les documents du cabinet, et rendre chaque citation traçable jusqu'à sa source. C'est le travail que Justinian, le moteur d'IA juridique de HAQQ, effectue par-dessus les modèles qu'il exécute.
Méthodologie
- Date du test : mai 2026.
- Questions : les 100 publications les plus populaires de tous les temps sur r/legaladvice, plus 20 publications des 48 heures précédentes, filtrées pour ne garder que les publications textuelles de fond.
- Modèles : Claude Sonnet 4, GPT-4o et Gemini 2.5 Flash, tous appelés via OpenRouter avec des prompts système identiques.
- Prompting : chaîne de raisonnement avec un cadre de raisonnement juridique en cinq étapes (juridiction, problèmes, droit, analyse, conseil).
- Juge : Claude Sonnet 4, juge unique, cinq dimensions notées de 1 à 5, sans relecture par un avocat.
- Règle de réussite : moyenne d'au moins 3,5 et aucune dimension sous 2.
- Données : le code, les questions, les réponses et les scores étaient conservés dans un dépôt au moment du test.
Que lire ensuite ?
- Quelle IA choisir pour le travail juridique, mise à jour d'octobre 2026
- Claude Opus 5.5, Opus 5 et Fable 5.1 sur dix prompts juridiques
- Comment tester une IA juridique : cinq questions pièges
- Les cas où des hallucinations d'IA sont arrivées devant un tribunal
- World Justice Project, Measuring the Justice Gap (2019)



