L'humanité a décidé que si une machine écrit quelque chose avec assez d'assurance, cela doit être exact. Les avocats, hélas, n'ont pas ce luxe. Les tribunaux se moquent de la fluidité d'un argument. Ils vérifient si la procédure est correcte et si le droit s'applique vraiment.
Nous avons donc mené une expérience simple.
Le prompt
« Préparer une stratégie de contentieux en droit de l'État de New York pour une facture impayée de 250 000 $. »
Nous avons soumis le même prompt à plusieurs modèles de langage parmi les plus avancés. Modèles testés : HAQQ, GPT-5.2, Claude Opus 4.6, Gemini 3.1 Pro, Perplexity Sonar, Mistral Large 3, et Grok 4.1.
L'objectif n'était pas de voir qui écrirait le paragraphe le plus élégant. C'était de voir quel système pouvait produire quelque chose qui ressemble réellement à une vraie stratégie de contentieux.
Parce qu'en matière juridique, sonner juste et être juste sont deux choses très différentes.
Pourquoi ce cas d'usage compte
Les factures impayées comptent parmi les litiges commerciaux les plus courants. Une facture impayée de 250 000 $ se situe dans cette zone inconfortable où le montant est assez élevé pour justifier un contentieux, mais assez modéré pour que l'efficacité compte.
Une stratégie compétente en droit de l'État de New York inclut généralement :
- Évaluer le contrat et les éléments de preuve
- Déterminer les fondements juridiques de l'action (rupture de contrat, compte arrêté)
- Identifier les raccourcis procéduraux comme le CPLR §3213
- Choisir le bon for compétent
- Planifier la phase de discovery et la requête en jugement sommaire
- Concevoir une stratégie de recouvrement après jugement
Ce dernier point est celui que tout le monde oublie. L'objectif n'est pas de gagner le procès. C'est d'être payé.
Ce que nous avons recherché
Plutôt que de juger la qualité de l'écriture, nous avons évalué les réponses selon des critères juridiques concrets :
- Exactitude juridique — Le modèle a-t-il correctement identifié le cadre juridique applicable ?
- Compréhension procédurale — La réponse reflète-t-elle le fonctionnement réel du contentieux devant les tribunaux new-yorkais ?
- Réflexion stratégique — La réponse privilégiait-elle la voie la plus rapide vers le recouvrement ?
- Citations / autorités — La réponse citait-elle le CPLR et les procédures propres à New York ?
- Structure — La réponse était-elle organisée pour un usage pratique ?
- Qualité prête-client — Ce document pourrait-il être livré à un client sans être réécrit ?
Ces facteurs déterminent si une réponse est utile à un avocat ou si elle n'est qu'un résumé impressionnant en apparence.
Ce que les modèles ont produit
La plupart des systèmes ont généré quelque chose qui ressemblait à une stratégie de contentieux. Mais à la lecture attentive, des différences importantes apparaissent. Certaines réponses ressemblent à une explication générale du fonctionnement des procès. D'autres ressemblent à un véritable mémo de contentieux interne.
Voici la comparaison à haut niveau :
Benchmark LLM — Stratégie de contentieux (droit de l'État de New York)
| Modèle | Exactitude juridique | Profondeur procédurale | Réflexion stratégique | Citations / autorités | Structure | Qualité prête-client | Point fort | Point faible |
|---|---|---|---|---|---|---|---|---|
| HAQQ | 9.5 | 9.5 | 9 | 9 | 9.5 | 9.5 | Mémo de contentieux complet avec exécution, discovery, saisie conservatoire, références au CPLR | Légèrement verbeux ; quelques répétitions |
| Claude Opus 4.6 | 9 | 8.5 | 9 | 9 | 9 | 8.5 | Raisonnement juridique solide + jurisprudence citée | Un peu théorique ; moins de détail procédural |
| GPT-5.2 | 8.5 | 8.5 | 9 | 7 | 8.5 | 8.5 | Plan de contentieux pratique avec arbre de décision | Moins de références légales |
| Gemini 3.1 Pro | 8 | 8 | 8 | 7.5 | 8 | 8 | Identifie clairement la stratégie accélérée du CPLR 3213 | Analyse plus courte ; moins de leviers d'exécution |
| Grok 4.1 | 7.5 | 7 | 7 | 7 | 7.5 | 7 | Vue d'ensemble claire | Manque de profondeur sur les mécanismes du contentieux |
| Mistral Large 3 | 7 | 7 | 6.5 | 6 | 7 | 6.5 | Processus par étapes facile à lire | Analyse juridique superficielle |
| Perplexity Sonar | 6 | 6 | 6 | 6 | 6.5 | 6 | Inclut des sources | Plusieurs inexactitudes juridiques |
Les vraies différences
Le plus grand écart n'était pas stylistique. C'était la conscience procédurale.
Les meilleures réponses comprenaient des éléments comme :
- Le jugement sommaire en lieu et place de la plainte, en vertu du CPLR §3213
- Les fondements de rupture de contrat et de compte arrêté
- La stratégie de mise en demeure préalable au contentieux
- L'analyse de la compétence et du for
- La planification de la discovery
- Les mécanismes d'exécution post-jugement
Beaucoup de réponses plus faibles s'arrêtaient à : « Engager une action en justice et réclamer des dommages-intérêts. » Ce qui sonne bien, mais ignore la moitié du travail réel.
L'étape que la plupart des IA manquent
Un schéma était particulièrement net. La plupart des modèles se concentrent lourdement sur le dépôt de l'action. Peu réfléchissent en profondeur au recouvrement du jugement.
Or, en pratique, les stratégies de recouvrement impliquent souvent :
- Les avis de saisie conservatoire
- Les saisies bancaires
- Les ordonnances de remise de fonds
- Les inscriptions de privilège sur les biens
- La discovery post-jugement
Un avocat qui pense le contentieux dès le départ se demande déjà : « Si nous gagnons, comment recouvre-t-on réellement ? » Les systèmes entraînés principalement sur du texte internet généraliste passent souvent à côté de cette réalité.
Essayer HAQQ AI gratuitement
Découvrez la rédaction et la recherche juridique par IA
Le problème du risque
Les modèles d'IA généralistes sont optimisés pour produire un langage convaincant. Cela fonctionne bien pour beaucoup de tâches. En matière juridique, en revanche, le mode d'échec est dangereux. Pas parce que la réponse est mal écrite. Parce qu'elle a tort avec assurance.
De petites erreurs procédurales peuvent entraîner :
- Des demandes rejetées
- Des délais manqués
- Des jugements inexécutables
- Une exposition à la faute professionnelle
C'est pourquoi les professionnels du droit se soucient moins de créativité que de calibrage.
Ce que cette expérience montre
Deux enseignements se dégagent de ce benchmark simple.
D'abord, les modèles de langage actuels sont déjà capables de produire une analyse juridique utile lorsque le problème est clairement défini.
Ensuite, il existe une différence significative entre les systèmes d'IA généralistes et les systèmes conçus spécifiquement pour les workflows juridiques.
Le raisonnement juridique exige une pensée structurée sur la compétence, la procédure, la preuve et l'exécution. Ces éléments apparaissent rarement de manière naturelle dans les réponses d'une IA généraliste. Ils doivent être modélisés intentionnellement.
L'implication plus large
L'IA devient déjà un outil standard pour les avocats. Mais la question n'est pas de savoir si l'IA peut écrire quelque chose qui sonne comme un avis juridique. La question est de savoir si elle peut produire un travail qui satisfait aux exigences de la profession.
Un mémo juridique ne se juge pas sur le ton. Il se juge sur la question de savoir si la stratégie tient bon face à la partie adverse et au tribunal. Et c'est une barre bien plus haute que de générer un texte convaincant.
Pour conclure
Les benchmarks mesurent souvent qui écrit le paragraphe le plus impressionnant. Les benchmarks juridiques devraient mesurer autre chose. Quel système reste exact, procédural et discipliné face au risque. Parce qu'en matière juridique, le danger n'est pas d'être ennuyeux. C'est d'avoir tort avec assurance.
