Deux pipelines de due diligence. Même modèle, même data room, même grille de correction. L'un a détecté 5 problèmes matériels sur 5. L'autre en a détecté 3 sur 5. Les deux qu'il a manqués sont précisément ceux qui vous feraient licencier.
L'essentiel
Les trois problèmes détectés par les deux pipelines étaient les plus évidents - le genre qu'un collaborateur compétent repère au surligneur jaune. Les deux que le prompt unique a manqués exigeaient soit de relier deux documents entre eux, soit d'appliquer une connaissance juridique extérieure à une clause qui semble anodine à première vue. Ce sont exactement les catégories où les outils de due diligence par IA échouent silencieusement, et exactement celles que tous les argumentaires commerciaux des éditeurs d'IA pour le M&A passent sous silence.
Chiffres clés
- Le prompt unique a détecté 3 problèmes matériels sur 5 ; l'essaim à 3 agents en a détecté 5 sur 5 — précision de 1,0 dans les deux cas, même modèle (Claude Opus 4.7, contexte 1M), même data room de 30 documents. L'article précise que ces chiffres sont calibrés de façon fictive pour démontrer le harnais open source.
- La data room de 30 documents (~13 200 mots / 24 000 tokens) tient dans un seul appel à contexte 1M, avec ~976K tokens de marge — la taille du contexte n'était pas la contrainte.
- L'essaim a exécuté 32 appels LLM (30 « chercheurs » + 1 « signaleur de risques » + 1 « synthétiseur »), pour un coût d'environ 2 à 3 fois celui du prompt unique.
Nous avons construit les deux pipelines, les avons exécutés sur les mêmes données, et avons rendu publique la grille de correction.
Pourquoi nous avons mené ce test
Chaque argumentaire commercial d'IA de due diligence auquel nous avons assisté élude la même question : quelle est l'architecture ? Un unique prompt géant saturé de contexte ? Un pipeline multi-agents ? Du RAG sur des documents découpés en morceaux ? La plupart des éditeurs ne le disent pas. La démo, c'est un mémo léché et un tableau de bord. L'architecture, elle, est « propriétaire ».
C'est un problème, parce que l'architecture, c'est le produit. Un prompt unique saturé de contexte et un essaim à 3 agents tournant sur le même modèle produisent des mémos radicalement différents sur la même data room. Nous voulions mesurer à quel point.
Nous avons donc construit les deux. Même modèle - Claude Opus 4.7, contexte 1M -, mêmes documents, même harnais de notation. Les différences de résultat reflètent l'architecture du prompt, pas le choix du modèle. Un LLM-juge a noté les résultats par rapport à une grille de correction avec problèmes implantés, à laquelle il avait accès, alors que les pipelines eux-mêmes n'y avaient pas accès.
Une précision avant les chiffres : il s'agit d'une expérience contrôlée sur des données synthétiques. Les chiffres des pipelines fictifs ont été calibrés pour démontrer le harnais de bout en bout. Nous les publions malgré tout parce que le schéma d'échec - le prompt unique perd la mise en relation inter-documents et les problèmes de connaissance externe - est, selon nous, ce qui se reproduit avec de vrais appels LLM, et parce que le protocole expérimental est réutilisable. Le code est open source.
La data room
Trente documents markdown, sept catégories, ~13 200 mots / 24 000 tokens au total. Construite pour reproduire la densité de signal d'une data room de biotech en série D, avec des noms d'entreprises clairement fictifs pour qu'on ne la confonde avec une fuite de données (Acme Sprockets, NorthStar Therapeutics, Helix BioSystems, Meridian Bio).
L'ensemble du corpus tient dans un seul appel Claude Opus 4.7 à contexte 1M, avec ~976K tokens de marge. Cela élimine l'excuse la plus courante expliquant pourquoi le prompt unique sous-performerait. Nous ne demandons pas au modèle de récupérer de l'information dans un corpus trop volumineux pour son contexte. Toute la data room tient dans la fenêtre.
Les cinq problèmes implantés
Cinq problèmes matériels sont implantés dans des documents d'apparence ordinaire - ni dans les en-têtes, ni annoncés à l'avance. Leur difficulté de détection varie volontairement :
- Trois problèmes mono-document, visibles à la lecture - une clause de changement de contrôle dans un contrat de fourniture, une demande reconventionnelle dont le montant dépasse 10 % du prix d'acquisition, et une réserve sur la continuité d'exploitation dans le rapport des commissaires aux comptes. Des points de checklist. Rater la checklist, c'est rater la due diligence.
- Un problème inter-documents - une rupture dans la chaîne de titularité de la propriété intellectuelle, visible uniquement en croisant le registre des cessions de PI (qui signale un ingénieur sans accord PIIA), une licence-cadre (qui désigne ce même ingénieur comme inventeur de la plateforme concédée) et la lettre d'offre de cet ingénieur (qui mentionne « PIIA joint » sans annexe jointe). Aucun document pris isolément ne porte le signal complet.
- Un problème de connaissance externe - une clause de non-concurrence nationale de 2 ans imposée à la directrice scientifique, régie par le droit californien. Pour savoir qu'elle est sans valeur, il faut savoir que le California Bus. & Prof. § 16600 annule la plupart des clauses de non-concurrence des salariés, et que l'AB-1076 (entrée en vigueur en janvier 2024) y a ajouté une obligation de notification.
La grille de correction complète, avec les critères « à détecter obligatoirement » destinés au LLM-juge, se trouve dans `fixtures/known-issues.md`. Nous ne l'avons pas montrée aux pipelines.
Pipeline 1 : prompt unique
Concaténez tous les documents. Enveloppez le tout dans un system prompt d'avocat senior. Un seul appel LLM. Récupérez le mémo. C'est à cela que ressemble, en coulisses, la plupart des argumentaires « nous utilisons un modèle de pointe à contexte 1M ».
const SYSTEM = `You are a senior M&A diligence attorney reviewing a target
company data room on behalf of an acquirer paying $250M for the entire
company. Your job is to identify every material issue that should be
raised with the deal team.
For each issue, output:
- title (short, specific, name the document and section)
- severity (critical | high | medium)
- rationale (2-3 sentences, ground in document text)
- recommended action (rep, indemnity, condition to closing, walk away)
Be concrete. Cite section numbers and document IDs. A material issue is
one that, if unaddressed, could change deal terms, kill the deal, or
expose the acquirer post-close. Do not include ordinary-course items.`;Un seul appel de modèle. ~24K tokens en entrée, ~3K en sortie, moins de 15 secondes de temps réel, quelques centimes par exécution. Bon marché, rapide, structurellement simple.
Résultat : 3 problèmes sur 5 détectés. Précision de 1,0. Manqués : la rupture de chaîne de titularité de la PI et la clause de non-concurrence californienne.
Il a parfaitement identifié la clause de changement de contrôle, l'exposition au contentieux et la réserve sur la continuité d'exploitation. Un mémo propre, bien référencé. Aucune hallucination. Franchement, il avait l'air plutôt bon - jusqu'à ce qu'on le compare à la grille de correction.
Pipeline 2 : essaim à 3 agents
Trois agents, chacun correspondant à un appel de modèle distinct avec son propre system prompt :
- Chercheur (30 appels en parallèle, un par document). Résumé structuré par document : contreparties, durée, conditions économiques, clause de changement de contrôle, dispositions inhabituelles, questions ouvertes.
- Signaleur de risques (un appel). Lit les 30 résumés produits par le chercheur. Renvoie une liste JSON des problèmes matériels, avec gravité, justification et citations des sources.
- Synthétiseur (un appel). Transforme la liste des signalements en mémo à destination de l'équipe deal.
Total : 32 appels LLM. Coût plus élevé - le chercheur paie les tokens d'entrée 30 fois au lieu d'une seule. Le coût total est environ 2 à 3 fois celui du prompt unique, selon la verbosité de la sortie.
Notez le champ `sources` dans le schéma du signaleur de risques. Ce schéma oblige le modèle à rattacher chaque signalement à un ou plusieurs documents. C'est ce seul choix de conception qui permet aux problèmes inter-documents de passer - on demande au modèle de réfléchir à travers les résumés, pas seulement à l'intérieur de chacun d'eux.
Résultat : 5 problèmes sur 5 détectés. Précision de 1,0.
Ce que le prompt unique a manqué, et pourquoi
C'est la partie qui compte vraiment. Les deux problèmes manqués sont structurels à l'architecture du prompt unique, ce ne sont pas des échecs aléatoires.
Manqué n°1 - La rupture de chaîne de titularité de la PI
Le registre des cessions de PI note que l'ingénieur Wei Lin a « une lettre d'offre signée au dossier, mais aucun PIIA contresigné enregistré - à suivre ». La lettre d'offre contient une ligne de substitution indiquant `[PIIA joint en Annexe A]`, sans annexe jointe. La licence-cadre, dans un dossier distinct, désigne Wei Lin comme l'inventeur de la plateforme centrale concédée. En reliant les trois, on obtient un problème critique : il se peut que l'acquéreur ne détienne pas réellement la PI pour laquelle il paie 250 M$.
Le modèle en prompt unique voit bien les trois documents. Il ne fait simplement pas le lien entre eux sous une instruction de type « trouve tous les problèmes matériels ». Les longs contextes brouillent la mise en relation inter-documents - le modèle produit un excellent balayage document par document, mais franchit rarement le pas supplémentaire consistant à se demander « l'ingénieur du document X est-il la même personne que celui du document Y, et cela change-t-il la donne ? » Rien dans le prompt ne l'y incite.
L'essaim l'a détecté parce que l'entrée du signaleur de risques est constituée de résumés structurés par document, avec les entités nommées mises en évidence. Quand le prompt de type « associé senior » voit « ingénieur sans PIIA » dans un résumé et « ingénieur désigné comme inventeur » dans un autre, la connexion n'est plus qu'à une seule étape d'inférence, au lieu d'être enfouie dans 24K tokens de prose contractuelle.
Essayer HAQQ AI gratuitement
Découvrez la rédaction et la recherche juridique par IA
Manqué n°2 - La clause de non-concurrence californienne inapplicable
La directrice scientifique a une clause de non-concurrence nationale de 2 ans dans son contrat de travail. Droit californien applicable. Elle vit à Palo Alto.
Pour quiconque a lu le California Bus. & Prof. § 16600, la clause est, dans les faits, nulle. L'AB-1076, entrée en vigueur en janvier 2024, a renforcé cette règle : les employeurs doivent notifier expressément aux anciens salariés soumis à de telles clauses qu'elles sont inapplicables, sous peine d'une responsabilité supplémentaire.
Le modèle en prompt unique le sait. Demandez-lui directement - « cette clause de non-concurrence est-elle applicable en Californie ? » - et il vous répondra. Il ne fait simplement pas remonter cette connaissance spontanément sous une instruction générique de type « trouve tous les problèmes matériels ». La clause paraît anodine à première vue. Rien dans le document lui-même ne crie « demande-toi si je suis applicable ».
L'essaim l'a détecté parce que le system prompt du signaleur de risques cantonne le modèle à un rôle d'associé appliquant un seuil de matérialité à travers les résumés - et dans ce rôle, il pose des questions de juridiction sur les clauses restrictives. Avec un agent plus spécialisé (un réviseur dédié au droit du travail, ou un appel d'outil vers une base de données législative), cela devient déterministe. Avec un prompt unique générique, c'est un coup de dés.
Ce ne sont pas des modes de défaillance exotiques. La mise en relation inter-documents et la connaissance législative externe sont les deux catégories où la due diligence apporte le plus de valeur. Ce sont aussi les deux catégories où saturer de contexte un modèle de pointe procure le pire faux sentiment de sécurité, parce que le résultat a l'air exhaustif.
L'arbitrage coût / qualité
Le prompt unique est moins cher, plus rapide, et produit un mémo plus cohérent. Sur une data room de 30 documents, il est environ 3 fois moins cher et 3 fois plus rapide que l'essaim.
L'essaim détecte davantage, laisse une piste d'audit document par document, et permet d'intégrer des agents spécialisés (réglementation FDA, ERISA, fiscalité, droit du travail propre à chaque juridiction) sans réécrire le pipeline.
Quand le gain justifie-t-il le coût ?
- Moins de 10 documents, valeur de deal inférieure à 25 M$, première lecture sous contrainte de temps - le prompt unique convient. La surface inter-documents est réduite.
- 30 documents ou plus, valeur de deal supérieure à 100 M$, toute due diligence pré-signature - l'essaim s'impose. L'écart de coût sur un deal à 100 M$ est négligeable face à un seul problème matériel manqué.
- Secteurs réglementés (sciences de la vie, services financiers, défense) - l'essaim, avec au moins un agent spécialisé pour le régulateur concerné.
- Tout ce qui vous ferait perdre votre poste si vous le manquiez - l'essaim.
Aux tailles de deal pour lesquelles c'est conçu, quelques dollars de plus par exécution ne pèsent rien face au coût de manquer l'un de ces problèmes à la signature. Le choix par défaut, c'est l'essaim. Le prompt unique est un outil de tri, pas un outil de due diligence.
Ce que cela signifie si vous achetez de l'IA de M&A aujourd'hui
Quatre points. Aucun n'est flatteur pour les éditeurs.
Un. Ne faites pas confiance à un « assistant IA de due diligence » qui refuse de vous dire son architecture. Si la réponse à « prompt unique ou multi-agents ? » est « propriétaire », partez. L'architecture détermine ce qui est détecté.
Deux. Le prompt unique saturé de contexte convient pour des revues restreintes et ciblées, mais devient dangereux pour une due diligence plus approfondie. Une fenêtre de contexte à 1M ne remplace pas une attention forcée document par document. Elle ne fait que mieux cacher le mode d'échec.
Trois. Les problèmes inter-documents et de connaissance externe n'émergeront pas d'une instruction « trouve tous les problèmes matériels », quelle que soit la taille du contexte. Ils exigent un prompting d'agents spécialisés, des appels d'outils vers des sources faisant autorité, ou des instructions explicites de mise en relation inter-documents. Si le produit ne peut pas vous montrer lesquelles de ces méthodes il utilise, c'est qu'il ne les utilise pas.
Quatre. Fondez votre évaluation sur des tests à problèmes implantés, pas sur des impressions. Le mémo a l'air rigoureux. Il ne détecte simplement pas la rupture de PI. La seule façon de le savoir, c'est de le confronter à une grille de correction.
Ce que nous construirions pour HAQQ
L'essaim par défaut, avec le prompt unique comme solution de repli économique pour les revues restreintes ou de tri. Des agents spécialisés pour les catégories d'échec que l'essaim générique ne couvre pas : un lieur inter-documents qui énumère explicitement les correspondances entité-document avant tout signalement, et un vérificateur de juridiction qui étiquette chaque clause restrictive, clause de droit applicable et déclaration réglementaire avec un contrôle d'applicabilité au regard du texte de loi pertinent.
Le benchmark à problèmes implantés reste open source. Nous continuerons d'ajouter des problèmes - pièges de chaîne de titularité, décalage cap-table/409A, clauses NPF cachées, side letters contredisant l'accord principal - et de publier les chiffres à chaque changement d'architecture livré. Si un éditeur veut prétendre que son produit est meilleur, il peut exécuter le même harnais et publier les preuves.
