Zwei Diligence-Pipelines. Gleiches Modell, gleicher Datenraum, gleicher Antwortschlüssel. Die eine erkannte 5 von 5 platzierten wesentlichen Problemen. Die andere erkannte 3 von 5. Die beiden übersehenen sind genau die, wegen denen man gefeuert würde.
Die Kernaussage
Die drei Probleme, die beide Pipelines erkannten, waren die offensichtlichen - die Art, die ein kompetenter Associate mit dem gelben Textmarker anstreicht. Die beiden vom Einzelprompt übersehenen Probleme erforderten entweder die Verknüpfung zweier Dokumente miteinander oder die Anwendung externen Rechtswissens auf eine Klausel, die auf den ersten Blick unauffällig wirkt. Genau das sind die Kategorien, in denen KI-Diligence-Tools stillschweigend versagen - und genau die Kategorien, über die jeder Vertriebspitch eines M&A-KI-Anbieters hinweggeht.
Kernfakten
- Der Einzelprompt erkannte 3/5 platzierte wesentliche Probleme, der 3-Agenten-Schwarm 5/5 — beide mit Präzision 1,0, gleiches Modell (Claude Opus 4.7, 1M Kontext), gleicher 30-Dokumente-Datenraum. Der Beitrag legt offen, dass die Zahlen mock-kalibriert sind, um das Open-Source-Harness zu demonstrieren.
- Der 30-Dokumente-Datenraum (~13.200 Wörter / 24.000 Token) passt in einen einzigen 1M-Kontext-Aufruf mit ~976K Token Reserve — die Kontextgröße war nicht der limitierende Faktor.
- Der Schwarm führte 32 LLM-Aufrufe aus (30 Recherche-Agenten + 1 Risiko-Flagger + 1 Zusammenfasser) zu etwa dem 2- bis 3-Fachen der Einzelprompt-Kosten.
Wir haben beide Pipelines gebaut, sie auf denselben Daten laufen lassen und den Antwortschlüssel veröffentlicht.
Warum wir den Test durchgeführt haben
Jeder KI-Diligence-Pitch, dem wir beigewohnt haben, weicht derselben Frage aus: Wie sieht die Architektur aus? Ein riesiger, kontextvollgestopfter Prompt? Eine Multi-Agenten-Pipeline? RAG über zerlegte Dokumente? Die meisten Pitches verraten es nicht. Die Demo ist ein glänzendes Memo und ein Dashboard. Die Architektur ist „proprietär“.
Das ist ein Problem, denn die Architektur ist das Produkt. Ein einzelner kontextvollgestopfter Prompt und ein 3-Agenten-Schwarm auf demselben Modell erzeugen aus demselben Datenraum dramatisch unterschiedliche Memos. Wir wollten messen, wie dramatisch.
Also haben wir beide gebaut. Gleiches Modell - Claude Opus 4.7, 1M Kontext -, gleiche Dokumente, gleiches Bewertungs-Harness. Unterschiede im Ergebnis spiegeln die Prompt-Architektur wider, nicht die Modellwahl. Ein LLM als Gutachter bewertete die Ergebnisse anhand eines Antwortschlüssels mit den platzierten Problemen, den es einsehen konnte - die Pipelines selbst hatten dazu keinen Zugriff.
Ein Hinweis vor den Zahlen: Dies ist ein kontrolliertes Experiment auf synthetischen Daten. Die Mock-Pipeline-Zahlen wurden kalibriert, um das Harness von Anfang bis Ende zu demonstrieren. Wir veröffentlichen es trotzdem, weil wir davon ausgehen, dass sich das Fehlermuster - der Einzelprompt verliert bei dokumentübergreifenden Verknüpfungen und Problemen mit externem Wissen - mit echten LLM-Aufrufen reproduzieren lässt, und weil das Versuchsdesign wiederverwendbar ist. Der Code ist Open Source.
Der Datenraum
Dreißig Markdown-Dokumente, sieben Kategorien, insgesamt ~13.200 Wörter / 24.000 Token. Aufgebaut, um die Signaldichte eines Series-D-Datenraums aus der Therapeutika-Branche nachzubilden, mit eindeutig erfundenen Firmennamen, damit niemand es mit einem Leak verwechselt (Acme Sprockets, NorthStar Therapeutics, Helix BioSystems, Meridian Bio).
Der gesamte Korpus passt in einen einzigen Claude-Opus-4.7-Aufruf mit 1M Kontext, mit ~976K Token Reserve. Damit entfällt die gängigste Ausrede dafür, warum der Einzelprompt schlechter abschneiden könnte. Wir verlangen vom Modell nicht, aus einem Korpus abzurufen, der zu groß für seinen Kontext ist. Der gesamte Datenraum befindet sich im Fenster.
Die fünf platzierten Probleme
Fünf wesentliche Probleme sind in unauffällig wirkenden Dokumenten platziert - nicht in Überschriften, nicht angekündigt. Bewusst mit unterschiedlichem Schwierigkeitsgrad bei der Erkennung:
- Drei Ein-Dokument-Probleme, auf den ersten Blick erkennbar - eine Kontrollwechsel-Klausel in einem Liefervertrag, eine Widerklage im Wert von mehr als 10 % des Kaufpreises und ein Going-Concern-Vermerk im Prüfungsbericht. Checklisten-Punkte. Wer die Checkliste verfehlt, verfehlt die Diligence.
- Ein dokumentübergreifendes Problem - eine Lücke in der IP-Rechtekette (Chain of Title), die nur sichtbar wird, wenn man das IP-Übertragungsregister (das einen Ingenieur mit fehlender PIIA vermerkt), eine Master-Lizenz (die genau diesen Ingenieur als Erfinder der lizenzierten Plattform nennt) und das Angebotsschreiben dieses Ingenieurs (das „PIIA beigefügt“ vermerkt, ohne dass eine Anlage existiert) miteinander verknüpft. Kein einzelnes Dokument trägt das vollständige Signal.
- Ein Problem mit externem Wissen - ein zweijähriges, landesweites Wettbewerbsverbot für die Chief Scientific Officer, das kalifornischem Recht unterliegt. Um zu wissen, dass es wertlos ist, muss man wissen, dass Cal. Bus. & Prof. Code § 16600 die meisten Wettbewerbsverbote für Arbeitnehmer für nichtig erklärt und dass AB-1076 (in Kraft seit Januar 2024) zusätzlich eine Hinweispflicht eingeführt hat.
Der vollständige Antwortschlüssel mit den `must catch`-Kriterien für den LLM-Gutachter befindet sich in `fixtures/known-issues.md`. Wir haben ihn den Pipelines nicht gezeigt.
Pipeline 1: Einzelprompt
Alle Dokumente aneinanderhängen. In einen System-Prompt im Stil eines erfahrenen Anwalts verpacken. Ein einziger LLM-Aufruf. Das Memo erhalten. So sehen die meisten Pitches à la „wir nutzen ein Frontier-Modell mit 1M Kontext“ unter der Haube aus.
const SYSTEM = `You are a senior M&A diligence attorney reviewing a target
company data room on behalf of an acquirer paying $250M for the entire
company. Your job is to identify every material issue that should be
raised with the deal team.
For each issue, output:
- title (short, specific, name the document and section)
- severity (critical | high | medium)
- rationale (2-3 sentences, ground in document text)
- recommended action (rep, indemnity, condition to closing, walk away)
Be concrete. Cite section numbers and document IDs. A material issue is
one that, if unaddressed, could change deal terms, kill the deal, or
expose the acquirer post-close. Do not include ordinary-course items.`;Ein Modellaufruf. ~24K Eingabe-Token, ~3K Ausgabe-Token, unter 15 Sekunden Laufzeit, niedrige einstellige Cent-Beträge pro Durchlauf. Günstig, schnell, strukturell einfach.
Ergebnis: 3/5 erkannt. Präzision 1,0. Übersehen: die Lücke in der IP-Rechtekette und das kalifornische Wettbewerbsverbot.
Es traf die Kontrollwechsel-Klausel, das Prozessrisiko und den Going-Concern-Vermerk exakt. Ein sauberes, gut belegtes Memo. Keine Halluzinationen. Es sah, ehrlich gesagt, ziemlich gut aus - bis man es mit dem Antwortschlüssel verglich.
Pipeline 2: 3-Agenten-Schwarm
Drei Agenten, jeweils ein eigener Modellaufruf mit eigenem System-Prompt:
- Recherche-Agent (30 parallele Aufrufe, einer pro Dokument). Strukturierte Zusammenfassung pro Dokument: Vertragsparteien, Laufzeit, wirtschaftliche Bedingungen, Kontrollwechsel-Klauseln, ungewöhnliche Bestimmungen, offene Fragen.
- Risiko-Flagger (ein Aufruf). Liest alle 30 Zusammenfassungen des Recherche-Agenten. Liefert eine JSON-Liste wesentlicher Probleme mit Schweregrad, Begründung und Quellenangaben.
- Zusammenfasser (ein Aufruf). Verwandelt die Problemliste in ein Memo für das Deal-Team.
Insgesamt: 32 LLM-Aufrufe. Höhere Kosten - der Recherche-Agent zahlt Eingabe-Token 30-mal statt einmal. Die Gesamtkosten liegen je nach Ausführlichkeit der Ausgabe etwa beim 2- bis 3-Fachen des Einzelprompts.
Man beachte das Feld `sources` im Schema des Risiko-Flaggers. Das Schema zwingt das Modell dazu, jede Kennzeichnung einem oder mehreren Dokumenten zuzuordnen. Genau diese eine Designentscheidung sorgt dafür, dass dokumentübergreifende Probleme erkannt werden - das Modell wird aufgefordert, über Zusammenfassungen hinweg zu denken, nicht nur innerhalb einzelner.
Ergebnis: 5/5 erkannt. Präzision 1,0.
Was der Einzelprompt übersehen hat - und warum
Das ist der entscheidende Teil. Beide übersehenen Punkte sind strukturell bedingt durch die Einzelprompt-Architektur, keine Zufallsfehler.
Übersehen 1 - Die Lücke in der IP-Rechtekette
Das IP-Übertragungsregister vermerkt, dass für Ingenieur Wei Lin „ein unterzeichnetes Angebotsschreiben vorliegt, aber keine gegengezeichnete PIIA erfasst ist - nachzuverfolgen“. Das Angebotsschreiben enthält eine Platzhalterzeile mit dem Vermerk `[PIIA als Anlage A beigefügt]`, ohne dass eine Anlage existiert. Die Master-Lizenz, in einem separaten Ordner, nennt Wei Lin als Erfinder der lizenzierten Kernplattform. Verknüpft man alle drei, ergibt sich ein kritisches Problem: Der Erwerber besitzt womöglich gar nicht das geistige Eigentum, für das er 250 Mio. $ zahlt.
Das Einzelprompt-Modell sieht alle drei Dokumente. Es verknüpft sie unter der Vorgabe „finde jedes wesentliche Problem“ nur nicht. Lange Kontexte verwischen dokumentübergreifende Verknüpfungen - das Modell liefert einen hervorragenden Scan pro Dokument, geht aber selten den zusätzlichen Schritt, zu fragen: „Ist der Ingenieur in Dokument X dieselbe Person wie in Dokument Y, und ändert das das Gesamtbild?“ Der Prompt gibt dafür keinen Anreiz.
Der Schwarm hat es erkannt, weil der Input des Risiko-Flaggers aus strukturierten Zusammenfassungen pro Dokument mit hervorgehobenen benannten Entitäten besteht. Wenn der partnertypische Prompt in einer Zusammenfassung „Ingenieur mit fehlender PIIA“ und in einer anderen „Ingenieur als Erfinder genannt“ sieht, liegt die Verknüpfung nur einen Inferenzschritt entfernt - statt in 24K Token Vertragsprosa vergraben zu sein.
HAQQ AI kostenlos testen
Erleben Sie KI-gestützte juristische Recherche und Entwurf
Übersehen 2 - Das nicht durchsetzbare kalifornische Wettbewerbsverbot
Die Chief Scientific Officer hat in ihrem Arbeitsvertrag ein zweijähriges, landesweites Wettbewerbsverbot. Anwendbares Recht: Kalifornien. Sie lebt in Palo Alto.
Für jeden, der Cal. Bus. & Prof. Code § 16600 gelesen hat, ist die Klausel faktisch nichtig. AB-1076, in Kraft seit Januar 2024, hat das noch verschärft: Arbeitgeber müssen ehemalige Mitarbeitende mit solchen Klauseln aktiv darüber informieren, dass diese nicht durchsetzbar sind - andernfalls drohen zusätzliche Haftungsrisiken.
Das Einzelprompt-Modell weiß das. Fragt man es direkt - „ist dieses Wettbewerbsverbot in Kalifornien durchsetzbar?“ -, sagt es einem die Antwort. Es bringt dieses Wissen unter einer generischen Anweisung „finde jedes wesentliche Problem“ nur nicht von sich aus ein. Die Klausel wirkt auf den ersten Blick unauffällig. Nichts im Dokument selbst schreit „prüfe, ob ich durchsetzbar bin“.
Der Schwarm hat es erkannt, weil der System-Prompt des Risiko-Flaggers das Modell auf eine Partnerrolle festlegt, die über die Zusammenfassungen hinweg eine Wesentlichkeitsschwelle anwendet - und in dieser Rolle stellt es jurisdiktionsbezogene Fragen zu Wettbewerbsklauseln. Mit einem spezialisierteren Agenten (einem dedizierten Prüfer für Arbeitsrecht oder einem Tool-Aufruf an eine Gesetzesdatenbank) wird das deterministisch. Mit einem generischen Einzelprompt ist es Glückssache.
Das sind keine exotischen Fehlermodi. Dokumentübergreifende Verknüpfung und externes Gesetzeswissen sind die zwei Kategorien, in denen Diligence den größten Mehrwert schafft. Es sind auch die zwei Kategorien, in denen das Vollstopfen eines Frontier-Modells mit Kontext das schlimmste falsche Sicherheitsgefühl erzeugt - weil die Ausgabe umfassend aussieht.
Der Zielkonflikt zwischen Kosten und Qualität
Der Einzelprompt ist günstiger, schneller und erzeugt ein kohärenteres Memo. Bei einem 30-Dokumente-Raum ist er etwa 3-mal günstiger und 3-mal schneller als der Schwarm.
Der Schwarm erkennt mehr, hinterlässt einen Audit-Trail pro Dokument und erlaubt es, spezialisierte Agenten einzusetzen (FDA-Regulierung, ERISA, Steuern, jurisdiktionsspezifisches Arbeitsrecht), ohne die Pipeline umzuschreiben.
Wann rechtfertigt der Mehrwert die Kosten?
- Unter 10 Dokumenten, Deal-Wert unter 25 Mio. $, zeitlich begrenzte Ersteinschätzung - der Einzelprompt reicht aus. Die dokumentübergreifende Angriffsfläche ist klein.
- 30+ Dokumente, Deal-Wert über 100 Mio. $, alles vor Signing - der Schwarm. Die Kostendifferenz ist bei einem 100-Mio.-$-Deal irrelevant gegenüber einem übersehenen wesentlichen Problem.
- Regulierte Branchen (Life Sciences, Finanzdienstleistungen, Verteidigung) - der Schwarm, mit mindestens einem spezialisierten Agenten für die zuständige Aufsichtsbehörde.
- Alles, wofür man seinen Job verlieren würde, wenn man es übersieht - der Schwarm.
Bei den Deal-Größen, für die das hier gedacht ist, sind ein paar zusätzliche Dollar pro Durchlauf ein Rundungsfehler gegenüber den Kosten, eines dieser Probleme beim Signing zu übersehen. Der Standard ist der Schwarm. Der Einzelprompt ist ein Triage-Werkzeug, kein Diligence-Werkzeug.
Was das bedeutet, wenn Sie gerade M&A-KI einkaufen
Vier Punkte. Keiner davon ist anbieterfreundlich.
Erstens. Vertrauen Sie keinem „KI-Diligence-Assistenten“, der Ihnen seine Architektur nicht verrät. Lautet die Antwort auf „Einzelprompt oder Multi-Agent?“ „proprietär“, gehen Sie. Die Architektur entscheidet, was erkannt wird.
Zweitens. Kontextvollgestopfte Einzelprompts sind für enge, kleine Prüfungen in Ordnung und gefährlich für tiefergehende Diligence. Ein 1M-Kontextfenster ersetzt keine erzwungene Aufmerksamkeit pro Dokument. Es lässt den Fehlermodus nur besser verstecken.
Drittens. Dokumentübergreifende Probleme und Probleme mit externem Wissen entstehen nicht aus „finde alle wesentlichen Probleme“, egal wie groß Ihr Kontext ist. Sie erfordern spezialisiertes Agenten-Prompting, Tool-Aufrufe an autoritative Quellen oder explizite Anweisungen zur dokumentübergreifenden Verknüpfung. Kann Ihnen das Produkt nicht zeigen, welche davon es einsetzt, tut es sie auch nicht.
Viertens. Verankern Sie die Bewertung in Tests mit platzierten Problemen, nicht im Bauchgefühl. Das Memo wirkt gründlich. Es erkennt nur die IP-Lücke nicht. Der einzige Weg, das herauszufinden, ist ein Antwortschlüssel als Gegenprobe.
Was wir für HAQQ bauen würden
Schwarm als Standard, mit dem Einzelprompt als kostensparendem Fallback für kleine oder Triage-Prüfungen. Spezialisierte Agenten für die Fehlerkategorien, die der generische Schwarm nicht abdeckt: ein dokumentübergreifender Verknüpfer, der vor dem Flaggen explizit Entität-zu-Dokument-Zuordnungen auflistet, sowie ein Jurisdiktions-Prüfer, der jede Wettbewerbsklausel, jede Rechtswahlklausel und jede regulatorische Zusicherung mit einer Durchsetzbarkeitsprüfung gegen das jeweils einschlägige Gesetz versieht.
Der Benchmark mit den platzierten Problemen bleibt Open Source. Wir werden weiter Probleme hinzufügen - Fallen in der Rechtekette, Abweichungen zwischen Cap Table und 409A-Bewertung, versteckte Meistbegünstigungsklauseln, Side Letters, die der Hauptvereinbarung widersprechen - und Zahlen veröffentlichen, sobald wir eine Architekturänderung ausliefern. Will ein Anbieter behaupten, sein Produkt sei besser, kann er dasselbe Harness laufen lassen und die Belege veröffentlichen.
