Die Menschheit hat sich entschieden: Wenn eine Maschine etwas selbstbewusst genug formuliert, muss es stimmen. Anwälte haben diesen Luxus leider nicht. Gerichte kümmert es nicht, wie eloquent ein Argument klingt. Sie kümmert, ob das Verfahren korrekt ist und das Recht tatsächlich anwendbar ist.
Also haben wir ein einfaches Experiment durchgeführt.
Der Prompt
"Erstellen Sie eine Prozessstrategie nach New Yorker Recht für eine unbezahlte Rechnung über 250.000 $."
Wir haben mehreren führenden Sprachmodellen denselben Prompt gegeben. Die getesteten Modelle: HAQQ, GPT-5.2, Claude Opus 4.6, Gemini 3.1 Pro, Perplexity Sonar, Mistral Large 3 und Grok 4.1.
Ziel war nicht, herauszufinden, wer den schönsten Absatz schreibt. Ziel war, herauszufinden, welches System etwas hervorbringt, das tatsächlich einer echten Prozessstrategie ähnelt.
Denn in der juristischen Arbeit sind "richtig klingen" und "richtig sein" zwei sehr unterschiedliche Dinge.
Warum dieser Anwendungsfall wichtig ist
Unbezahlte Rechnungen gehören zu den häufigsten Handelsstreitigkeiten. Eine unbezahlte Rechnung über 250.000 $ liegt in der unbequemen Mittellage: hoch genug, um einen Prozess zu rechtfertigen, aber niedrig genug, dass Effizienz zählt.
Eine kompetente Strategie nach New Yorker Recht umfasst typischerweise:
- Bewertung des Vertrags und der Beweismittel
- Bestimmung der Klagegründe (Vertragsbruch, "account stated")
- Identifizierung verfahrensrechtlicher Abkürzungen wie CPLR §3213
- Wahl des richtigen Gerichtsstands
- Planung von Discovery und Summary Judgment
- Entwicklung einer Vollstreckungsstrategie nach dem Urteil
Genau der letzte Punkt wird am häufigsten vergessen. Der Sieg vor Gericht ist nicht das Ziel. Bezahlt zu werden ist es.
Worauf wir geachtet haben
Statt die Schreibqualität zu bewerten, haben wir die Ergebnisse anhand praktischer juristischer Kriterien beurteilt:
- Juristische Genauigkeit — Hat das Modell den relevanten Rechtsrahmen korrekt erkannt?
- Verfahrensverständnis — Spiegelte es wider, wie Prozesse an New Yorker Gerichten tatsächlich ablaufen?
- Strategisches Denken — Priorisierte es den schnellsten Weg zur Zahlung?
- Zitate / Rechtsquellen — Bezog es sich auf die CPLR und New York-spezifisches Verfahrensrecht?
- Struktur — War die Ausgabe für den praktischen Einsatz strukturiert?
- Mandantenreife — Ließe sich das ohne Überarbeitung an einen Mandanten liefern?
Diese Faktoren entscheiden, ob eine Antwort für einen Anwalt nützlich ist oder nur eine beeindruckend wirkende Zusammenfassung.
Was die Modelle geliefert haben
Die meisten Systeme lieferten etwas, das wie eine Prozessstrategie aussah. Doch bei genauerem Lesen zeigen sich wichtige Unterschiede. Manche Ausgaben lasen sich wie eine allgemeine Erklärung, wie Klagen funktionieren. Andere ähnelten einem internen Prozessmemo.
Hier der Vergleich im Überblick:
LLM-Benchmark — Prozessstrategie (New Yorker Recht)
| Modell | Juristische Genauigkeit | Verfahrenstiefe | Strategisches Denken | Zitate / Rechtsquellen | Struktur | Mandantenreife | Kernstärke | Kernschwäche |
|---|---|---|---|---|---|---|---|---|
| HAQQ | 9.5 | 9.5 | 9 | 9 | 9.5 | 9.5 | Vollständiges Prozessmemo mit Vollstreckung, Discovery, Pfändung, CPLR-Verweisen | Etwas weitschweifig; einige Wiederholungen |
| Claude Opus 4.6 | 9 | 8.5 | 9 | 9 | 9 | 8.5 | Starke juristische Argumentation + Fallzitate | Leicht theoretisch; weniger Verfahrensdetails |
| GPT-5.2 | 8.5 | 8.5 | 9 | 7 | 8.5 | 8.5 | Praktisches Prozess-Playbook mit Entscheidungsbaum | Weniger Gesetzesverweise |
| Gemini 3.1 Pro | 8 | 8 | 8 | 7.5 | 8 | 8 | Identifiziert die CPLR-3213-Fast-Track-Strategie klar | Kürzere Analyse; weniger Vollstreckungstaktiken |
| Grok 4.1 | 7.5 | 7 | 7 | 7 | 7.5 | 7 | Klarer Überblick auf hohem Niveau | Fehlende Tiefe bei den Verfahrensmechanismen |
| Mistral Large 3 | 7 | 7 | 6.5 | 6 | 7 | 6.5 | Leicht lesbarer Schritt-für-Schritt-Prozess | Oberflächliche juristische Analyse |
| Perplexity Sonar | 6 | 6 | 6 | 6 | 6.5 | 6 | Enthält Quellen | Mehrere juristische Ungenauigkeiten |
Die eigentlichen Unterschiede
Der größte Unterschied lag nicht im Stil. Er lag im Verfahrensbewusstsein.
Starke Antworten enthielten Elemente wie:
- CPLR §3213 Summary Judgment anstelle einer Klageschrift
- Ansprüche wegen Vertragsbruchs und "account stated"
- Vorgerichtliche Mahnstrategie
- Analyse von Zuständigkeit und Gerichtsstand
- Discovery-Planung
- Vollstreckungsmechanismen nach dem Urteil
Viele schwächere Antworten hörten bei "Klage einreichen und Schadensersatz geltend machen" auf. Das klingt gut, ignoriert aber die Hälfte der eigentlichen Arbeit.
Der Schritt, den die meiste KI übersieht
Ein Muster war besonders deutlich. Die meisten Modelle konzentrieren sich stark auf die Klageerhebung. Nur wenige denken gründlich über die Vollstreckung des Urteils nach.
In der Praxis umfassen Vollstreckungsstrategien jedoch häufig:
- Restraining Notices
- Kontopfändungen
- Turnover Orders
- Grundpfandrechte
- Discovery nach dem Urteil
Ein Anwalt, der von Anfang an prozessual mitdenkt, stellt sich bereits die Frage: "Wenn wir gewinnen, wie treiben wir das Geld tatsächlich ein?" Systeme, die primär auf allgemeinen Internettexten trainiert wurden, übersehen diese Realität häufig.
HAQQ AI kostenlos testen
Erleben Sie KI-gestützte juristische Recherche und Entwurf
Das Risikoproblem
Generische KI-Modelle sind darauf optimiert, überzeugende Sprache zu erzeugen. Für viele Aufgaben funktioniert das gut. In der juristischen Arbeit ist der Fehlermodus jedoch gefährlich. Nicht weil die Antwort schlecht geschrieben ist. Sondern weil sie selbstbewusst falsch ist.
Kleine Verfahrensfehler können führen zu:
- Abgewiesenen Klagen
- Versäumten Fristen
- Nicht vollstreckbaren Urteilen
- Haftungsrisiken wegen anwaltlicher Pflichtverletzung
Deshalb legen Rechtsexperten weniger Wert auf Kreativität als auf Kalibrierung.
Was dieses Experiment zeigt
Aus diesem einfachen Benchmark ergaben sich zwei Erkenntnisse.
Erstens: Moderne Sprachmodelle sind bereits in der Lage, nützliche juristische Analysen zu liefern, wenn das Problem klar definiert ist.
Zweitens: Es gibt einen bedeutsamen Unterschied zwischen allgemeinen KI-Systemen und Systemen, die speziell für juristische Workflows entwickelt wurden.
Juristisches Denken erfordert strukturiertes Nachdenken über Zuständigkeit, Verfahren, Beweise und Vollstreckung. Diese Elemente tauchen in allgemeinen KI-Antworten selten von selbst auf. Sie müssen gezielt modelliert werden.
Die weitreichendere Implikation
KI wird für Anwälte bereits zum Standardwerkzeug. Doch die Frage ist nicht, ob KI etwas schreiben kann, das wie eine Rechtsberatung klingt. Die Frage ist, ob sie Arbeit liefern kann, die den Standards der Profession genügt.
Ein juristisches Memo wird nicht nach seinem Ton beurteilt. Es wird danach beurteilt, ob die Strategie standhält, wenn sie von der Gegenseite und vom Gericht infrage gestellt wird. Und das ist eine deutlich höhere Messlatte als überzeugenden Text zu erzeugen.
Abschließender Gedanke
Benchmarks messen oft, wer den beeindruckendsten Absatz schreibt. Juristische Benchmarks sollten etwas anderes messen: welches System auch unter Risiko präzise, verfahrenstreu und diszipliniert bleibt. Denn in der juristischen Arbeit liegt die Gefahr nicht darin, langweilig zu sein. Sie liegt darin, selbstbewusst falsch zu sein.
