Wir stellen die HAQQ Legal Agent Study vor — eine Long-Horizon-Evaluierung, die misst, ob KI-Agenten echte juristische Arbeit end-to-end erledigen können, statt nur Quizfragen zu beantworten. 1.372 Aufgaben. 24 Praxisbereiche. ~78.000 von Experten erstellte Bewertungskriterien. Zivilrecht- und MENA-Abdeckung von Grund auf.
Kernpunkte
- 1.372 Long-Horizon-Rechtsaufgaben in 24 Praxisbereichen
- ~78.000 atomare, binäre Bestehen/Nicht-bestehen-Bewertungskriterien
- All-Pass-Bewertung — ein verpasstes Kriterium lässt die Aufgabe durchfallen
- 6 zivilrechtliche und MENA-Praxisfamilien bereits in v1 enthalten
- Bestes Frontier-Modell (Claude Opus 4.7) erreicht 41% All-Pass; HAQQ Justinian erreicht 58%
- Bei zivilrechtlichen/MENA-Aufgaben weitet sich die Lücke auf 71% gegenüber 28%
Der Wendepunkt für Legal Agents
Andrej Karpathys Beobachtung zu Coding-Agenten — dass sie „vor Dezember im Grunde nicht funktionierten und seitdem im Grunde funktionieren“ — beginnt sich im Rechtsbereich zu bestätigen. Long-Horizon-Rechtsbearbeitung stagnierte zwei Jahre lang. Dann kamen Ende 2025 Frontier-Reasoning-Modelle, längere Kontexte, besserer Tool-Einsatz und geeignete Evaluierungsinfrastruktur zusammen. Die Fähigkeit machte einen Sprung.
Wichtige Fakten
- Die HAQQ Legal Agent Study: 1.372 Long-Horizon-Rechtsaufgaben, 24 Praxisbereiche, ~78.000 atomare Bestehen/Nicht-bestehen-Bewertungskriterien.
- Bestes Frontier-Modell (Claude Opus 4.7) erreicht 41% All-Pass; HAQQ Justinian erreicht 58%.
- Bei zivilrechtlichen/MENA-Aufgaben weitet sich die Lücke auf 71% (Justinian) gegenüber 28% (bestes Frontier-Modell).
Legal Tech erreichte diese Kurve später als Coding aus einem einzigen Grund: Es gab keinen Benchmark, um sie zu messen. Man kann keinen Wendepunkt verfolgen, den man nicht sieht. Die Study ist das Instrument, das wir gebaut haben.
Warum Short-Horizon-Benchmarks versagten
Die meisten Legal-AI-Evaluierungen — LegalBench, CUAD, LEXam, sogar unsere eigene frühere Arbeit — testen Short-Horizon-Reasoning: eine Klausel lesen, eine Frage beantworten, einen Absatz klassifizieren. Sie sind nützlich, sagen aber fast nichts darüber aus, ob ein Agent tatsächlich ein Arbeitspaket durchführen kann.
Echte juristische Arbeit sieht überhaupt nicht wie Multiple-Choice aus. Ein Partner leitet eine E-Mail weiter, hängt einen Ordner an und schreibt eine Zeile: „Schauen Sie sich das an und liefern Sie bis Donnerstag ein Memo.“ Was zwischen dieser E-Mail und dem Memo passiert, ist der gesamte Job — das Mandat lesen, die relevanten Punkte finden, die irrelevanten ignorieren, ein prüffähiges Arbeitsprodukt entwerfen und jede Tatsache korrekt wiedergeben.
Genau das misst die Study.
Wie eine Study-Aufgabe aufgebaut ist
Jede Aufgabe in der Study spiegelt wider, wie Arbeit innerhalb einer Kanzlei abläuft. Der Agent erhält eine Anweisung, geschrieben wie ein Partner sie schreiben würde — kurz, bejahend, ohne Formatvorgabe. Er erhält eine Umgebung — ein Mandantenmandat mit den Dokumenten und E-Mail-Threads, die er braucht (und vielen, die er nicht braucht). Er muss ein prüffähiges Arbeitsprodukt liefern. Und er wird anhand eines Experten-Bewertungsrasters benotet.
- Anweisungen: im Schnitt ~50 Wörter. Bejahende Bitte, keine Checkliste.
- Umgebung: Mandatsordner, der wesentliche Dokumente mit peripherem Rauschen mischt. Der Agent muss herausfinden, was zählt.
- Ergebnis: ein Memo, ein Redline, eine Tabelle, ein Schriftsatzentwurf oder eine Einreichung — was die Aufgabe tatsächlich erfordert.
- Verifizierung: von Experten verfasste, atomare, binäre Bestehen/Nicht-bestehen-Kriterien. Jede Tatsache, jedes Zitat, jede Schweregradbewertung, jede Frist und jeder Dollarbetrag wird geprüft.
Jede Zeile ist eine 1:1-Abbildung dessen, wie ein reales Mandat durch eine Kanzlei läuft: Die Partneranfrage wird zur Anweisung, das Mandantenmandat wird zur Umgebung, das Arbeitsprodukt wird zum Ergebnis, die Partnerprüfung wird zum Experten-Bewertungsraster. Nichts wird abstrahiert, um die Aufgabe für das Modell einfacher zu machen.
All-Pass-Bewertung
Eine Aufgabe gilt nur dann als abgeschlossen, wenn jedes Kriterium des Bewertungsrasters besteht. Wir nennen das All-Pass-Bewertung, und es ist die wichtigste Designentscheidung der gesamten Study.
Ein Deal-Team-Bericht, der 8 von 10 Risiken erfasst, ist nicht zu 80% nützlich. Die beiden übersehenen könnten der Change-of-Control-Auslöser sein, der den Deal platzen lässt, oder der Going-Concern-Vermerk, der das Angebot neu bepreist. Bei der Partnerprüfung gibt es keine Teilpunkte.
Anatomie eines Bewertungsrasters
Die Bewertungsraster sind der Teil der Study, der die meisten Anwaltsstunden zum Aufbau erforderte. Für jede Aufgabe setzten wir uns mit Praktikern aus dem jeweiligen Bereich zusammen und arbeiteten heraus, was ein Partner oder Mandant im Ergebnis tatsächlich genau prüfen würde. Jede Prüfung ist atomar und binär — keine weichen Bewertungen, kein LLM-as-Judge-Herumlavieren beim Stil.
Atomare Kriterien leisten drei Dinge gleichzeitig: Sie machen die Bewertung über mehrere Durchläufe hinweg reproduzierbar, sie machen Agentenfehler debugbar (man sieht genau, welche Prüfung fehlschlug und warum), und sie dienen zugleich als Belohnungssignale für Fine-Tuning. Dasselbe Bewertungsraster, das ein Modell bewertet, kann dessen nächste Version trainieren.
24 Praxisbereiche — einschließlich Zivilrecht und MENA
Bestehende Legal-Benchmarks werden von US-Common-Law-Aufgaben dominiert. Das ist für das, was sie sind, in Ordnung — aber es ist nicht die Welt, in der die meisten unserer Kunden praktizieren. Die Study (v1) deckt 24 Praxisbereiche ab, von denen sechs explizit zivilrechtlich und MENA-bezogen sind: arabisches zivilrechtliches Drafting, Scharia-Konformität, GCC-Gesellschaftsrecht, Baurechtsstreitigkeiten, Familien-/Personenstandsrecht und MENA-Arbeitsrecht.
Wir gingen von realen Mandaten aus — anonymisiert, bereinigt —, die von praktizierenden Anwälten in unserem Kundenstamm bearbeitet wurden. Wir zerlegten jedes Mandat in die einzelnen Aufgaben, die tatsächlich an einen Associate delegiert würden. Die 24 Bereiche sind nicht abschließend. Künftige Releases werden Bauschiedsverfahren, Fintech-Regulierung, ESG und Inhouse-Workflows hinzufügen.
Beispiel: Change-of-Control-Prüfung
Eine M&A-Aufgabe im Gesellschaftsrecht fordert den Agenten auf, Change-of-Control-Klauseln in einem virtuellen Datenraum für die (fiktive) Übernahme von Crestview Software Solutions in einer reinen Eigenkapitaltransaktion über 458 Mio. USD zu analysieren. Der Datenraum enthält acht wesentliche Verträge sowie angrenzende Unterlagen — 10-K-Bericht, Pensionsplan, Vorstandsprotokolle —, die relevant sein können oder auch nicht.
Nachfolgend die vollständige Eingabeansicht, wie der Agent sie sieht — Anfrage, Deal-Kontext, Kernverträge, weiteres Datenraummaterial und das geforderte Ergebnis. Jeder Eintrag dient zugleich als Hinweis und als Ablenkung: Der Agent muss die Fakten des Memos nutzen, aber auch die Kernaufgabe von peripheren Dateien wie Entwürfen von Gebotsschreiben und Team-Biografien trennen, die die Analyse nicht verändern.
Der Agent muss bestimmen, welche Dateien relevant sind, sie im Kontext lesen und die maßgeblichen Klauseln über das gesamte Mandat hinweg zusammenführen. Das geforderte Ergebnis ist ein Deal-Team-Memo mit Executive Summary, Risikokartierung, vertragsweiser Analyse, Schweregradbewertungen und empfohlenen Abhilfemaßnahmen.
Das Bewertungsraster für diese eine Aufgabe enthält 57 Kriterien — sie decken neun eingebaute Rechtsfragen ab, die zugrunde liegenden Fakten zu jeder, die Schweregradbewertung, das finanzielle Risiko und die empfohlene Maßnahme. Wird eine der neun übersehen, fällt die Aufgabe durch.
HAQQ AI kostenlos testen
Erleben Sie KI-gestützte juristische Recherche und Entwurf
Was eingebaut wird — und wie es bewertet wird
Die neun in diese eine Aufgabe eingebauten Punkte sind keine oberflächlichen Stichwortfallen. Sie verlangen vom Agenten, Fakten über Dokumente hinweg zu verknüpfen, Auslöser aus Definitionen abzuleiten, das finanzielle Risiko in Dollar zu beziffern und die richtige nächste rechtliche Maßnahme zu empfehlen. Fahren Sie mit der Maus über einen Punkt, um zu sehen, was der Agent herausfinden muss und welchen Unit-Test das Bewertungsraster gegen das Ergebnis ausführt.
v1-Basisergebnisse
Wir ließen die Study (v1) gegen sechs führende Systeme antreten: HAQQ Justinian, Claude Opus 4.7, GPT-5.2, Gemini 3.1 Pro, Grok 4.1 und Mistral Large 3. Jede Aufgabe wurde dreimal versucht; wir berichten die Best-of-Three-All-Pass-Quote. Die Kernzahlen teilen sich sauber nach Kategorie auf.
Zwei Muster zogen sich durch den gesamten Datensatz.
- Generische Frontier-Modelle schneiden bei isoliertem Reasoning gut ab und bei Long-Horizon-Arbeit schlecht. Sie verlieren den Kontext, halluzinieren dokumentübergreifende Verknüpfungen und liefern selbstbewusst klingende Ergebnisse, die bei Fakten- und Zitatprüfungen im Bewertungsraster durchfallen.
- Domänenspezifisch trainierte Agenten (Justinian und vergleichbare Spezialsysteme) schließen die Lücke bei der Long-Horizon-Fertigstellung — besonders beim zivilrechtlichen Drafting, wo generische Modelle standardmäßig auf Common-Law-Strukturen zurückgreifen und an verfahrensrechtlichen Details scheitern.
Fähigkeitsmatrix — was jedes Modell tatsächlich fertigstellen kann
Aggregierte Punktzahlen verdecken die operative Frage, die sich jeder Kanzleipartner stellt: Welche Art von Arbeit kann ich end-to-end delegieren, welche benötigt einen Anwalt im Loop, und welche sollte ich gar nicht anfassen? Die untenstehende Matrix beantwortet das über 24 Aufgabenfamilien hinweg.
Warum das für Kanzleien wichtig ist
Wenn Sie einen KI-Anbieter evaluieren und dieser Ihnen eine selbstbewusste Demo an einem einzelnen Dokument zeigt, fragen Sie nach der Long-Horizon-Fertigstellungsquote bei einem realen Mandat. Fragen Sie nach der All-Pass-Quote bei einem Bewertungsraster mit 50 Kriterien für dieses Mandat. Fragen Sie, welche Praxisbereiche end-to-end abgedeckt werden und bei welchen nur unterstützt wird.
Genau diese Fragen soll die Study beantworten — öffentlich, reproduzierbar und mit Bewertungsrastern, die jeder Partner prüfen kann.
Was offen ist und was als Nächstes kommt
- Die Aufgabenfamilien und das Bewertungsrasterformat von v1 sind dokumentiert und werden Kunden und Forschungspartnern unter einer Evaluierungslizenz zur Verfügung gestellt.
- Wir werden eine normalisierte Bewertungsmethodik und eine Basis-Rangliste veröffentlichen, sobald Ergebnisse aller wichtigen Frontier-Modelle vorliegen.
- v2 wird MENA-Schiedsverfahren, Baurechtsstreitigkeiten, Inhouse-Counsel-Workflows und breiteres arabisches und französisches zivilrechtliches Drafting hinzufügen.
- Wir entwickeln Erweiterungen gemeinsam mit ausgewählten Kanzleien — wenn Sie Aufgabenfamilien aus Ihrer Praxis beisteuern möchten, kontaktieren Sie uns.
Bestehende Vorarbeiten leisten interessantere Arbeit als je zuvor — LegalBench, BigLaw Bench und Harveys kürzlich veröffentlichter Legal-Agent-Benchmark bringen das Feld allesamt voran. HAQQs Beitrag ist die mehrsprachige, zivilrechtliche, MENA-first-Achse, die bislang gefehlt hat.
Selbst ausprobieren
Wenn Sie sehen möchten, wie Justinian bei Long-Horizon-Aufgaben aus Ihrer Praxis abschneidet, sprechen Sie mit unserem Team. Wir führen ein vertrauliches, anhand von Bewertungsrastern benotetes Pilotprojekt an einem geschwärzten Mandat Ihrer Kanzlei durch.
Danksagungen
Die Study ist das Werk vieler Menschen innerhalb von HAQQ und in unserem gesamten Praktiker-Netzwerk. Die technische Leitung für das Testgerüst, die Agenten-Sandbox und die Bewertungsraster-Laufzeitumgebung lag beim HAQQ-Justinian-Engineering-Team, während Aufgabendesign und Mandatserstellung von unserer Applied-Legal-Research-Gruppe geleitet wurden. Unsere Security- und AI-Platform-Teams bauten die isolierte Ausführungsumgebung, die es uns erlaubt, Agenten gegen synthetische Mandate laufen zu lassen, ohne Mandantendaten preiszugeben. Unsere Brand- und Product-Teams gestalteten, wie die Ergebnisse gegenüber nicht-technischen juristischen Einkäufern kommuniziert werden.
Außerhalb von HAQQ danken wir den praktizierenden Anwälten — in MENA, der EU und Großbritannien —, die anonymisierte Mandate beigesteuert, Bewertungsraster in ihren Praxisbereichen entworfen und frühe Aufgabenfamilien einem Stresstest unterzogen haben. Wir danken auch den akademischen Forschern, die unsere Methodik überprüft haben, sowie den Teams hinter den Vorarbeiten LegalBench, BigLaw Bench, CUAD, LEXam und Harveys Legal-Agent-Benchmark, deren veröffentlichte Arbeit es ermöglichte, diesen Benchmark schneller und besser zu gestalten.
