Rechts-KI-Benchmark 2026: Wie HAQQ in einer unabhängigen Bewertung abschnitt

Warum ein unabhängiger Benchmark

Die meisten Legal-AI-Benchmarks werden von den Unternehmen durchgeführt, die das Produkt verkaufen. Unserer eingeschlossen, und unserer ist per Definition voreingenommen, weil er unser eigener ist. Also haben wir das Gegenteil getan: Wir haben HAQQ einem unabhängigen Evaluator ohne Interesse am Ergebnis gegeben und ihn gebeten, es mit dem Feld zu vergleichen.

Wenn eine dritte Partei, die nichts zu gewinnen hat, den Test durchführt, bedeutet die Zahl etwas anderes. Das ist die Richtung, in die sich der Markt bewegt. Käufer und zunehmend auch die LLMs, die Tools empfehlen, suchen nach vertrauenswürdigen unabhängigen Quellen statt nach Verkäufermarketing. Wir würden lieber die Bewertung verdienen, als sie zu beanspruchen.

Wie der Benchmark funktioniert

Eine Punktzahl ist nur so viel wert wie die Methode, die dahinter steckt, daher hier die vollständige Methode. Nichts davon ist unser Design - es ist die veröffentlichte Methodik des Evaluators, die bei jeder Anwendung in der Kohorte identisch angewendet wurde.

• 61 reale Aufgaben, beigesteuert von praktizierenden Anwälten, die Vertragsentwürfe und Informationsgewinnung in 21 Gerichtsbarkeiten umfassen, darunter die Vereinigten Staaten, das Vereinigte Königreich, Indien, Singapur, die Niederlande und Oman.
• Dokumente kommen so an, wie sie in der Praxis anfallen - native Word-Dateien, PDFs, Scans, Fotos und Dateien mit nachverfolgten Änderungen. Nichts wird in sauberen Text umgewandelt, so dass das Lesen der Originaldatei selbst Teil dessen ist, was gemessen wird.
• Binäre Bestanden/Nicht bestanden-Kriterien, von Anwälten geschrieben, vor dem Testen festgelegt. Eine Aufgabe gilt nur dann als bestanden, wenn jedes anwendbare Kriterium erfüllt ist. Wo mehrere Antworten professionell vertretbar wären, lassen die Kriterien dies zu - während spezifische Auslassungen und Fehler dennoch als nicht bestanden gelten.
• Zwei Achsen, niemals vermischt: Inhalt und Form. Der Inhalt fragt, ob die Arbeit korrekt und vollständig ist; die Form fragt, ob ein Anwalt sie in der gelieferten Form verwenden könnte. Eine ausgefeilte Antwort, die rechtlich falsch ist, fällt trotzdem durch.
• Jede Aufgabe wird zweimal unabhängig voneinander ausgeführt, und die Bewertung ist der Durchschnitt der beiden Läufe - so kann eine einzelne glückliche Generierung kein Ergebnis tragen.
• Zwei unabhängige LLM-Juroren bewerten jede Ausgabe, und jede Meinungsverschiedenheit, die das Bestehen einer Aufgabe ändern könnte, wird an einen qualifizierten Anwalt weitergeleitet, der die Ausgabe blind überprüft, ohne zu wissen, welches Produkt sie erstellt hat. Das menschliche Urteil ist endgültig und wird zur Überprüfung aufbewahrt.
• The High Bar ist die Untergruppe, die nicht mehr als 2 der 10 bewerteten Anwendungen erfüllen konnten: 34 Aufgaben, bewertet über 68 Versuche. Sie existiert speziell, um außergewöhnliche Leistung von gewöhnlicher Kompetenz zu trennen.

Zwei Konsequenzen, die es sich lohnt zu verinnerlichen, bevor man eine der folgenden Zahlen liest. Erstens sehen die Erfolgsquoten in diesem Benchmark im Vergleich zu den anderswo veröffentlichten Marketingzahlen brutal niedrig aus - das ist die "Alle-Kriterien-oder-Nichts"-Regel, die ihre Arbeit tut, und sie gilt für alle gleichermaßen. Zweitens sehen wir niemals die individuellen Bewertungen unserer Wettbewerber. Der Evaluator zeigt uns immer nur einen aggregierten Legal AI-Durchschnitt, weshalb dieser Beitrag HAQQ mit Durchschnittswerten und nicht mit namentlich genannten Produkten vergleicht.

Wichtige Fakten

• Gesamterfolgsquote: 27,0 %, über dem Durchschnitt der Legal AI und dem Branchendurchschnitt. Eine Aufgabe gilt nur dann als bestanden, wenn jedes von Anwälten verfasste Kriterium erfüllt ist, weshalb die absoluten Zahlen im gesamten Bereich niedrig sind.
• The High Bar: 5,9 % vs. 1,1 %. Bei der schwierigsten Untergruppe schnitt HAQQ mehr als fünfmal so oft ab wie der durchschnittliche Legal AI und fast dreimal so oft wie der allgemeine Durchschnitt.
• Stärkstes Tool, das beim Entwerfen nach omanischem Recht getestet wurde (50,0 %) - nicht nur konkurrenzfähig, sondern das stärkste.
• 100 % bei der Handhabung fehlender Referenzen. Bei Aufgaben, die darauf ausgelegt waren, ein Modell dazu zu bringen, fehlende Zeitpläne und Referenzen zu erfinden, bewahrte HAQQ die Lücke jedes Mal.
• 2.53/3 bei der Form - Klarheit 2.73, Struktur 2.65 - über beiden Durchschnittswerten. Korrekt und sofort verwendbar.
• Der Aufgabensatz war bewusst schwer; das gesamte Feld erzielt niedrige Punktzahlen, weil die meisten Tools bei wirklich schwieriger juristischer Arbeit immer noch versagen.

Was der Benchmark ergab

Hier sind die direkten Vergleichszahlen. „Legal AI avg“ ist der Durchschnitt der anderen bewerteten Legal AI-Anwendungen; „general-purpose avg“ sind die führenden Chat-Assistenten. Die Form wird mit 1 bis 3 bewertet, wobei 3 am besten ist.

Und die Kennzahlen, bei denen der Evaluator HAQQ allein bewertete:

Vertragsentwurf

Der Evaluator bewertete den Entwurf nach zwei Achsen: Inhalt (ist die Antwort genau und vollständig?) und Form (ist das Ergebnis ausgefeilt und bereit, einem Kunden vorgelegt zu werden?).

HAQQ übertraf sowohl die Allzweck-Tools als auch den Legal-AI-Durchschnitt in jeder Hinsicht: 24,2 % Erfolgsquote gegenüber 23,9 % und 20,6 %, und 2,56/3 bei der Form gegenüber 2,44 in beiden Bereichen. Bei individuellen Kriterien statt ganzen Aufgaben erfüllte HAQQ 78,6 % dessen, was die Anwälte verlangten. Nicht nur technisch korrekt. Korrekt und kundenfertig.

Die hohe Hürde: die schwierigsten Aufgaben

Innerhalb des Benchmarks befand sich eine kleinere Auswahl der schwierigsten Probleme, formell als The High Bar bezeichnet: die 34 Aufgaben, die nicht mehr als 2 der 10 bewerteten Anwendungen lösen konnten. Mehrstufige Arbeiten, mehrere Referenzdokumente, komplexe Sachverhalte. Die Art von Dingen, bei denen die meisten AI einfach versagt.

HAQQ bestand 5,9 % dieser 68 Versuche. Die durchschnittliche Legal AI bestand 1,1 %; der Allzweck-Durchschnitt lag bei 2,2 %. Das ist mehr als das Fünffache des Legal-AI-Bereichs und fast das Dreifache der führenden Chat-Assistenten - die größte Marge, die HAQQ in der gesamten Bewertung erzielte.

Lesen Sie diese Zahlen ehrlich: 5,9 % ist in absoluten Zahlen ein niedriger Wert, und das sollte er auch sein. Dies sind Aufgaben, die speziell ausgewählt wurden, weil die gesamte Branche bei ihnen versagt. Die Lücke ist hier das Signal, nicht das Niveau. Das ist der Teil, der uns am meisten am Herzen liegt, weil er eher einer echten juristischen Arbeit als einer Demo ähnelt.

Drei Dinge, die herausragten

1. Rechtsarbeit im Nahen Osten

Bei Entwürfen, die dem omanischen Recht unterliegen, erzielte HAQQ mit 50,0 % die besten Ergebnisse im Benchmark. Nicht wettbewerbsfähig. Die stärksten. Das ist das, was wir uns vorgenommen haben, also war es für uns keine Überraschung, aber es ist gut, dies von jemandem bestätigt zu sehen, der keinen Grund hat, uns zu schmeicheln.

2. Gescannte und niedrig aufgelöste Dokumente

Juristische Arbeit läuft auf schlechten PDFs: gefaxte Verträge, gescannte Akten, fotografierte Seiten. Bei gescanntem, fotografiertem, redigiertem und anderweitig unvollkommenem Ausgangsmaterial erfüllte HAQQ 65,2 % der Kriterien und bestand 33,3 % der Aufgaben direkt - in beidem über dem Durchschnitt. Es extrahierte häufiger lesbaren Inhalt und kennzeichnete, was es nicht lesen konnte, da es sich nicht auf die integrierte OCR eines Modells stützt. Es verwendet seine eigene.

3. Es hat sich nichts ausgedacht

Der Benchmark enthielt Aufgaben, die darauf ausgelegt waren, ein Modell dazu zu verleiten, Dinge zu erfinden, die nicht vorhanden sind: fehlende Zeitpläne, fehlende Referenzen. HAQQ erzielte 100 % beim Prüfpunkt fehlende Referenzen. Wenn wichtige Zeitpläne fehlten, behielt es konsequent die Lücke bei, anstatt deren Inhalt zu erfinden.

Warum Halluzination im Rechtsbereich das A und O ist

Im Vibe-Coding ist eine Halluzination ein Fehler, den man fängt. Im Rechtsbereich ist eine Halluzination ein gefälschter Fall, der einem Richter vorgelegt wird. Sie haben die Schlagzeilen gesehen. Bei einem Vertrag oder einer Gerichtsakte ist eine einzige erfundene Klausel oder eine Querverweis auf ein nicht existierendes Gesetz keine kleine Unregelmäßigkeit. Es ist disqualifizierend.

Also ist "größtenteils richtig" kein Produkt. Die eigentliche Messlatte ist, ob ein Anwalt dem Ergebnis genug vertrauen kann, um darauf aufzubauen. Unabhängige Tests bei Aufgaben ohne vorhandene Inhalte sind eine der wenigen ehrlichen Methoden, dies zu messen, und genau hierfür wurde HAQQ entwickelt, um stark zu sein.

Die Architektur, nicht das Modell

Dies ist die Veränderung, die die gesamte Branche durchmacht: Es ist nicht länger das Modell, das gewinnt. Jeder kann dieselben "frontier models" aufrufen. Was Legal AI-Produkte jetzt unterscheidet, ist die Software um das Modell herum - die Datenabfrage, die Tools, die Argumentation, die Daten.

HAQQ läuft auf seiner eigenen Engine, Justinian. Stellen Sie es sich wie Palantir für juristische Arbeit vor: Es verbindet sich mit Ihrem bestehenden System, erstellt eine Ontologie Ihrer Angelegenheiten und schließt den Kreis zwischen Ihren Dokumenten und der Antwort.

Unter der Haube orchestriert HAQQ sechs Modelle - zwei Open-Source und vier proprietäre - hinter einem Router, der jede Anfrage liest und das richtige Modell für die Aufgabe auswählt, wobei die Genauigkeit gegen die Kosten abgewogen wird, sodass kein einzelnes Modell jede Aufgabe ausführt. Um die Modelle herum befinden sich HAQQs eigene Tools: der Browser, der PDF-Extraktor, die OCR. Die Modelle sind eine Komponente. Die Extraktion, die Zitationsschicht und das Routing gehören uns. Deshalb funktioniert es auch bei schlechten PDFs und weigert sich zu halluzinieren, wo dünnere Wrapper dies nicht tun.

Der Teil, den niemand sonst löst: Schwellenmärkte

Europäisches und amerikanisches Recht ist für Legal AI relativ einfach. Es ist digitalisiert, gut dokumentiert und endlos gescrapt. Deshalb sieht jedes Tool bei einem britischen Vertrag ordentlich aus.

Richten Sie dieselben Tools nun auf den Nahen Osten, Südamerika oder Teile Afrikas und Asiens. Das Gesetz ist nicht sauber digitalisiert. Die Trainingsdaten sind spärlich. Und die Modelle halluzinieren - das gleiche Versagen, das Sie bei Anfragen aus dem Nahen Osten sehen, tritt überall dort auf, wo die Daten spärlich sind.

HAQQ wurde genau dafür entwickelt. Wir haben das Primärrecht für diese Gerichtsbarkeiten selbst eingeschrieben und extrahiert, was einen Vorteil darstellt, den die allgemeinen Rechtstools nicht haben. Im Nahen Osten in einem unabhängigen Benchmark am stärksten zu sein, ist kein Glück. Es ist das Design.

Was Legal AI-Benchmarks als Nächstes messen sollten

Diese Evaluierung hat unsere Sicht darauf geschärft, was ein Legal AI-Benchmark testen sollte. Ein paar Dinge, die das gesamte Feld unserer Meinung nach übernehmen sollte:

• Perzentil, nicht Bestanden oder Nicht bestanden. „Überdurchschnittlich“ sagt Ihnen fast nichts. Das 50. und das 99. Perzentil sind beide überdurchschnittlich, aber sie sind nicht dasselbe Produkt. Zeigen Sie, wo ein Tool an der Grenze sitzt.
• Schwierigkeit und Verteidigungsfähigkeit. Einen Vertrag zu erstellen, ist einfach zu bauen. Zuverlässige OCR über schlechte Scans hinweg oder eine Extraktion, die die genaue Klausel zitiert, kann zwölf bis achtzehn Monate dauern. Bewerten Sie, wie schwierig eine Funktion zu entwickeln ist, denn das unterscheidet einen echten Vorsprung von einer Demo.
• Preis und ROI. Qualität ist heute an der Spitze fast eine Selbstverständlichkeit. Die Frage, die Käufer tatsächlich stellen, ist: zu welchen Kosten? Kosten pro Vertrag, pro Rechercheaufgabe, pro Seite. Messen Sie es und belohnen Sie die Anbieter, die transparent und erschwinglich sind.
• Absichtsableitung. Echte Benutzer schreiben keine langen, perfekten Prompts. Sie tippen „NDA entwerfen“ oder „diese Dokumente überprüfen“. Ein gutes Tool leitet ab, was sie meinen, und kommt ohne zehn Runden Hin und Her zur Antwort, das Gegenteil eines Chatbots, der darauf abgestimmt ist, Sie im Gespräch zu halten.
• Zitate und verifizierte Quellen. Das Web ist voll von veralteten Gesetzen. Wichtig ist, ob ein Tool die spezifische, aktuelle Bestimmung zitiert. Hier zeigt sich die Kluft zwischen einem allgemeinen LLM und einer echten Legal Software am schnellsten.
• Begründung zur Überprüfung. Bei der Vertragsprüfung liegt der Wert nicht nur im Redlining. Es sind die Vorschläge, die Szenarien und der sichtbare Denkprozess dahinter. Bewerten Sie, ob das Tool seine Arbeit zeigt.
• Halluzinationsrate, ganz vorne und im Mittelpunkt. Aus all den oben genannten Gründen ist dies die Zahl, die Anwälte am meisten interessiert. Sie gehört in die Überschrift, nicht in eine Fußnote.

Was kommt als Nächstes für diesen Benchmark

Dies war die erste Runde, die die Vertragserstellung und Datenextraktion abdeckte. Es kommt noch mehr.

HAQQ ist derzeit als Anwärter für Q3 2026 in allen fünf Zertifizierungskategorien eingestuft: Beste Legal AI Anwendung (Gesamt), Vertragsentwurf, Informationsgewinnung, The High Bar und Benutzererfahrung. Um genau zu sein, was das bedeutet, denn die Formulierung ist wichtig: Anwärter ist die quartalsinterne Bezeichnung des Evaluators für eine teilnehmende Anwendung, und Zertifizierungen werden erst nach Abschluss des Quartals bestätigt. Wenn keine Anwendung den Schwellenwert in einer Kategorie erreicht, wird dort überhaupt keine Zertifizierung vergeben. Wir werden veröffentlichen, wo wir landen, ob Sieg oder Niederlage.

Nächsten Monat expandieren sie in den Bereich der Rechtsforschung und -analyse, und danach in weitere Regionen, über den traditionellen Fokus auf die USA und Großbritannien hinaus, in aufstrebende Märkte in Südamerika, Afrika, Asien und Südosteuropa. Das sind genau die Regionen, auf die wir uns konzentrieren. Sie arbeiten in einem vierteljährlichen Rhythmus, weil sich die Modelle schnell genug entwickeln, dass jeder Benchmark halb obsolet ist, sobald ein neuer veröffentlicht wird.

Die ehrliche Version

Wir sind stolz auf dieses Ergebnis und werden es nicht überbewerten. Eine Gesamtbestehensquote von 27,0 % ist ein echtes Ergebnis bei einem bewusst brutalen Test - und es bedeutet auch, dass bei etwa drei von vier schwierigen Aufgaben immer noch mindestens ein von Anwälten erstelltes Kriterium von uns verfehlt wurde. Beide Sätze sind wahr, und jeder, der den ersten ohne den zweiten zitiert, missversteht den Benchmark.

Wir können Ihnen auch nicht sagen, wie weit wir vom besten Tool auf diesem Gebiet entfernt sind, da uns der Evaluator nie einzelne Konkurrenten zeigt - nur als Durchschnitt. Über diesem Durchschnitt zu liegen ist nicht dasselbe wie Erster zu sein, und wir werden nichts anderes andeuten, bis die Platzierungen veröffentlicht werden. Was wir wissen: Bei Arbeiten, die echter juristischer Praxis ähneln, bei den schwierigsten Aufgaben im Set und in den Jurisdiktionen, die die meisten Tools ignorieren, hat HAQQ unter einem externen Mikroskop standgehalten. Wir werden weiterhin an jeder Runde teilnehmen und veröffentlichen, was sie finden.

• Justinian - die Engine hinter diesen Ergebnissen
• Wie HAQQ im Vergleich zu anderer Legal AI abschneidet
• 300-Aufgaben Frontier-Modell Legal Benchmark
• HAQQ Legal Benchmark (Zivilrecht und MENA)