Kurz gesagt: Dies ist unser Testlauf vom Mai 2026. Wir haben Claude Sonnet 4, GPT-4o und Gemini 2.5 Flash die 100 meistbewerteten r/legaladvice-Fragen aller Zeiten vorgelegt. Claude Sonnet 4 bestand 88, GPT-4o 87 und Gemini 2.5 Flash 78. Alle drei schnitten bei den Vorbehalten am schwächsten ab (3,0 bis 3,15 von 5), deutlich unter ihrer rechtlichen Genauigkeit (3,98 bis 4,30).
Datiertes Ergebnis, als Dokumentation erhalten. Dieser Benchmark lief im Mai 2026 mit Modellen, die inzwischen abgelöst wurden. Aktuelle Ergebnisse finden Sie unter welche KI für die juristische Arbeit, aktualisiert im Oktober 2026, im juristischen Benchmark zu Claude Opus 5.5 (23. September 2026, 120 Blindurteile) und unter wie man eine juristische KI testet (30. September 2026, fünf Fangfragen zu den VAE, Saudi-Arabien und dem Libanon, 80 Antworten). Die folgenden Zahlen sind gegenüber dem ursprünglichen Beitrag unverändert.
Die wichtigsten Fakten
HAQQ AI kostenlos testen
Erleben Sie KI-gestützte juristische Recherche und Entwurf
- Bestehensquoten bei den 100 meistbewerteten r/legaladvice-Fragen aller Zeiten: Claude Sonnet 4 88/100, GPT-4o 87/100, Gemini 2.5 Flash 78/100 (HAQQ-Testlauf, Mai 2026).
- Schwächste Dimension bei allen drei: angemessene Vorbehalte, 3,0 bis 3,15 von 5. Die rechtliche Genauigkeit lag zwischen 3,98 und 4,30 (HAQQ-Testlauf, Mai 2026).
- Bei 20 neuen Fragen aus den vorangegangenen 48 Stunden: Claude Sonnet 4 95 %, GPT-4o 90 %, Gemini 2.5 Flash 85 % (HAQQ-Testlauf, Mai 2026).
- Bewerter: Claude Sonnet 4 bewertete jede Antwort, auch die eigenen, ohne Prüfung durch einen Anwalt (HAQQ-Testlauf, Mai 2026).
- Kontext: Das World Justice Project schätzte 2019, dass 5,1 Milliarden Menschen ungedeckten Bedarf an Zugang zum Recht haben (WJP, Measuring the Justice Gap, 2019).
Offenlegung. HAQQ entwickelt juristische KI und hat diesen Test konzipiert, durchgeführt und bewertet. HAQQ selbst gehörte nicht zu den getesteten Modellen.
Wie haben wir den Test aufgebaut?
Wir nahmen die 100 meistbewerteten Beiträge aller Zeiten auf r/legaladvice: echte Fragen zu Streitigkeiten zwischen Vermietern und Mietern, Arbeitsrecht, Sorgerecht, Strafanzeigen, Personenschäden und mehr. Der durchschnittliche Beitrag umfasste über 2.200 Zeichen, sodass die meisten Fragen mit einem unübersichtlichen Sachverhalt einhergingen.
Jede Frage ging über OpenRouter an drei Modelle, jeweils mit demselben System-Prompt: als erfahrener US-Anwalt handeln, die Rechtsordnung bestimmen, die Rechtsfragen erkennen, das anwendbare Recht zitieren, analysieren und dann beraten.
- Claude Sonnet 4 (Anthropic)
- GPT-4o (OpenAI)
- Gemini 2.5 Flash (Google)
Wie wurden die Antworten bewertet?
Claude Sonnet 4 fungierte als Bewerter und vergab für jede Antwort 1 bis 5 Punkte in fünf Dimensionen: rechtliche Genauigkeit (sind die zitierten Gesetze korrekt?), Vollständigkeit der Rechtsfragen (wurde jede Rechtsfrage erkannt?), Qualität der Argumentation (ist die Argumentation schlüssig?), praktischer Nutzen (hilft die Antwort der Person beim richtigen nächsten Schritt?) und angemessene Vorbehalte (wird gesagt, dass es sich nicht um Rechtsberatung handelt, und auf einen Anwalt vor Ort verwiesen?).
Eine Antwort galt als bestanden, wenn ihr Durchschnitt mindestens 3,5 betrug und keine Dimension unter 2 lag. Wenn ein Modell Modelle bewertet, entsteht eine Verzerrung, auf die wir weiter unten zurückkommen.
Welches Modell hat die meisten Fragen bestanden?
Claude Sonnet 4 bestand 88 von 100, GPT-4o 87 und Gemini 2.5 Flash 78. Bei 100 Fragen und einem einzigen Bewerter ist ein Abstand von einem Punkt zwischen Claude und GPT-4o Rauschen: Betrachten Sie beide als gleichauf.
Wie haben die Modelle in den einzelnen Dimensionen abgeschnitten?
Die rechtliche Genauigkeit lag zwischen 3,98 und 4,30 von 5. Gemini erzielte den höchsten Wert bei der Vollständigkeit der Rechtsfragen (4,82), vor Claude (4,58). Claudes stärkste Dimension war der praktische Nutzen mit 4,73 gegenüber 4,21 bei GPT-4o, vor allem weil seine Antworten mehr konkrete nächste Schritte nannten. Die Vorbehalte waren bei jedem Modell der Schwachpunkt.
Was haben wir im Mai 2026 gelernt?
Die Modelle fanden meist das richtige Rechtsgebiet
In den meisten der 100 Fälle bestimmte jedes Modell das Rechtsgebiet, erkannte die wesentlichen Rechtsfragen und gab einen Rat, auf dessen Grundlage eine Person handeln konnte. Das war der ermutigende Teil des Testlaufs.
Die Schwachstelle waren die Vorbehalte
Alle drei Modelle erreichten bei den angemessenen Vorbehalten 3,0 bis 3,15. Sie gingen tief in die Analyse, oft zutreffend, ohne darauf hinzuweisen, dass es sich um allgemeine Informationen handelte oder dass die Person einen Anwalt vor Ort aufsuchen sollte. Eine selbstsichere Antwort ohne Warnhinweis ist auch dann riskant, wenn sie stimmt, weil der Leser nicht erkennen kann, welche Teile von seinem Bundesstaat oder seinem Sachverhalt abhängen. Das ist ein Grund, warum wir bei jedem Modell, das HAQQ einsetzt, Schutzmechanismen, Haftungshinweise und die Weiterleitung an einen Anwalt ergänzen.
Hohe Durchschnittswerte bedeuteten keine hohe Bestehensquote
Gemini 2.5 Flash hatte die höchsten Durchschnittswerte bei rechtlicher Genauigkeit (4,30) und Vollständigkeit der Rechtsfragen (4,82), aber die niedrigste Bestehensquote, 78 %. Einige seiner Antworten brachen ab; andere ließen den Haftungshinweis ganz weg und fielen in dieser Dimension durch. Für die juristische Arbeit ist eine Antwort, die meistens hervorragend und sonst unvollständig ist, schwer verlässlich zu nutzen.
Wie verlässlich ist ein KI-Bewerter?
Claude bewertete alle drei Modelle, auch sich selbst. Das wirft drei Probleme auf, die wir in diesem Testlauf nicht beseitigen konnten: einen möglichen Heimvorteil, eine Vorliebe für Antwortstrukturen, die der Bewerter wiedererkennt, und das Fehlen einer gesicherten Referenz, weil kein Anwalt die Antworten geprüft hat. Die Werte messen also die Übereinstimmung mit der Vorstellung eines einzelnen Modells von einer guten Antwort.
Unsere späteren Testläufe haben dies aufgegriffen. Der Opus-5.5-Benchmark vom September 2026 verwendete zwei Bewerter, die nicht von Anthropic stammen, und der Fangfragen-Test setzte drei verblindete Bewerter ein und veröffentlichte alle 80 Antworten.
Hielten die Ergebnisse bei neuen Fragen stand?
Die Top-100-Beiträge sind alt genug, um in Trainingsdaten aufgetaucht zu sein. Um das zu prüfen, ließen wir dieselbe Pipeline über 20 Fragen laufen, die in den vorangegangenen 48 Stunden auf r/legaladvice gepostet worden waren. Claude Sonnet 4 erreichte 95 %, GPT-4o 90 % und Gemini 2.5 Flash 85 %. Zwanzig Fragen sind eine kleine Stichprobe, daher lesen wir das als "kein Hinweis auf Auswendiglernen" und nicht als Verbesserung.
Was bedeutet das für ein juristisches KI-Produkt?
Schon im Mai 2026 konnten die Modelle über gängige US-Rechtsfragen so gut argumentieren, dass sie meistens nützlich waren. Die verbleibenden 5 bis 15 % sind der Bereich, in dem sich ein Produkt Vertrauen verdient: prüfen, welche Modellantwort beibehalten wird, die von den Modellen ausgelassenen Vorbehalte ergänzen, Antworten in der Rechtsordnung und den Dokumenten der Kanzlei verankern und jedes Zitat bis zu seiner Quelle nachvollziehbar machen. Diese Arbeit leistet Justinian, die juristische KI-Engine von HAQQ, über den Modellen, die sie ausführt.
Methodik
- Datum des Testlaufs: Mai 2026.
- Fragen: die 100 meistbewerteten Beiträge aller Zeiten auf r/legaladvice sowie 20 Beiträge aus den vorangegangenen 48 Stunden, gefiltert auf inhaltlich substanzielle Textbeiträge.
- Modelle: Claude Sonnet 4, GPT-4o und Gemini 2.5 Flash, alle über OpenRouter mit identischen System-Prompts aufgerufen.
- Prompting: Chain of Thought mit einem fünfstufigen Rahmen für juristisches Denken (Rechtsordnung, Rechtsfragen, Recht, Analyse, Rat).
- Bewerter: Claude Sonnet 4, einziger Bewerter, fünf Dimensionen mit 1 bis 5 Punkten bewertet, keine anwaltliche Prüfung.
- Bestehensregel: Mittelwert von mindestens 3,5 und keine Dimension unter 2.
- Daten: Code, Fragen, Antworten und Bewertungen wurden zum Zeitpunkt des Testlaufs in einem Repository gespeichert.



