Fünf Milliarden Menschen haben keinen Zugang zu Rechtsberatung. Bevor wir jemanden bitten sollten, KI bei Rechtsfragen zu vertrauen, mussten wir beweisen, dass sie tatsächlich funktioniert. Also haben wir den Test durchgeführt — 100 echte Rechtsfragen, drei Spitzenmodelle, ein strukturiertes Bewertungsframework.
Der Testaufbau
Wir haben die 100 meistgelesenen Beiträge aller Zeiten aus r/legaladvice gesammelt — echte Fragen echter Menschen zu Mieter-Vermieter-Streitigkeiten, Arbeitsrecht, Sorgerechtsstreitigkeiten, Strafverteidigung, Personenschäden und allem dazwischen. Durchschnittliche Beitragslänge: über 2.200 Zeichen echter rechtlicher Komplexität.
Wichtigste Erkenntnisse
- Claude Sonnet 4 bestand 88 von 100 echten Rechtsfragen, GPT-4o 87 von 100, Gemini 2.5 Flash 78 von 100 — bei identischem Chain-of-Thought-Prompting.
- Die schwächste Dimension bei allen drei Modellen war „Angemessene Vorbehalte" (3,0–3,15/5) — nicht die rechtliche Genauigkeit (3,98–4,30/5).
- Bei 20 neuen r/legaladvice-Fragen aus den vorangegangenen 48 Stunden: Claude 95 %, GPT-4o 90 %, Gemini 85 %.
Jede Frage wurde durch drei Spitzenmodelle mit identischem Chain-of-Thought-Prompting geführt:
- Claude Sonnet 4 (Anthropic)
- GPT-4o (OpenAI)
- Gemini 2.5 Flash (Google)
Jedes Modell erhielt denselben System-Prompt: als erfahrener US-Rechtsanwalt zu agieren und einem strukturierten Denkprozess zu folgen — Zuständigkeit bestimmen, Probleme erkennen, anwendbares Recht zitieren, analysieren und dann beraten.
Derselbe Prompt. Dieselben Fragen. Drei verschiedene Engines. Die Antworten sollen für sich sprechen.
Die Bewertung
Wir setzten Claude als strukturierten Bewerter ein, der jede Antwort anhand von fünf Dimensionen bewertete: Rechtliche Genauigkeit (sind die zitierten Gesetze korrekt?), Themenvollständigkeit (wurden alle rechtlichen Fragen erfasst?), Qualität der Argumentation (ist die Gedankenkette logisch?), Praktischer Nutzen (würde dieser Rat jemandem helfen, die richtigen nächsten Schritte zu unternehmen?) und Angemessene Vorbehalte (wird ordnungsgemäß auf den fehlenden Rechtsberatungscharakter hingewiesen und ein echter Rechtsanwalt empfohlen?).
Bestehenskriterium: Durchschnittswert ≥ 3,5/5 UND keine einzelne Dimension unter 2/5. Ja, der Einsatz von KI zur Bewertung von KI bringt eine Verzerrung mit sich. Darauf gehen wir weiter unten ein.
Die Ergebnisse
Claude Sonnet 4 bestand 88 von 100 Fragen (88 %), GPT-4o bestand 87 (87 %) und Gemini 2.5 Flash bestand 78 (78 %). Alle drei zeigten eine strukturell fundierte rechtliche Argumentation über vielfältige Szenarien aus der Praxis hinweg.
Aufschlüsselung nach Dimensionen
Die Werte für rechtliche Genauigkeit lagen zwischen 3,98 und 4,30 von 5. Die Themenvollständigkeit war bei Gemini (4,82) und Claude (4,58) am höchsten. Der praktische Nutzen war mit 4,73 Claudes stärkste Dimension. Doch die schwächste Dimension bei allen Modellen — Angemessene Vorbehalte — erzählt die wichtigste Geschichte.
Was wir gelernt haben
1. Die rohe Leistungsfähigkeit ist da
Jedes Modell erkannte in der überwiegenden Mehrheit der Fälle das richtige Rechtsgebiet, identifizierte die zentralen Probleme und lieferte umsetzbare Ratschläge. Die Werte für rechtliche Genauigkeit lagen zwischen 3,98 und 4,30 von 5 — über 100 vielfältige Fragen aus der Praxis hinweg. Das ist keine Spielzeug-Demo. Das ist produktionsreife rechtliche Argumentation.
2. Die Achillesferse sind die Vorbehalte, nicht die Genauigkeit
Die schwächste Dimension bei allen drei Modellen war „Angemessene Vorbehalte" (3,0–3,15). Die Modelle stürzten sich in eine detaillierte rechtliche Analyse — oft zutreffend —, ohne ordnungsgemäß darauf hinzuweisen, dass es sich nicht um Rechtsberatung handelt, oder ohne zu empfehlen, dass die Person einen örtlichen Rechtsanwalt konsultiert.
Genau deshalb reichen rohe KI-Modelle allein nicht aus. Technisch korrekter Rat, der mit unangemessener Selbstsicherheit vermittelt wird, ist gefährlich. Man braucht eine zusätzliche Schicht — Guardrails, Haftungsausschlüsse, Eskalationswege —, die ein Sprachmodell in ein verantwortungsvolles Rechtstool verwandelt. Genau das bauen wir bei HAQQ.
3. Konsistenz schlägt Spitzenleistung
Gemini 2.5 Flash erzielte die höchsten Durchschnittswerte bei rechtlicher Genauigkeit (4,30) und Themenvollständigkeit (4,82), hatte aber dennoch die niedrigste Bestehensquote (78 %). Manche Antworten wurden abgeschnitten. Andere ließen Haftungsausschlüsse komplett aus.
Bei juristischer Arbeit kann man sich kein Modell leisten, das in 78 % der Fälle brillant und im Rest unzuverlässig ist. Konsistenz ist die Produktanforderung. Deshalb verlässt sich HAQQ nicht auf ein einzelnes Modell — wir routen, validieren und verifizieren über mehrere Engines hinweg, um sicherzustellen, dass jede Ausgabe einen Qualitätsstandard erfüllt, bevor sie den Nutzer erreicht.
HAQQ AI kostenlos testen
Erleben Sie KI-gestützte juristische Recherche und Entwurf
4. Claude und GPT-4o liefern sich ein Kopf-an-Kopf-Rennen
Bei 88 % gegenüber 87 % ist der Unterschied statistisch nicht signifikant. Claude lag beim praktischen Nutzen knapp vorn (4,73 gegenüber 4,21) — die Ratschläge enthielten konkretere nächste Schritte. GPT-4o war durchweg solide, aber etwas weniger strukturiert. Die Erkenntnis: Die Modellwahl ist weniger entscheidend als das, was man darum herum baut.
Die Frage der Selbstbewertung
Wir setzten Claude als Bewerter für alle drei Modelle ein, einschließlich sich selbst. Bekannte Einschränkungen: ein möglicher Heimvorteil (Claude könnte seinen eigenen Argumentationsstil bevorzugen), eine Verzerrung zwischen Stil und Substanz (der Bewerter könnte strukturelle Muster belohnen, die er wiedererkennt), und das Fehlen einer verlässlichen Referenz (ohne anwaltliche Validierung messen wir KI-Konsens, nicht rechtliche Genauigkeit).
Unser nächster Schritt ist die anwaltliche Validierung. Aber auch bei der Selbstbewertung ist das Signal eindeutig: Spitzenmodelle haben eine Schwelle überschritten, ab der ihre rechtliche Argumentation in der Mehrheit der Fälle strukturell fundiert, gut belegt und praktisch nützlich ist.
Live-Validierung: 20 neue Fragen
Der Top-100-Benchmark verwendet historische Beiträge. Um zu beweisen, dass es sich nicht nur um Mustererkennung handelt, führten wir dieselbe Pipeline mit 20 neuen Fragen durch, die in den letzten 48 Stunden auf r/legaladvice gepostet wurden. Claude Sonnet 4 erzielte 95 %, GPT-4o kam auf 90 % und Gemini 2.5 Flash erreichte 85 %. Alle drei Modelle schnitten bei neuen Fragen sogar noch besser ab.
Anschließend nahmen wir für jede Frage die beste Antwort aller drei Modelle, formulierten sie in natürlicher Sprache um und posteten sie als Antwort. Die Substanz war vorhanden. Die Form war menschlich.
Warum das für HAQQ von Bedeutung ist
Was dieser Benchmark tatsächlich beweist: Die KI-Ebene ist gelöst. Die Modelle können rechtlich argumentieren. Sie können Probleme erkennen, Gesetze zitieren und praktische Ratschläge geben, die in 85 bis 95 % der Fälle einer genauen Prüfung standhalten.
Aber „85 bis 95 % der Fälle" reicht für juristische Arbeit nicht aus. Die Lücke zwischen einem leistungsfähigen Modell und einem vertrauenswürdigen Rechtsprodukt ist genau das, was wir bei HAQQ leisten: Multi-Modell-Routing (wir wählen für jede Anfrage die beste Antwort über mehrere Modelle hinweg aus), Guardrails und Vorbehalte (jede Antwort enthält ordnungsgemäße Haftungsausschlüsse und eine Eskalation an menschliche Rechtsanwälte), kanzleispezifischer Kontext (Antworten, die auf die Praxisgebiete und die bisherige Arbeit jeder Kanzlei zugeschnitten sind) und verifizierte Quellen (keine halluzinierten Fallzitate — jede Referenz ist nachvollziehbar).
Die Frage war nie „Kann KI rechtlich argumentieren?" Die Antwort lautet ja — 88 von 100 Mal, mit dem richtigen Prompting. Die eigentliche Frage ist: Wer baut das Produkt, das sie sicher, konsistent und nützlich macht für die 5 Milliarden Menschen, die sie brauchen? Das ist HAQQ.
Methodik
- Quelle: Top-100-Beiträge aus r/legaladvice (aller Zeiten) + 20 neue Beiträge, gefiltert nach inhaltsreichen Selbsttext-Beiträgen
- Modelle: Claude Sonnet 4, GPT-4o, Gemini 2.5 Flash — alle über OpenRouter mit identischen System-Prompts
- Prompting: Chain-of-Thought mit strukturiertem 5-Schritte-Framework für rechtliche Argumentation
- Bewertung: Claude Sonnet 4 als alleiniger Bewerter, 5 Dimensionen auf einer Skala von 1 bis 5
- Bestehensschwelle: Mittelwert ≥ 3,5 UND Minimum ≥ 2 über alle Dimensionen hinweg
- Reproduzierbarkeit: Sämtlicher Code, alle Fragen, Antworten und Bewertungen sind im GitHub-Repository verfügbar
