Kurz gesagt: Stand Oktober 2026 sind Claude Opus 5.5 und GPT-6 Astra die stärksten Frontier-Modelle, die wir für juristische Arbeit getestet haben. Sie bildeten das Spitzenduo in unserem MENA-Fallentest vom 30. September (3,30 und 3,00 von 4), und keines von beiden erfand ein Urteil eines Dubaier Gerichts, als danach gefragt wurde. Opus 5.5 lag zum halben Preis gleichauf mit Fable 5.1 (23. September).
Die wichtigsten Fakten
- In einem Fallentest mit fünf Fragen zu den VAE, Saudi-Arabien und dem Libanon erreichte Claude Opus 5.5 3,30 von 4 und GPT-6 Astra 3,00, gegenüber 2,20 für DeepSeek V4 Pro und 2,10 für Gemini 3.1 Pro, jeweils ohne Hinweise (HAQQ-Test, 30. Sept. 2026, 80 Antworten, drei verblindete Bewerter).
- Auf die Frage nach Urteilen des Kassationsgerichts Dubai zu einem nicht existierenden Artikel nannten Gemini 3.1 Pro und DeepSeek V4 Pro in acht Antworten 16 Entscheidungen; keine stimmte in der zitierten Form mit einer öffentlichen Quelle überein (HAQQ-Test, 30. Sept. 2026).
- Claude Opus 5.5, Opus 5 und Fable 5.1 lagen bei 120 verblindeten Paarvergleichen höchstens vier Urteile auseinander; Opus 5.5 kostete 0,3647 $ pro Antwort gegenüber 0,7249 $ für Fable 5.1 (HAQQ-Test, OpenRouter-Listenpreise, 23. Sept. 2026).
- GPT-6 Astra lag bei der juristischen Substanz mit 17,63 von 20 vor Claude Opus 5 und GPT-5.6 Luna Pro, und alle drei gaben eine saudische oder ägyptische Regel falsch wieder, obwohl sie den richtigen Artikel zitierten (HAQQ-Test, 41 Prompts, 10. Sept. 2026).
- Die Legal Research Bench von Vals AI führte Claude Opus 5.5 mit 50,48 % auf Platz 4 von 68 Modellen (Vals AI, abgerufen am 23. Sept. 2026).
- In unserem größten Test zitierten oder verwendeten 24 % von 3.000 Antworten aus 10 Frontier-Modellen Recht, das nicht das aussagt, was das Modell behauptete (HAQQ-Test mit 300 Aufgaben, veröffentlicht am 5. Juni 2026).
- Stanford RegLab ermittelte Halluzinationen in etwa 33 % der Antworten von Westlaw AI-Assisted Research und in mehr als 17 % der Antworten von Lexis+ AI (Magesh et al., 2024).
Offenlegung. HAQQ entwickelt juristische KI und hat jeden HAQQ-Benchmark auf dieser Seite durchgeführt. Die September-Tests umfassten HAQQ nicht. Die weiter unten stehende Plattform-Rangliste mit 50 Punkten umfasst HAQQ, und HAQQ steht dort auf Platz eins. Lesen Sie unsere Zahlen als die Zahlen eines Anbieters: Die Methode jedes Tests ist beschrieben, und für die September-Tests sind Prompts und Antworten veröffentlicht.
Welche KI eignet sich im Oktober 2026 für juristische Arbeit?
Drei Tests im September 2026 haben die Juni-Rangliste für die Frage nach den Frontier-Modellen abgelöst. Jeder prüft etwas anderes, lesen Sie sie daher zusammen.
| Modell | Anbieter | Test | Testdatum | Ergebnis |
|---|---|---|---|---|
| Claude Opus 5.5 | Anthropic | Fünf MENA-Fallenfragen | 30. Sept. 2026 | 3,30 / 4, 0 erfundene Urteile genannt |
| GPT-6 Astra | OpenAI | Fünf MENA-Fallenfragen | 30. Sept. 2026 | 3,00 / 4, 0 erfundene Urteile genannt |
| DeepSeek V4 Pro | DeepSeek | Fünf MENA-Fallenfragen | 30. Sept. 2026 | 2,20 / 4, 8 nicht verifizierbare Urteile genannt |
| Gemini 3.1 Pro | Fünf MENA-Fallenfragen | 30. Sept. 2026 | 2,10 / 4, 8 nicht verifizierbare Urteile genannt | |
| Claude Opus 5 | Anthropic | Zehn Entwurfs- und Beratungsprompts, Paarvergleich | 23. Sept. 2026 | 39 von 80 Urteilen, 0,4362 $ pro Antwort |
| Claude Fable 5.1 | Anthropic | Zehn Entwurfs- und Beratungsprompts, Paarvergleich | 23. Sept. 2026 | 36 von 80 Urteilen, 0,7249 $ pro Antwort |
| Claude Opus 5.5 | Anthropic | Zehn Entwurfs- und Beratungsprompts, Paarvergleich | 23. Sept. 2026 | 35 von 80 Urteilen, 0,3647 $ pro Antwort |
| GPT-6 Astra | OpenAI | 41 Prompts, 20 Rechtsgebiete | 10. Sept. 2026 | 17,63 / 20 Substanz, 0,2622 $ pro Antwort |
| GPT-5.6 Luna Pro | OpenAI | 41 Prompts, 20 Rechtsgebiete | 10. Sept. 2026 | 30,93 / 35 Gesamtwert (inkl. Geschwindigkeit), 0,0231 $ pro Antwort |
| Claude Opus 5 | Anthropic | 41 Prompts, 20 Rechtsgebiete | 10. Sept. 2026 | 28,13 / 35 Gesamtwert, 0,4566 $ pro Antwort |
| Claude Opus 4.8 | Anthropic | 300 wirtschaftsrechtliche Aufgaben (abgelöst) | Juni 2026 | 30,02 / 35, 130 von 300 Aufgaben gewonnen |
Update Oktober 2026: Welches Ergebnis aktuell ist
- Aktuell für Frontier-Modelle: der Fallentest vom 30. September (wie man eine juristische KI testet). Es ist der jüngste Test, und er umfasst vier aktuelle Flaggschiffmodelle von vier Laboren. Jedes Modell erkannte jede Falle. Der Unterschied zeigte sich bei den Fundstellen: Opus 5.5 und Astra lehnten es ab, nicht verifizierbare Urteile zu nennen, während Gemini 3.1 Pro und DeepSeek V4 Pro 16 Urteilszitate produzierten, davon zwei echte Aktenzeichen mit falschem Datum und falschem Tenor, die übrigen 14 nicht auffindbar. Opus 5.5 und Astra bilden das Spitzenduo, und der Abstand zwischen ihnen liegt im Rahmen der Schwankung von Test zu Test.
- Aktuell für die Wahl zwischen Anthropic-Modellen: der Test vom 23. September (Claude Opus 5.5 im juristischen Benchmark). Opus 5.5, Opus 5 und Fable 5.1 bildeten einen Kreis (jedes schlug eines und unterlag einem), sodass die Qualität sie bei zehn Prompts nicht trennte. Der Preis schon: Opus 5.5 antwortete zu etwa der Hälfte der Kosten von Fable 5.1 und war das schnellste der drei.
- Aktuell für GPT-6 Astra im Vergleich zu günstigeren Modellen: der Test vom 10. September (GPT-6 Astra bei juristischer Arbeit). Astra lag bei der Substanz um weniger als einen Punkt vorn und kostete pro Antwort 11-mal so viel wie GPT-5.6 Luna Pro. Jedes der drei Modelle gab eine saudische oder ägyptische Regel falsch wieder, obwohl es den richtigen Artikel zitierte.
- Abgelöst: der Juni-Test mit 300 Aufgaben weiter unten. Er ist weiterhin unser größter Datensatz und die Quelle der 24-%-Zahl zur Zitierlücke, doch jedes Modell darin hat inzwischen eine neuere Version. Nutzen Sie ihn für Muster (Zitierfehler auf jeder Leistungsstufe, kein Modell gewinnt alle Rechtsgebiete, eine 90-fache Kostenspanne), nicht für die Modellwahl heute.
Worin die September-Tests übereinstimmen: Der Qualitätsabstand zwischen aktuellen Frontier-Modellen bei juristischen Aufgaben ist gering, und die nützlichen Unterschiede liegen darin, wie ein Modell scheitert (Fundstellen erfinden, eine lokale Regel falsch lesen) und was es pro Antwort kostet. Testen Sie Ihre engere Auswahl an Ihren eigenen Mandaten, bevor Sie sich entscheiden.
Welche KI ist bei der juristischen Recherche am genauesten?
Beim wichtigsten Maßstab der Recherche, nämlich ob die Fundstelle existiert und das sagt, was das Modell behauptet, schnitten Claude Opus 5.5 und GPT-6 Astra in unserem jüngsten Test am besten ab: kein erfundenes Urteil in ihren insgesamt acht Antworten. Auf der unabhängigen Legal Research Bench von Vals AI erreichte Opus 5.5 50,48 %, Platz 4 von 68 Modellen, als wir sie am 23. September 2026 abriefen. Kein von uns getestetes Modell ist genau genug, um ohne Prüfung zitiert zu werden. Im September nannten alle drei Modelle des Astra-Tests bei einer saudischen oder ägyptischen Frage die richtige Artikelnummer zur falschen Regel, was ein Zitierprüfer passieren lassen würde.
Diese Lücke muss ein Recherchewerkzeug oberhalb des Modells schließen: die Primärquelle abrufen, das Zitat daran prüfen und sagen, wenn es keine findet. So haben wir die HAQQ-Rechtsrecherche gebaut.
Halluziniert ein größeres oder neueres Modell weniger?
Neuere Modelle halluzinieren seltener, aber sie tun es noch. Zwischen Juni und September hat sich das Muster verändert: Im Juni hat jedes der 10 Modelle irgendwo in den 300 Aufgaben ein Zitat erfunden oder falsch angewendet, und 24 % aller Antworten hatten ein Zitierproblem. Im September lehnten es die neuesten Flaggschiffe von Anthropic und OpenAI ab, Rechtsprechung zu erfinden, wenn danach gefragt wurde. Gemini 3.1 Pro und DeepSeek V4 Pro lieferten weiterhin Aktenzeichen auf Anfrage, bei jeder Frage ein anderes Paar. Die Modellgröße allein sagte das Verhalten nicht voraus; die beiden, die ablehnten, waren in diesem Test auch die beiden teuersten pro Antwort.
Früherer Test: Prozessstrategie nach New Yorker Recht (Jan. 2026)
Im Januar 2026 gaben wir sieben Systemen einen einzigen Prompt: „Prepare litigation strategy under New York law for unpaid invoice of $250,000.“ Wir bewerteten jede Antwort nach sechs Kriterien mit bis zu 10 Punkten. Starke Antworten nutzten CPLR 3213 (summary judgment in lieu of complaint), stützten sich auf Vertragsverletzung und account stated und planten die Vollstreckung nach dem Urteil (restraining notices, Kontopfändungen, turnover orders). Schwächere Antworten endeten bei der Klageerhebung. Es war ein einzelner, von HAQQ bewerteter Prompt mit HAQQ unter den Teilnehmern, und jedes allgemeine Modell darin wurde inzwischen ersetzt. Lesen Sie ihn daher als Dokumentation, wie sich die Antworten unterschieden, nicht als Rangliste.
| Modell | Rechtliche Genauigkeit | Prozessuale Tiefe | Strategie | Fundstellen | Struktur | Mandantenreif |
|---|---|---|---|---|---|---|
| HAQQ | 9,5 | 9,5 | 9 | 9 | 9,5 | 9,5 |
| Claude Opus 4.6 | 9 | 8,5 | 9 | 9 | 9 | 8,5 |
| GPT-5.2 | 8,5 | 8,5 | 9 | 7 | 8,5 | 8,5 |
| Gemini 3.1 Pro | 8 | 8 | 8 | 7,5 | 8 | 8 |
| Grok 4.1 | 7,5 | 7 | 7 | 7 | 7,5 | 7 |
| Mistral Large 3 | 7 | 7 | 6,5 | 6 | 7 | 6,5 |
| Perplexity Sonar | 6 | 6 | 6 | 6 | 6,5 | 6 |
Wie haben wir den Juni-Benchmark mit 300 Aufgaben durchgeführt?
Wir haben 300 eigene juristische Aufgaben mit benannten Parteien, Beträgen, Daten und maßgeblichen Gesetzen verfasst: Entwerfen Sie diese Klausel, überarbeiten Sie diese Bestimmung, strukturieren Sie diese Transaktion, analysieren Sie diese Kollisionsfrage. Sie umfassen 51 Rechtsgebiete und mehr als 20 Rechtsordnungen, darunter US-Bundesrecht sowie Delaware, Kalifornien, New York und Texas, das Vereinigte Königreich, die EU, die VAE und das DIFC, Saudi-Arabien, den Libanon, Ägypten, Katar, Singapur, Australien, Kanada, Indien, Brasilien, Nigeria, die OHADA, Japan, Deutschland, Frankreich und die Schweiz, dazu die Haager Übereinkommen sowie die Kaimaninseln, die Britischen Jungferninseln und Bermuda.
Der Schwierigkeitsgrad war hoch gewichtet: 114 Aufgaben auf Stufe 5 von 5, 108 auf Stufe 4, 22 auf Stufe 3. Jede Aufgabe ging an alle 10 Modelle mit identischem System-Prompt bei Temperatur 0, begrenzt auf 6.000 Ausgabe-Tokens. Jede Antwort wurde in fünf Dimensionen bewertet:
- Qualität (1 bis 10): Tiefe, Vollständigkeit, Umsetzbarkeit.
- Genauigkeit (1 bis 10): rechtliche Richtigkeit, minus 5 für halluzinierte Rechtsprechung und minus 3 für die falsche Rechtsordnung.
- Geschwindigkeit (1 bis 5): gemessene Latenz.
- Stil (1 bis 5): professionelle Struktur.
- Kreativität (1 bis 5): erkannte nicht offensichtliche Risiken und grenzüberschreitende Fragen.
Claude Sonnet 4.6 bewertete Qualität, Genauigkeit, Stil und Kreativität anhand einer festen Bewertungsmatrix; die Geschwindigkeit stammt aus der tatsächlichen Latenz. Der Abschnitt zu den Einschränkungen behandelt die Voreingenommenheit des Bewerters.
Was zeigte die Rangliste vom Juni 2026?
- Claude Opus 4.8 belegte bei 130 von 300 Aufgaben den ersten Platz (fast doppelt so oft wie jedes andere Modell), bei 265 einen Platz unter den ersten drei, mit den höchsten Werten für Qualität (8,9) und Kreativität. Es war langsam (60,8 s) und gehörte zu den teuersten (0,069 $ pro Aufgabe).
- Grok 4.3 wurde Zweiter (28,98) bei 8,8 Sekunden und 0,003 $ pro Aufgabe, das stärkste Ergebnis bei Geschwindigkeit und Kosten, und gewann die meisten Aufgaben in Umwelt/ESG, geistigem Eigentum und Grenzfällen.
- GPT-5.5 erzielte die höchste Genauigkeit (8,41) und die niedrigste Quote halluzinierter Zitate (3 %), landete insgesamt jedoch auf Platz fünf und gewann nur eine Aufgabe direkt. Es war das langsamste (134 s) und das teuerste (0,082 $).
- o3 gewann 66 Aufgaben direkt und kam trotzdem nur auf Platz acht, mit einer Halluzinationsquote von 32 % und einer Genauigkeit von 5,89.
- Mistral Large wandte in 64 % der Antworten Zitate falsch an oder erfand sie; Llama 4 Maverick wurde Letzter (20,01).
Wie oft zitieren KI-Modelle Recht, das die Antwort nicht stützt?
Im Juni zitierten oder verwendeten 24 % aller 3.000 Antworten Recht, das nicht das aussagt, was das Modell behauptete: erfundene Fälle, falsch angewendete Gesetze, die richtige Doktrin in der falschen Rechtsordnung. Der Bewerter markierte konkrete, überprüfbare Fehler. Ein Beispiel pro Modell:
- Claude Opus 4.8: Computer Associates / Gemstar als Präzedenzfälle für Gun-Jumping zitiert; keine zutreffende Einordnung.
- GPT-5.5: Hitz-Zitat wirkt erfunden; 616 B.R. 374 nicht verifizierbar.
- Gemini 3.1 Pro: Zitat Halpin v. Riverstone nicht verifizierbar; vermutlich halluzinierter Delaware-Fall.
- Grok 4.3: CBS v. Ziff-Davis ungenau zitiert; der Fall betrifft das Vertrauen auf Gewährleistungszusagen, nicht Offenlegungspflichten.
- Claude Sonnet 4.6: Schrier-Zitat nicht verifizierbar; Biotronik-Fall real, aber falsch angewendet.
- o3: Zitate MSA Technology v Antec und GB Gas wirken erfunden oder verfälscht.
- Qwen3.7 Max: Specht v. Netscape falsch angewendet; kein UCC-Fall zu Waren/Dienstleistungen.
- DeepSeek V3.2: Zitat Crosstown Music nicht verifizierbar / falsch angewendet.
- Mistral Large: Zitate N.Y. Gen. Oblig. Law §5-328 und UCC §2-515 zweifelhaft / falsch angewendet.
- Llama 4 Maverick: Cavendish-Fall falsch angewendet; ohne Bezug zu Preisklauseln.
Jedes Modell, auch die Spitzenreiter, machte mindestens einen solchen Fehler, und der höchste Genauigkeitswert lag bei 8,41 von 10 (GPT-5.5). Die Recherchewerkzeuge, für die Anwälte bereits bezahlen, zeigen dasselbe Problem: Die Studie von Stanford RegLab aus dem Jahr 2024 ermittelte Halluzinationen in etwa einem Drittel der Antworten von Westlaw AI-Assisted Research und in mehr als jeder sechsten Antwort von Lexis+ AI.
Gewinnt ein Modell alle Rechtsgebiete?
Nein. Von den 51 Rechtsgebieten im Juni führte Claude Opus 4.8 in 30, Grok 4.3 in 13, o3 in 6, und Gemini 3.1 Pro und Claude Sonnet 4.6 in je einem.
- Opus 4.8 führte im dogmatischen Kern: M&A (30,6), regulatorische Compliance (30,5), Kapitalmarktrecht, Wirtschaftsstrafrecht, Steuern, Bankrecht, Datenschutz, Arbeitsrecht und internationaler Handel.
- Grok 4.3 führte bei IP und Technologie (30,2), Umwelt und ESG (30,8), Verbraucherschutz sowie Compliance und Due Diligence (31,4).
- o3 führte bei Legal Operations (31,1), Wertpapieren und Finanzierung (30,9), öffentlichen Aufträgen und Vergabe (31,1) und grenzüberschreitenden Immobilien.
- Gemini 3.1 Pro erzielte den Höchstwert bei Privatsphäre und Datenschutz (31,4).
Der Astra-Test im September fand dasselbe Muster in kleinerem Maßstab: Astra vorn in den meisten Rechtsgebieten, Claude Opus 5 vorn bei Insolvenz und ESG. Ein juristisches Produkt, das jedes Mandat an das Modell weiterleitet, das es am wahrscheinlichsten richtig bearbeitet, und die Antwort anschließend prüft, holt mehr aus dem Feld heraus als eines, das auf ein einziges Modell setzt.
HAQQ AI kostenlos testen
Erleben Sie KI-gestützte juristische Recherche und Entwurf
Was kostet jedes Modell pro juristischer Aufgabe?
Im Juni reichten die Kosten pro Aufgabe über eine 90-fache Spanne, von 0,0009 $ (DeepSeek V3.2) bis 0,082 $ (GPT-5.5), und die Latenz lag zwischen 7,7 Sekunden (Llama 4 Maverick) und 134 Sekunden (GPT-5.5). Die September-Tests, berechnet zu den OpenRouter-Listenpreisen am Testtag, zeigen das aktuelle Bild:
- Claude Opus 5.5: 0,3647 $ pro Antwort bei hohem Reasoning-Aufwand, gegenüber 0,7249 $ für Fable 5.1 und 0,4362 $ für Opus 5 (23. Sept. 2026).
- GPT-6 Astra: 0,2622 $ pro Antwort, 1,7-mal günstiger als Claude Opus 5, weil es etwa 3,5-mal weniger Tokens schreibt, und 11-mal teurer als GPT-5.6 Luna Pro mit 0,0231 $ (10. Sept. 2026).
- Im Fallentest mit Standardeinstellungen kosteten die 20 Antworten pro Modell 4,04 USD für Opus 5.5, 2,81 für Astra, 0,92 für Gemini 3.1 Pro und 0,88 für DeepSeek V4 Pro (30. Sept. 2026).
Für ein Produkt mit hohem Volumen kann das Modell mit dem höchsten Qualitätswert die falsche Wahl sein, sobald Kosten und Latenz mitgerechnet werden. Astras erhöhter Reasoning-Aufwand ist ein Beispiel: Im September vervielfachte die Umstellung von niedrig auf hoch die Kosten um das 1,5-Fache und die Latenz um das 1,8-Fache und veränderte die bewertete Qualität um minus 0,17 Punkte.
Wie schneiden juristische KI-Plattformen im Vergleich zu Frontier-Modellen ab?
Wir führen eine zweite Rangliste: eine Bewertung mit 50 Aufgaben anhand einer 50-Punkte-Matrix in 11 Aufgabenkategorien, die die juristischen Plattformen auf den Auswahllisten von Kanzleien (Harvey, CoCounsel, Legora, Spellbook, LexisNexis +AI, Clio Duo) neben Frontier-Modelle stellt. Es ist die Rangliste auf unserer Vergleichsseite, und HAQQ steht dort auf Platz eins (siehe die Offenlegung oben). Sortiert nach Durchschnittswert:
| Rang | Modell oder Produkt | Durchschnitt /50 |
|---|---|---|
| 1 | HAQQ (Justinian) | 46,8 |
| 2 | Claude Fable 5 | 42,7 |
| 3 | Claude Opus 4.8 | 40,8 |
| 4 | Mike OS | 39,1 |
| 5 | Harvey Tenet | 37,9 |
| 6 | DeepSeek V4 Pro | 36,8 |
| 7 | Thomson Reuters CoCounsel | 36,6 |
| 8 | Legora | 35,9 |
| 9 | GPT-5.6 Sol Pro | 35,3 |
| 10 | Claude + juristische Plugins | 33,9 |
| 11 | Gemini 3.1 Pro | 32,9 |
| 11 | Spellbook | 32,9 |
| 13 | LexisNexis +AI | 32,0 |
| 14 | Grok 4.5 | 30,7 |
| 15 | Perplexity Sonar | 27,2 |
| 16 | Clio Duo | 25,6 |
| 17 | Llama 4 Maverick | 23,8 |
| 18 | Mistral 3 | 22,4 |
| 19 | Qwen3.7 Plus | 18,7 |
Zwei Befunde fallen auf. Die juristischen Plattformen sammeln sich im Mittelfeld: Harvey Tenet (37,9), CoCounsel (36,6), Legora (35,9) und LexisNexis +AI (32,0) liegen bei der reinen Antwortqualität alle unter den stärksten Frontier-Modellen. Was eine Kanzlei einer Plattform bezahlt, sind also vor allem Workflow, Integrationen und Sicherheit. Und die Spanne ist groß, von 46,8 bis 18,7, sodass die Wahl des Werkzeugs bestimmt, mit welchem Ergebnis ein Anwalt startet. Ein Wert pro Aufgabe erfasst weder den kanzleiweiten Einsatz noch Zertifizierungen oder Workflows über große Dokumentenmengen, die echte Stärken der größeren Plattformen sind.
Die Plattform-Rangliste wurde noch nicht mit Opus 5.5, Fable 5.1 oder GPT-6 Astra wiederholt; für diese Modelle sind die September-Tests oben die aktuelle Quelle.
Welcher Anbieter führt über alle Tests hinweg?
Fasst man die Modelle nach Anbieter zusammen und führt den Juni-Test mit allen früheren Durchläufen desselben wirtschaftsrechtlichen Benchmarks zusammen (Index von 0 bis 100, gewichtet nach Anzahl der Bewertungen):
Die führenden Anbieter liegen eng beieinander. Was Sie um das Modell herum bauen (Retrieval, Zitierprüfung, Regeln der jeweiligen Rechtsordnung), beeinflusst das Ergebnis stärker als die Frage, welchen von ihnen Sie wählen.
Kann ich diesen Benchmarks vertrauen?
- Ausgabegrenzen. Unser erster Juni-Durchlauf begrenzte Antworten auf 1.200 Tokens, was Reasoning-Modelle ausbremste und ausführliche Modelle abschnitt. Wir haben ihn verworfen und mit 6.000 wiederholt. Die meisten Modelle gewannen 1,5 bis 2,5 Punkte; Mistral und Llama verschlechterten sich, weil längere Antworten mehr fehlerhafte Zitate offenlegten. Im September schnitt eine Grenze von 32.000 Tokens zwei Opus-Antworten zu einem Prompt ab; wir wiederholten mit 64.000 und brechen inzwischen jeden Test mit einer abgeschnittenen Antwort ab.
- Bewerter. Im Juni gab es einen einzigen Bewerter, Claude Sonnet 4.6, daher ist die Frage nach Selbstbevorzugung berechtigt; dass Grok 4.3 Zweiter wurde und GPT-5.5 die höchste Genauigkeit erzielte, spricht gegen eine starke Hausvoreingenommenheit, ein zweiter Bewerter wäre aber besser. Die September-Tests nutzten zwei Bewerter außerhalb von Anthropic (23. Sept.) und drei Bewerter aus drei Modellfamilien, deren Median zählte (30. Sept.). Am 23. September wählten die beiden Bewerter aus denselben Antworten unterschiedliche Gewinner.
- Stichprobengröße. Die September-Tests umfassten 10, 41 und 5 Prompts. Das reicht, um einen großen Unterschied zu sehen, ist aber zu wenig, um eng beieinanderliegende Modelle zu ordnen. Achten Sie auf Effektgrößen, nicht auf Nachkommastellen.
- Einzelne Durchläufe. Der Juni-Test war ein einzelner Durchlauf bei Temperatur 0. Im September verschoben sich wiederholte Antworten im Schnitt um 0,3 Punkte und in 11 von 40 Paaren um einen ganzen Punkt oder mehr.
- Menschliche Prüfung. Kein praktizierender Anwalt hat die September-Antworten bewertet, und arabische Entwürfe wurden nur von Modellen beurteilt.
Wie sollte eine Kanzlei heute ein Modell auswählen?
- Nehmen Sie Claude Opus 5.5 und GPT-6 Astra für Recherche und Beratung in die engere Auswahl, wo erfundene Fundstellen das Hauptrisiko sind; beide lehnten es in unserem jüngsten Test ab, Urteile zu erfinden.
- Kalkulieren Sie die engere Auswahl anhand Ihres eigenen Volumens. Opus 5.5 kostet pro Antwort etwa die Hälfte von Fable 5.1 bei einer Qualität, die wir nicht unterscheiden konnten; GPT-5.6 Luna Pro ist für allgemeine Fragen und Antworten deutlich günstiger als Astra, wo ein Qualitätspunkt nicht das 11-Fache wert ist.
- Testen Sie mit Ihren eigenen Rechtsordnungen. Jedes Modell im Astra-Test las eine saudische oder ägyptische Regel falsch, obwohl es den richtigen Artikel zitierte.
- Fragen Sie nach einer Fundstelle, die nicht existieren kann, fragen Sie zweimal, und prüfen Sie jedes Zitat von Hand. Die vollständige Methode finden Sie unter wie man eine juristische KI testet.
- Prüfen Sie jedes Quartal erneut. Der Spitzenreiter vom Juni hat auf dieser Seite bereits drei Nachfolger.
Quellen
- HAQQ, Claude Opus 5.5 im juristischen Benchmark (23. Sept. 2026)
- HAQQ, GPT-6 Astra bei juristischer Arbeit (Test vom 10. Sept. 2026)
- HAQQ, Wie man eine juristische KI testet: fünf Fallenfragen (Test vom 30. Sept. 2026)
- Vals AI, Legal Research Bench
- Anthropic, Vorstellung von Claude Opus 5.5
- Magesh et al., Studie von Stanford RegLab zu KI-Werkzeugen für die Rechtsrecherche (2024)



