Claude Opus 5.5 für juristische Arbeit: Wir haben unseren eigenen Benchmark gefahren und konnten keinen Sieger küren

Alle zitieren dieselben drei Zahlen

Wer nach einem Vergleich der aktuellen Anthropic-Modelle sucht, findet eine Seite voller Artikel, die einander bestätigen. Opus 5.5 erreicht bei den meisten Aufgaben das Niveau von Fable 5.1. Es ist deutlich günstiger. Es ist schneller.

Diese Zahlen stimmen, und wir haben sie an der Quelle geprüft, statt uns auf die Berichterstattung zu verlassen. Die Seite von Anthropic nennt für Input- und Output-Tokens „$4 and $20 per million, 20% less than Opus 5“ und hält fest, dass „Opus 5.5 also generates output more than 30% faster than Opus 5“. Gegenüber den $10 und $50 von Fable 5.1 sind das 60 % weniger pro Token.

Was kaum jemand getan hat: die Modelle unabhängig gegeneinander antreten zu lassen. Die Berichterstattung ist echter Journalismus, aber sie berichtet über die Selbsteinschätzung eines Anbieters.

Der eine unabhängige juristische Benchmark, den wir an der Quelle verifizieren konnten, bestätigt den Anbieter im Großen und Ganzen. Die Legal Research Bench von Vals AI sieht Opus 5.5 bei 50,48 % und damit auf Platz 4 von 68 Modellen. Das ist ein gutes Ergebnis, aber eben ein Ergebnis zur juristischen Recherche, also zu einer einzigen Aufgabe. Es sagt einer Unternehmensjuristin nicht, ob das Modell eine bessere Earn-out-Klausel entwirft als das Modell, das doppelt so viel kostet.

Wir haben nach dieser Antwort gesucht und sie nicht gefunden, also haben wir den Test selbst durchgeführt.

Was wir getestet haben

Zehn Prompts, formuliert als Aufgaben, die eine praktizierende Anwältin oder ein praktizierender Anwalt wiedererkennt, nicht als Prüfungsfragen:

• Redlining einer Haftungsobergrenze in einem SaaS-Vertrag
• Ein IRAC-Memo zur Durchsetzbarkeit von Wettbewerbsverboten
• Zitatlastige Recherche zur persönlichen Zuständigkeit (personal jurisdiction)
• Ein Gutachten zur grenzüberschreitenden Datenübermittlung von den VAE nach Frankreich
• Entwurf einer Earn-out-Klausel
• Ersteinschätzung nach der EU-KI-Verordnung für ein Legal-Tech-Produkt
• Ein Strategiememo zu Schiedsverfahren versus staatlichem Gerichtsverfahren
• Warnsignale in der Due Diligence bei einem Acqui-hire
• Ein Mandantenschreiben zur Übermittlung eines nachteiligen Urteils
• Abfindung (gratuity) im Arbeitsrecht: DIFC versus VAE-Festland

Zwei davon sind MENA-Sachverhalte, weil unser eigenes Produkt für dieses Recht gebaut ist und weil hier die Trainingsdaten dünn sind.

Jedes Modell beantwortete alle zehn Prompts. Anschließend trat jede Antwort in einem blinden Paarvergleich gegen jede andere an, bewertet von zwei Bewertern außerhalb von Anthropic: GPT-5.5 und Gemini 3.1 Pro. Jeder Bewerter sah jedes Paar zweimal, einmal in jeder Reihenfolge. Das gleicht die gut dokumentierte Neigung von Sprachmodellen aus, die zuerst gelesene Antwort zu bevorzugen. Drei Paarungen, zehn Prompts, zwei Bewerter, zwei Reihenfolgen. 120 Urteile.

Die Bewerter vergaben Punkte in vier Dimensionen auf einer Skala von 1 bis 10: Genauigkeit, Vollständigkeit, Praxistauglichkeit und Formulierungsqualität. Sie wurden angewiesen, Ausführlichkeit nicht mit Qualität zu verwechseln und so zu urteilen wie ein Partner, der die Arbeit eines Associates prüft.

Zwei Einstellungen sind wichtiger, als sie aussehen. Wir haben den Reasoning-Aufwand bei allen drei Modellen auf hoch festgelegt, damit der Vergleich die Leistungsfähigkeit bei einer festen Einstellung misst und nicht drei unterschiedliche Herstellervorgaben. Und wir haben die Temperatur ganz weggelassen, weil Fable 5.1 diesen Parameter über OpenRouter nicht akzeptiert. Ihn zu setzen, hätte den beiden Opus-Modellen eine Determiniertheit verschafft, die Fable nicht haben konnte.

Der gesamte Durchlauf kostete $15,26. Alle Modellpreise in diesem Beitrag sind OpenRouter-Listenpreise, die am 23. September 2026 über die API abgerufen wurden, und alle Kosten pro Antwort sind aus den Tokens berechnet, die unser Durchlauf tatsächlich verbraucht hat.

Das Ergebnis ergibt keine Rangfolge

Opus 5.5 schlägt Fable 5.1. Fable 5.1 schlägt Opus 5. Opus 5 schlägt Opus 5.5.

Das ist ein Kreislauf, keine Rangliste. Es gibt keine Reihenfolge dieser drei Modelle, die mit allen drei Ergebnissen vereinbar ist, und das ist das deutlichste denkbare Signal dafür, dass die Unterschiede kleiner sind als die Messgenauigkeit.

Aus der anderen Richtung betrachtet zeigt sich dasselbe. Jedes Modell tritt in zwei Paarungen an und kommt damit auf 80 Urteile.

Wir hätten die Überschrift auch anders formulieren können. „Opus 5.5 schlägt Fable 5.1 bei juristischer Arbeit“ ist wahr, unsere eigenen Zahlen sagen es, und es hätte sich weiter verbreitet als dieser Beitrag. Es wäre aber auch ein Vorsprung von drei Urteilen bei vierzig gewesen, präsentiert als Befund. Wir glauben nicht, dass das eine Wiederholung übersteht, und sagen das lieber selbst, als es öffentlich herauszufinden.

Was ein Abstand von vier Urteilen tatsächlich bedeutet

Ein Benchmark beantwortet die Frage, die man sich leisten kann, nicht die Frage, die man stellen wollte. Zehn Prompts sind das, was $15 bei hohem Reasoning-Aufwand kaufen. Das reicht, um einen großen Unterschied zu erkennen, aber nicht, um einen kleinen aufzulösen, und wir haben einen kleinen gefunden.

Die ehrliche Lesart: Bei diesem Aufgabenset und dieser Stichprobengröße sind die drei Modelle in der Qualität austauschbar. Wer aus einem Benchmark dieser Größe eine selbstbewusste Rangfolge veröffentlicht, berichtet Rauschen mit einer Nachkommastelle.

Ein Modell, das 35 zu 39 abschneidet, hat nicht verloren. Ein Modell, das 85 zu 15 gewinnt, hat gewonnen.

Das ist keine Kritik an Benchmarks. Es ist ein Plädoyer dafür, sie nach der Effektstärke zu lesen statt nach dem Rang.

Die Bewerter waren uneins, und das trägt das Ergebnis

Wir haben gezielt zwei Bewerter eingesetzt, damit keiner das Ergebnis allein bestimmen kann. Sie waren sich nicht einig, und ihre Uneinigkeit ist systematisch, nicht zufällig.

GPT-5.5 setzte Fable 5.1 an die Spitze und vergab kein einziges Unentschieden. Gemini 3.1 Pro setzte Opus 5 mit deutlichem Abstand an die Spitze und vergab zehn.

Liest man die Begründungen, wird der Grund sichtbar. GPT-5.5 belohnt Vorsicht, saubere Belegstellen und das Bleiben innerhalb des Auftrags. Gemini 3.1 Pro belohnt Abdeckung und bevorzugte durchgängig die längere Antwort, die mehr Pflichten abbildete und mehr Eventualitäten benannte.

Keiner von beiden liegt falsch. Es sind zwei vertretbare Vorstellungen davon, wie gute Associate-Arbeit aussieht, und sie ergeben bei denselben Antworten unterschiedliche Gewinner. Wenn Sie aus diesem Beitrag nur eines mitnehmen, dann dies: Wenn ein Benchmark einen einzigen Wert meldet, fragen Sie, wer bewertet hat und was dieser Bewerter belohnt, denn diese Wahl leistet mehr, als es scheint.

Ein Ergebnis hält bei beiden Bewertern. Opus 5.5 landet bei jedem von ihnen auf Platz zwei, also setzt keiner der beiden es auf den letzten Platz.

Wo sich die Werte doch unterscheiden

Die Paarurteile liegen eng beieinander. Aufschlussreicher sind die Werte pro Dimension, denn sie zeigen, dass die Modelle in unterschiedliche Richtungen scheitern.

Bei der Genauigkeit gibt es an der Spitze ein Unentschieden. Opus 5.5 und Fable 5.1 erreichen beide im Schnitt 8,55. Opus 5 liegt mit 8,18 unter beiden.

Bei der Vollständigkeit ist es umgekehrt. Opus 5 führt mit 9,44, Fable 5.1 folgt mit 9,22, und Opus 5.5 liegt mit 8,93 dahinter.

Diese Umkehrung ist das Nützlichste am ganzen Durchlauf. Opus 5 schrieb die längsten und gründlichsten Antworten im Set und erzielte die höchsten Werte bei Vollständigkeit und Praxistauglichkeit, aber den niedrigsten bei der Genauigkeit. Opus 5.5 schrieb kürzere Antworten, die die Bewerter als präziser einstuften. Fable 5.1 lag bei beiden am nächsten an der Spitze.

Für viele Arbeiten ist Vollständigkeit genau das, was man will. Bei juristischer Arbeit ist die Gewichtung zwischen diesen beiden Dimensionen eine Entscheidung, die Sie bewusst treffen sollten, statt sie von einer Rangliste zu übernehmen, denn eine Antwort, die mehr abdeckt und weniger genau ist, ist nicht ohne Weiteres die bessere Antwort für einen Mandanten.

Das eine, was nicht knapp ist

Gemessen an echten Tokens statt am Listenpreis beantwortete Opus 5.5 diese zehn Prompts für $0,3647 pro Antwort. Opus 5 kam auf $0,4362. Fable 5.1 kam auf $0,7249, also fast das Doppelte von Opus 5.5, für einen Qualitätsunterschied, den unsere eigenen Daten nicht auflösen können.

Die Geschwindigkeit wies in dieselbe Richtung. Opus 5.5 brauchte im Schnitt 184 Sekunden pro Antwort, Fable 5.1 193 und Opus 5 238.

Was jedes Modell für das Nachdenken berechnet, verdient einen eigenen Absatz, weil es uns überrascht hat. Opus 5.5 war das günstigste Modell und zugleich dasjenige, das am längsten nachdachte. Fable 5.1 schrieb die kürzesten sichtbaren Antworten der drei und kostete trotzdem am meisten, weil sein Listenpreis das 2,5-Fache von Opus 5.5 beträgt. Der niedrige Preis pro Token verschaffte Opus 5.5 den Spielraum, gründlicher nachzudenken und bei der Rechnung dennoch vorn zu liegen.

Der Benchmark hätte uns beinahe belogen

Diesen Teil lassen die meisten Benchmark-Berichte weg, und es ist der Teil, den wir selbst am liebsten lesen würden.

Unser erster Durchlauf begrenzte jede Antwort auf 32.000 Tokens. Für diese Zahl hatten wir Belege: Ein früherer Durchlauf mit demselben Prompt-Set hatte gezeigt, dass 32k ohne Abschneiden auskommen, die längste Antwort lag unter 11.000 Tokens.

Dieser Beleg ließ sich nicht übertragen, und der Grund ist ein Detail, das man kennen sollte. Reasoning-Tokens werden als Output abgerechnet und zählen gegen dasselbe Token-Budget wie die Antwort. Die Festlegung des Reasoning-Aufwands auf hoch fügte pro Antwort etwa 8.000 Reasoning-Tokens hinzu, und das zuvor großzügige Budget wurde knapp.

Beim Prompt zum Entwurf der Earn-out-Klausel stießen beide Opus-Modelle an die Obergrenze und wurden mitten in der Antwort abgeschnitten. Fable 5.1 beendete die Antwort regulär. Bei diesem Prompt verglichen wir also nicht drei Modelle. Wir verglichen ein Modell mit zwei Modellen, deren Schluss fehlte, und die daraus resultierenden Urteile wiesen direkt auf die getesteten Modelle.

Im erneuten Durchlauf mit 64.000 Tokens verbrauchte Opus 5.5 für diesen einen Prompt 51.358 Tokens. Die 32k-Grenze hatte die Antwort etwa halbiert.

Hinter dem ersten Fehler steckte ein zweiter. Wir hatten einen Durchlauf mitten in der Bewertung unterbrochen, und er hatte bereits Urteile zwischengespeichert, die auf den abgeschnittenen Antworten beruhten. Diese zwischengespeicherten Urteile überstanden die Neuberechnung der Antworten, weil eine abgeschnittene Antwort kein Fehler ist und für den Cache vollständig aussah. Wir mussten jedes Urteil zu den betroffenen Prompts finden, verwerfen und neu erzeugen.

Es hatte Folgen. Auf der sauberen, aber unvollständigen Teilmenge von acht Prompts lag Fable 5.1 vor Opus 5.5. Mit den beiden reparierten Prompts kehrte sich das Ergebnis um. Eine Obergrenze, der wir aus gutem Grund vertrauten, plus ein Cache, den wir vergessen hatten, hätten eine selbstbewusste und falsche Schlagzeile erzeugt.

Was wir geändert haben

• Das Testsystem bricht den Durchlauf jetzt ab, wenn eine Antwort mit einem anderen Beendigungsgrund als einem sauberen Stopp zurückkommt. Bisher gab es eine Warnung aus und lief weiter. Eine Warnung im Log ist keine Sperre.
• Eine abgeschnittene Zelle gilt nicht mehr als zwischengespeichert. Die Aktualitätsprüfung testet den Beendigungsgrund und nicht nur, ob ein Fehlerfeld vorhanden ist, denn ein Abschneiden ist kein Fehler.
• Jede Zelle wird beim Abschluss auf die Festplatte geschrieben, sodass ein unterbrochener Durchlauf ohne erneute Kosten fortgesetzt wird, und jedes Urteil hält fest, welche Antwortversion es bewertet hat.

Wir erwähnen das, weil sich dieses Fehlermuster verallgemeinern lässt. Wenn Sie Reasoning-Modelle gegeneinander benchmarken und eine Token-Obergrenze setzen, die für Modelle ohne Reasoning sinnvoll war, messen Sie sehr wahrscheinlich die Obergrenze.

Die Einschätzung von HAQQ

Wir entwickeln juristische KI, sind bei der Modellwahl also nicht neutral, und wir sagen offen, was dieser Durchlauf für uns geändert hat.

Wir haben routinemäßige juristische Entwürfe auf Opus 5.5 umgestellt. Nicht, weil unsere Daten es zum Sieger küren, das können sie nicht, sondern weil es in der Qualität nicht von den beiden teureren Modellen zu unterscheiden ist und dabei schneller läuft. Wenn zwei Optionen messbar gleich sind und eine die Hälfte kostet, ist die Entscheidung nicht knapp, auch wenn der Benchmark es ist.

Fable 5.1 haben wir für die abschließenden, qualitätsgeprüften Durchgänge behalten, also für Arbeit, die jemand außerhalb des Unternehmens liest. Das ist eine Absicherung, kein Befund. Unsere Zahlen rechtfertigen sie nicht, und ein größeres Prompt-Set könnte sie durchaus überflüssig machen.

Für eine Rechtsabteilung, die ein Modell auswählt, lautet die nützliche Schlussfolgerung nicht, welches Modell gewonnen hat. Sie lautet, dass der Qualitätsabstand zwischen den aktuellen Spitzenmodellen bei juristischen Aufgaben inzwischen so klein ist, dass Preis, Latenz und die Art, wie ein Modell scheitert, wichtiger sind als die Frage, welches eine Rangliste anführt. Wählen Sie das Modell, dessen Fehlermuster Sie hinnehmen können, und testen Sie es dann an Ihren eigenen Mandaten, denn Ihre Mandate sind nicht unsere zehn Prompts.

Einschränkungen

• Zehn Prompts sind eine kleine Stichprobe. Sie reichen, um einen großen Unterschied zu erkennen, und sie haben keinen gefunden. Betrachten Sie jeden Vorsprung im Paarvergleich hier als vorläufig.
• Zwei Bewerter, beide Sprachmodelle. Wir haben Bewerter außerhalb von Anthropic eingesetzt und die Reihenfolge getauscht, um die offensichtlichen Verzerrungen zu kontrollieren, aber ein LLM-Bewerter ist kein Anwalt, und wir haben an anderer Stelle beschrieben, wie stark LLM-Bewerter versagen können, und zwar genau bei dieser Art von Aufgabe.
• Die Uneinigkeit der Bewerter ist ungelöst. Unsere beiden Bewerter ergaben unterschiedliche Gewinner. Wir berichten beide, statt sie zu einer einzigen Zahl zu mitteln, die die Spaltung verdeckt.
• Ein einziger Durchlauf, keine Wiederholungen. Wir haben nicht jeden Prompt mehrfach ausgeführt und können daher die Streuung eines Modells nicht von seiner Leistungsfähigkeit trennen.
• Unser Prompt-Set ist unseres. Es neigt zu wirtschaftsrechtlicher, grenzüberschreitender und MENA-bezogener Arbeit, weil wir dafür entwickeln.

Die wichtigsten Erkenntnisse

• Drei Spitzenmodelle von Anthropic lagen über die 240 Blindbewertungen, die wir zu juristischen Aufgaben auf anwaltlichem Niveau gesammelt haben, innerhalb von vier Urteilen beieinander. Bei dieser Stichprobengröße gibt es keine verlässliche Rangfolge zwischen ihnen.
• Die Ergebnisse sind nicht transitiv: Opus 5.5 schlägt Fable 5.1, Fable 5.1 schlägt Opus 5, Opus 5 schlägt Opus 5.5. Dieses Muster ist selbst ein Beleg dafür, dass die Unterschiede kleiner sind als die Messgenauigkeit.
• Zwei Bewerter ergaben aus denselben Antworten zwei unterschiedliche Gewinner. Wenn ein Benchmark eine einzige Zahl meldet, fragen Sie, was sein Bewerter belohnt.
• Der Preis war die eine klare Trennlinie. Opus 5.5 antwortete zu etwa der Hälfte der Kosten pro Antwort von Fable 5.1, und kein Modell im Set war schneller.
• Genauigkeit und Vollständigkeit bewegten sich in entgegengesetzte Richtungen. Das gründlichste Modell im Set erzielte den niedrigsten Wert bei der Genauigkeit.
• Wenn Sie den Reasoning-Aufwand festlegen, prüfen Sie Ihre Token-Obergrenze erneut. Reasoning-Tokens zählen gegen dasselbe Budget, und eine Grenze, die vorher sicher war, schneidet dann unbemerkt ab.

Quellen und weiterführende Lektüre

• Anthropic, Vorstellung von Claude Opus 5.5
• Vals AI, Modellkarte zu Claude Opus 5.5
• Vals AI, Legal Research Bench
• Wenn ein LLM-Bewerter Erfundenes belohnt
• Benchmark für juristische KI 2026
• Audit zu Halluzinationen juristischer KI