Skip to content
    HAQQ
    Einloggen
    Vertrieb kontaktieren
    HAQQ testen
    HAQQ testen
    1. Startseite
    2. Blog
    3. Legal-AI-Halluzination: Das gefälschte Zitat, das jede Prüfung besteht
    KI & Rechtstechnologie

    Legal-AI-Halluzination: Das gefälschte Zitat, das jede Prüfung besteht

    Wir haben ein Frontier-Modell eine juristische Datenbank imitieren lassen. Es weigerte sich, erfundene Fälle zu erfinden, zitierte dann aber ein echtes Gesetz für den falschen Sachverhalt – die Halluzination, die eine anwaltliche Prüfung übersteht.

    Stephane BoghossianStephane Boghossian|
    30. Juni 2026
    5 Min. Lesezeit
    Legal-AI-Halluzination: Das gefälschte Zitat, das jede Prüfung besteht

    TL;DR: Wir haben ein Frontier-Modell (Opus 4.8) in eine gefälschte Rechtsdatenbank verwandelt und geprüft, wo es Inhalte erfindet. Es weigerte sich, nicht existierende Zitate zu erfinden – 4 von 4 unmöglichen Referenzen kamen als „nicht gefunden" zurück. Bei einer plausiblen Anfrage erfand es jedoch die Suche selbst: eine gerankte Trefferliste mit einem frei erfundenen Relevanzwert und einem echten, anklickbaren Zitat, das auf das falsche Gesetz verwies. Die gefährliche Halluzination ist nicht der erfundene Fall, den man erwischt. Es ist das echte Zitat, das am falschen Inhalt hängt – und das Modell, das behauptet, etwas nachgeschlagen zu haben, obwohl es das nicht getan hat.

    Die Zahl, die jeder zitiert – und die, die alle übersehen

    HAQQ AI kostenlos testen

    Erleben Sie KI-gestützte juristische Recherche und Entwurf

    Wer sich im letzten Jahr nach Legal AI umgesehen hat, kennt die erschreckende Statistik. Eine Stanford-Studie aus 2024 maß Halluzinationsraten von 43% bei GPT-4, 33% bei Westlaws KI-Recherche und 17% bei Lexis+. Eine separate Datenbank erfasst inzwischen über 1.000 Gerichtsfälle, in denen Anwälte von KI erfundene Zitate eingereicht haben. Manche wurden mit Geldstrafen belegt.

    Halluzinationsraten bei juristischen Recherchetools

    Stanford, 2024, Anteil der Antworten mit einer Halluzination

    GPT-4 (allgemeines LLM)
    43%
    Westlaw KI-Recherche
    33%
    Lexis+ AI
    17%

    Retrieval-gestützte Legal-Tools schlagen allgemeine Modelle, doch die verbleibenden Fehler werden subtiler – etwa ein echtes Zitat, das am falschen Gesetz hängt.

    Der Rat, der darauf folgt, ist immer derselbe: jedes Zitat verifizieren. Richtig, und fast nutzlos, denn er unterstellt, dass Halluzinationen wie offensichtliche Fälschungen aussehen. Die, die Anwälte in Sanktionen bringen, tun das nicht. Also haben wir ein Experiment durchgeführt, um zu sehen, wie sie tatsächlich aussehen.

    Das Experiment: das Modell zur Bibliothek machen

    Die meisten Halluzinationstests stellen einem Modell eine Rechtsfrage und bewerten die Antwort. Wir haben etwas Ungewöhnlicheres gemacht. Mit einem Open-Source-Tool, world-model-harness, ließen wir Opus 4.8 die Rechtsdatenbank selbst spielen – die Suchmaschine, nicht den Anwalt.

    Der Aufbau in einfachen Worten: Wir haben echte Rechtsrechercheläufe gegen eine reale, jurisdiktionsübergreifende Datenbank aufgezeichnet – Gesetze und Rechtsprechung aus der EU, Frankreich und Deutschland. Dann haben wir das Modell trainiert, diese Datenbank zu spielen: Man schickt eine Anfrage, es liefert zurück, was die Datenbank seiner Meinung nach liefern würde – Suchtreffer, Dokumenttext, Zitate. Eine echte Datenbank ruft ab. Unsere sagt voraus. Die Lücke zwischen beidem ist die Halluzination, isoliert unter dem Mikroskop.

    Ein Geständnis aus dem Bauprozess: Unser erster Durchlauf zeigte fast 100% Zitatgenauigkeit, und wir haben fast gefeiert. Dann merkten wir, dass wir den Cache testeten, nicht das Modell – wir hatten ihm Anfragen vorgelegt, die es bereits kannte, also gab es einfach die echten Antworten wieder zurück. Für einen Nachmittag peinlich, für immer lehrreich: Der einzig ehrliche Test einer Legal AI läuft mit Fragen, die sie noch nie gesehen hat.

    Befund 1: Es erfindet kein Zitat aus dem Nichts

    Wir haben der gefälschten Bibliothek vier Referenzen vorgelegt, die es nirgendwo gibt: eine erfundene EU-Verordnung, einen fingierten Artikel des französischen Code civil, eine sinnlose CELEX-Dokumentnummer und einen erfundenen deutschen Verfassungsgerichtsfall.

    Alle vier Male antwortete es so, wie es eine echte Datenbank tun würde: Auflösung fehlgeschlagen, nicht gefunden. Es hat keinen plausiblen Fall erfunden, um die Lücke zu füllen. Das ist tatsächlich eine gute Nachricht und es wert, laut ausgesprochen zu werden. Frontier-Modelle sind 2026 deutlich besser kalibriert, als der Ruf „die erfinden einfach alles" nahelegt. Nach etwas Unmöglichem gefragt, lehnte Opus 4.8 ab. Wäre das die ganze Geschichte, könnte man sich entspannen. Ist sie nicht.

    Befund 2: Es erfindet die Suche selbst

    Dann stellten wir ihm etwas Plausibles, aber Ungesehenes: eine Frage zu den Regeln des EU AI Acts für Hochrisikosysteme. Das Modell produzierte eine vollständige, gerankte Datenbankantwort: mehrere Treffer, Daten aus dem Amtsblatt, einen Relevanzwert von 0,71243286 – alles so präsentiert, als käme es direkt aus EUR-Lex. Nichts davon wurde tatsächlich abgerufen. Es gab keinen Index, keine Suche, keinen Score. Es hat den Akt des Nachschlagens frei erfunden. Und die Zitate, die es lieferte, sind das Musterbeispiel dafür, warum das wichtig ist:

    • CELEX 32024R1689, echt und korrekt. Das ist tatsächlich der EU AI Act. Beeindruckende Trefferquote.
    • CELEX 32024R0900, echt, anklickbar und falsch. Dieses Zitat löst sich auf EUR-Lex einwandfrei auf – zur Verordnung (EU) 2024/900 über die Transparenz politischer Werbung. Sie hat nichts mit KI-Konformität zu tun.

    Genau das zweite ist der springende Punkt. Es ist kein gefälschtes Zitat – ein gefälschtes Zitat ist leicht zu erwischen, weil es sich nicht auflöst. Das hier ist ein echtes Zitat, das am falschen Gesetz hängt. Zitatprüfer nennen das ein Name/Cite-Mismatch. Man klickt darauf, eine offizielle EU-Verordnung lädt, alles wirkt legitim – und man hat sein Argument gerade im Werberecht verankert, während man dachte, es sei KI-Recht. Jeder Link löst sich auf. Nichts sieht falsch aus.

    Ehrlicher Vorbehalt: Das ist ein scharfer Proof-of-Concept, kein Benchmark – ein kleiner Korpus und eine einzige erwischte Fabrikation über eine Handvoll Prüfungen hinweg. Wir behaupten keine Rate. Wir zeigen Ihnen ein Muster.

    Warum dieser Fehler die Prüfung übersteht

    Zurück zum Standardrat: jedes Zitat verifizieren. Jetzt sehen wir, wie er versagt. Der Anwalt prüft das AI-Act-Zitat, echt. Prüft das nächste, auch echt, lädt einwandfrei. Verifizierung bestanden, denn Verifizierung bedeutet meist: funktioniert dieser Link, und jeder Link funktionierte. Der Fehler liegt nicht darin, ob das Zitat existiert. Er liegt darin, ob es das sagt, was das Modell behauptet hat – deutlich schwerer zu erwischen, und genau die Art von Fehler, die am Ende in einem Schriftsatz landet.

    Die tiefere Lehre betrifft, wo die Lüge eigentlich sitzt. Wir sorgen uns instinktiv, dass das Modell das Recht falsch versteht. Das eigentliche Risiko ist, dass es den Abruf falsch macht – dass der Satz „ich habe die Datenbank durchsucht und das gefunden" selbst die Halluzination ist, komplett mit einem gefälschten Konfidenzwert, der sie verkauft.

    HAQQs Einschätzung: Der Abruf ist die Halluzination

    Das ist der Grund, warum wir HAQQs Antworten in echtem Abruf verankern, statt ein Modell zu bitten, sich an das Recht aus dem Gedächtnis zu erinnern. Nicht weil Modelle dumm wären – dieses hier hat jedes unmögliche Zitat abgelehnt und die Nummer des AI Acts treffsicher genannt. Aber ein Modell, das zur Quelle gemacht wird, wird irgendwann den Abruf vortäuschen, den es nicht durchgeführt hat. Die einzige Lösung besteht darin, den Abruf echt zu machen: das tatsächliche Dokument aus einem tatsächlichen Index ziehen und dann verifizieren, dass sich das Zitat auf den Fall auflöst, den das Modell genannt hat – nicht nur auf irgendeinen Fall.

    Daraus folgt eine Frage für Käufer. Fragen Sie einen Legal-AI-Anbieter nicht, ob er halluziniert – jeder sagt nein. Fragen Sie stattdessen: Wenn Sie mir ein Zitat zeigen, haben Sie genau dieses Dokument abgerufen, und prüfen Sie, ob der Fallname zum Zitat passt? Das Name/Cite-Mismatch ist der Verräter. Ein Tool, das nur prüft, ob Zitate formal korrekt aussehen, lässt 32024R0900 anstandslos durchwinken.

    Die wichtigsten Erkenntnisse

    • Ein gut kalibriertes Frontier-Modell erfindet keine Zitate aus dem Nichts – es lehnte 4 von 4 unmöglichen Referenzen ab.
    • Bei plausiblen Anfragen erfindet es den Abruf selbst – inklusive gefälschtem Relevanzwert und einem echten Zitat, das auf das falsche Gesetz verweist.
    • Die gefährliche Halluzination ist die, die die Verifizierung besteht – jeder Link löst sich auf, nur der Inhalt stimmt nicht.
    • Legal AI in echtem Abruf plus Zitatabgleich verankern und Anbieter danach beurteilen, ob sie prüfen, dass ein Zitat das sagt, was sie behaupten – nicht nur, dass es existiert.

    Quellen & weiterführende Lektüre

    • Stanford: Assessing the Reliability of Leading AI Legal Research Tools (2024)
    • What the Science Says About Hallucinations in Legal Research (LLRX)
    • world-model-harness, das von uns verwendete Open-Source-Tool

    Verfasst von

    Stephane Boghossian
    Stephane Boghossian

    Wachstumsleiter

    Stephane leitet das Wachstum bei HAQQ und schreibt die Rubrik KI und Legal Tech: Modell-Benchmarks, Tool-Vergleiche und die Technik, mit der juristische KI in der Praxis besteht.

    Alle Artikel dieses AutorsLinkedIn

    Verwandte Ressourcen

    Is AI Legal Advice Safe and Accurate? What to Check Before You Trust a Legal AIDeath of the Billable Hour: How AI Reprices Legal WorkThe Justinian engineAI Hallucination Cases: The 2,202-Case Sanctions Tracker

    Verwandte Artikel

    KI-Rechtszitate vor der Einreichung prüfen: Kuwait, Ägypten und Libanon
    Leitfaden

    KI-Rechtszitate vor der Einreichung prüfen

    KI-Rechtszitate vor der Einreichung prüfen: Kuwait, Ägypten und Libanon

    So testen Sie eine Legal AI: 5 Fangfragen, 4 Frontier-Modelle
    Benchmark

    So testen Sie eine Legal AI

    So testen Sie eine Legal AI: 5 Fangfragen, 4 Frontier-Modelle

    KI-Halluzinationsfälle: Der Sanktions-Tracker mit 2.202 Fällen
    Daten

    KI-Halluzinationsfälle

    KI-Halluzinationsfälle: Der Sanktions-Tracker mit 2.202 Fällen

    Häufig gestellte Fragen

    Halluzinieren KI-Tools für die juristische Recherche 2026 noch?

    Ja, aber die Rate hängt stark von der Architektur ab. Allgemeine Modelle halluzinieren am meisten; Tools, die Antworten in echten Dokumenten verankern (Retrieval-Augmented Generation), halluzinieren weit weniger. Eine Stanford-Studie von 2024 maß 43 % für GPT-4 gegenüber 17 bis 33 % für retrievalbasierte juristische Tools. Die verbleibenden Fehler sind subtiler, etwa ein echtes Zitat, das dem falschen Gesetz zugeordnet ist.

    Was ist ein Name/Zitat-Mismatch?

    Es liegt vor, wenn ein Zitat echt ist und zu einem tatsächlichen Dokument führt, aber zu einem anderen Fall oder Gesetz als dem genannten. Es besteht eine naive Prüfung, ob der Link funktioniert, und ist deshalb gefährlicher als ein offensichtlich erfundenes Zitat, weil an der Oberfläche nichts falsch aussieht.

    Reicht Retrieval-Augmented Generation (RAG), um Halluzinationen zu stoppen?

    Sie verringert sie drastisch, ist aber keine Zauberei. RAG kann trotzdem ein echtes Dokument liefern und falsch zuordnen. Der entscheidende Schritt ist die Überprüfung: bestätigen, dass das abgerufene Zitat zur Aussage passt, nicht nur, dass es existiert.

    Wie sollte ein Anwalt KI-generierte Zitate überprüfen?

    Prüfen Sie, dass jedes Zitat auflösbar ist und dass das Dokument, zu dem es führt, tatsächlich besagt, was die KI behauptet: die Entscheidung, den Gegenstand der Verordnung, die Artikelnummer. Der Mismatch versteckt sich im zweiten Schritt, nicht im ersten.

    Kann man KI juristische Recherche anvertrauen?

    Nur mit Überprüfung und der richtigen Architektur. Behandeln Sie KI-Ergebnisse wie die eines schnellen, aber unerfahrenen Rechercheurs: nützlich für Tempo, nie die letzte Instanz. Bevorzugen Sie Tools, die aus echten Quellen abrufen, und prüfen Sie, dass Zitate zur Aussage passen, bevor Sie sich darauf verlassen.

    Was kommt als Nächstes?

    HAQQ AI kostenlos testen

    Erleben Sie KI-gestützte juristische Recherche und Entwurf

    ROI berechnen

    Sehen Sie, wie viel Zeit und Geld HAQQ Ihrer Kanzlei spart

    600+ juristische Prompts durchsuchen

    Sofort einsatzbereite Prompts für jede juristische Aufgabe

    Zurück zum Blog

    Vorheriger Artikel

    Ist es sicher, ChatGPT für Ihre Scheidung zu nutzen? Was das Vertraulichkeitsurteil von 2026 ändert

    Nächster Artikel

    Was ist ein KI-nativer Anwalt? Der Überlebensplan

    Auf dieser Seite

    5 Min. Lesezeit

    1. 01Die Zahl, die jeder zitiert – und die, die alle übersehen
    2. 02Das Experiment: das Modell zur Bibliothek machen
    3. 03Befund 1: Es erfindet kein Zitat aus dem Nichts
    4. 04Befund 2: Es erfindet die Suche selbst
    5. 05Warum dieser Fehler die Prüfung übersteht
    6. 06HAQQs Einschätzung: Der Abruf ist die Halluzination
    7. 07Die wichtigsten Erkenntnisse
    8. 08Quellen & weiterführende Lektüre

    Diesen Artikel teilen

    Setzen Sie das ein

    Stellen Sie HAQQ die Frage, die dieser Artikel bei Ihnen aufgeworfen hat.

    HAQQ across all devices
    HAQQ Legal AI Platform Logo

    Ihr juristischer KI-Zwilling und Kanzleimanagement-System für Entwurf, Abrechnung und Gewinnen.

    Laden imApp StoreJetzt beiGoogle Play

    Dokumentationen

    • Docs wird in einem neuen Tab geöffnet
    • Erste Schritte wird in einem neuen Tab geöffnet
    • Newsroom wird in einem neuen Tab geöffnet
    • Produkt-Updates wird in einem neuen Tab geöffnet
    • Status wird in einem neuen Tab geöffnet
    • Vertrauen wird in einem neuen Tab geöffnet
    • Sicherheit
    • FAQ wird in einem neuen Tab geöffnet
    • Community wird in einem neuen Tab geöffnet
    • Support wird in einem neuen Tab geöffnet

    Academy

    • Partner wird in einem neuen Tab geöffnet
    • Kurs wird in einem neuen Tab geöffnet
    • Prompts wird in einem neuen Tab geöffnet
    • Labs wird in einem neuen Tab geöffnet

    Website

    • eFirm
    • Juristischer KI-Chat
    • Mobile App
    • Justinian KI-Engine
    • HAQQ eBar
    • HAQQ eWallet
    • Preise
    • Vergleichen Sie uns
    • Lösungen
    • Blog
    • Team kennenlernen
    • Mach mit wird in einem neuen Tab geöffnet
    App öffnen
    • Sprachenenarfresitdeptrohics
    • Kontaktinfo@haqq.ai
    • Statusbetriebsbereit·fundiert
    • Nutzungsbedingungen
    • Datenschutzrichtlinie
    • Cookie-Richtlinie
    • Datenverarbeitung
    • Menschen wird in einem neuen Tab geöffnet
    • Anwälte wird in einem neuen Tab geöffnet
    • Sicherheit wird in einem neuen Tab geöffnet
    © 2026 HAQQ Inc. Alle Rechte vorbehalten.Produkt intern von HAQQ entwickelt. Website mit modernen Web-Tools gebaut.