Warum menschliche Aufsicht bei Rechts-KI nicht optional ist
Im Oktober 2024 erfand der Kundenservice-Chatbot einer Fluggesellschaft eine Rückerstattungsrichtlinie, die es gar nicht gab. Er versprach einem trauernden Kunden einen Trauerfall-Rabatt, erfand die Bedingungen frei, und das Unternehmen war rechtlich verpflichtet, sie einzuhalten. Die Fluggesellschaft argumentierte, der Bot sei eine eigenständige Instanz. Das Gericht widersprach. Die Lehre daraus war teuer und aufschlussreich: Wenn ein KI-System im Namen einer Organisation handelt, trägt die Organisation die Haftung – unabhängig davon, ob zuvor ein Mensch die Ausgabe genehmigt hat.
Für Anwaltskanzleien sind die Einsätze ungleich höher. Eine KI, die ein Gerichtsurteil halluziniert, sorgt nicht nur für Peinlichkeit – sie kann Sanktionen, Haftpflichtansprüche und den Verlust von über Jahrzehnte aufgebautem Mandantenvertrauen nach sich ziehen. Die treuhänderischen Pflichten der Anwaltschaft, die Vertraulichkeitsanforderungen und die Regeln der beruflichen Verantwortung machen menschliche Aufsicht nicht zur Best Practice, sondern zur nicht verhandelbaren strukturellen Voraussetzung.
Das ist kein Argument gegen Rechts-KI. Es ist ein Argument für ihren richtigen Einsatz. Die Kanzleien, die den größten Wert aus KI ziehen, sind nicht die, die am meisten automatisieren – es sind die, die die wirksamsten Human-in-the-Loop-Architekturen entworfen haben. Sie nutzen KI, um Informationen sichtbar zu machen, zu ordnen und vorzuschlagen. Sie setzen Menschen ein, um zu entscheiden, zu verifizieren und Verantwortung zu übernehmen.
Was Human-in-the-Loop tatsächlich bedeutet
Der Begriff „Human-in-the-Loop“ (HITL) ist mittlerweile so populär, dass er an Präzision verloren hat. In seinem ursprünglichen technischen Kontext beschreibt er ein System, in dem eine Bedienperson in den Entscheidungszyklus eingebunden ist – nicht als Beobachter, sondern als notwendiger Teilnehmer, dessen Zustimmung die Ausgabe des Systems freigibt. Der Mensch überwacht nicht nur, er bewertet, verändert und autorisiert.
In der Rechts-KI ist diese Unterscheidung von großer Bedeutung. Es besteht ein wesentlicher Unterschied zwischen einem System, das einer Anwältin oder einem Anwalt erlaubt, eine KI-Ausgabe vor ihrer Verwendung zu prüfen (Human-in-the-Loop), und einem System, das eine Anwältin oder einen Anwalt erst benachrichtigt, nachdem die KI bereits gehandelt hat (Human-on-the-Loop). Ersteres ist Aufsicht. Letzteres ist Benachrichtigung. Nur das erste Modell erfüllt die Standards der beruflichen Verantwortung, die für die Rechtspraxis gelten.
Die drei Stufen menschlicher Beteiligung
Forschende der Vanderbilt Law School und der University of Colorado haben das Spektrum menschlicher Beteiligung an KI-Systemen in drei Stufen formalisiert. Human-in-the-Loop (HITL) verlangt menschliche Zustimmung, bevor eine KI-Ausgabe wirksam wird. Human-on-the-Loop (HOTL) lässt die KI autonom handeln, während ein Mensch überwacht und eingreifen kann. Human-out-of-the-Loop (HOOTL) entfernt den Menschen vollständig. Bei juristischer Arbeit mit privilegierten Informationen, mandantengerichteter Kommunikation oder bindenden Verpflichtungen erfüllt nur HITL den beruflichen Standard.
Die fünf Fehlermodi, die nur Menschen erkennen
Das Argument für Human-in-the-Loop ist nicht theoretischer Natur. Es stützt sich auf konkrete, gut dokumentierte Fehlermodi von KI-Systemen, die sich durch keine noch so große Modellverbesserung vollständig beseitigen lassen. Diese Fehlermodi zu verstehen, ist für jede Kanzlei, die Rechts-KI einsetzt, unerlässlich.
Halluzinierte Zitate und erfundene Rechtsgrundlagen
Der berüchtigtste Fehlermodus. Große Sprachmodelle erzeugen Texte, die mit der Überzeugungskraft geltenden Rechts klingen, sich dabei aber auf Urteile, Gesetze oder Verordnungen beziehen, die es gar nicht gibt. Das National Center for State Courts hat konkrete Leitlinien zu KI-Halluzinationen im juristischen Kontext veröffentlicht und Fälle dokumentiert, in denen KI-generierte Schriftsätze erfundene Präzedenzfälle mit plausibel klingenden Fallnamen, Aktenzeichen und Urteilsgründen zitierten. Keine Genauigkeitskennzahl kann das verhindern – nur eine ausgebildete Anwältin oder ein ausgebildeter Anwalt, die bzw. der jedes Zitat gegen verlässliche Quellen prüft.
Falsche Anwendung der Rechtsordnung
KI-Modelle, die überwiegend mit US-amerikanischen oder britischen Rechtstexten trainiert wurden, wenden Common-Law-Argumentation auf Civil-Law-Rechtsordnungen an. Sie zitieren UCC-Bestimmungen für einen Vertrag, der VAE-Recht unterliegt. Sie wenden DSGVO-Standards auf eine saudi-arabische Vereinbarung zur Datenverarbeitung an. Solche Fehler bleiben für jeden unsichtbar, der den spezifischen rechtlichen Rahmen der maßgeblichen Rechtsordnung nicht versteht. Eine menschliche Prüfperson mit einschlägiger Fachkenntnis erkennt, was das Modell nicht kann: die grundsätzliche Unanwendbarkeit des von der KI verwendeten Rechtsrahmens.
Kontextverlust
KI-Systeme verarbeiten Text sequenziell, doch juristische Dokumente sind nicht sequenziell – sie sind Netzwerke aus Querverweisen, definierten Begriffen und bedingten Klauseln. Eine Haftungsbeschränkungsklausel, die isoliert betrachtet standardmäßig erscheint, kann durch eine Ausnahmeregelung in einem anderen Abschnitt bedeutungslos werden. Eine scheinbar vollständige Freistellungsklausel kann durch ein Side Letter geändert werden, das der KI nicht vorlag. Kontextverlust – das Unvermögen zu verstehen, wie einzelne Bestimmungen zusammenwirken – ist eine strukturelle Grenze heutiger KI-Systeme, die menschliches Urteilsvermögen ausgleicht.
Verstöße gegen Anwaltsgeheimnis und Vertraulichkeit
Wenn Anwältinnen und Anwälte öffentliche KI-Tools – ChatGPT, Claude oder ein beliebiges Verbraucher-LLM – zur Analyse von Mandantendokumenten nutzen, schaffen sie einen möglichen Verzicht auf das Anwaltsgeheimnis. Die privilegierten Informationen des Mandanten werden an einen Server eines Drittanbieters übertragen, von einem Modell verarbeitet, das sie möglicherweise für Trainingszwecke nutzt, und in Systemen außerhalb der Kontrolle der Anwältin oder des Anwalts gespeichert. Wie wir in unserer Analyse zu KI und Anwaltsgeheimnis dargelegt haben, macht die Fallreihe In re National Western deutlich: Das Anwaltsgeheimnis setzt angemessene Maßnahmen zur Wahrung der Vertraulichkeit voraus. Das Versenden privilegierter Dokumente an einen öffentlichen KI-Dienst erfüllt diesen Standard möglicherweise nicht.
Falsche Sicherheit und Automatisierungsverzerrung
Vielleicht der tückischste Fehlermodus. KI-Systeme präsentieren ihre Ausgaben mit gleichbleibender Sicherheit, unabhängig davon, ob die zugrunde liegende Analyse fundiert oder grundlegend fehlerhaft ist. Ein Modell, das eine hochriskante Klausel mit 95 % Konfidenz als „Standard – keine Auffälligkeiten festgestellt“ markiert, erzeugt eine gefährliche Asymmetrie: Die Anwältin oder der Anwalt vertraut dem Konfidenzwert und verzichtet auf eine genauere Prüfung. In der Fachzeitschrift Nature veröffentlichte Forschung hat dieses Phänomen als „Automatisierungsverzerrung“ (automation bias) dokumentiert – die Tendenz menschlicher Bediener, sich auf automatisierte Systeme zu verlassen, selbst wenn die eigene Fachkenntnis zu einem anderen Ergebnis führen würde. Wirksames HITL-Design muss dieser Verzerrung aktiv entgegenwirken.
Der regulatorische Auftrag für menschliche Aufsicht
Human-in-the-Loop ist nicht bloß eine bewährte Praxis – es wird zunehmend zur rechtlichen Pflicht. In immer mehr Rechtsordnungen kodifizieren Regulierungsbehörden die Erwartung, dass Hochrisiko-KI-Systeme eine wirksame menschliche Aufsicht enthalten müssen.
Der EU AI Act: Artikel 14
Der EU AI Act, der 2024 in Kraft trat und bis 2026 schrittweise vollständig anwendbar wird, verlangt ausdrücklich eine „wirksame menschliche Aufsicht“ für Hochrisiko-KI-Systeme. Artikel 14 schreibt vor, dass Menschen die Fähigkeiten und Grenzen des KI-Systems vollständig verstehen, seinen Betrieb wirksam überwachen und seine Ausgaben unterbrechen oder außer Kraft setzen können müssen. Rechts-KI-Systeme, die Verträge verarbeiten, Risiken bewerten oder mandantengerichtete Dokumente erzeugen, gelten nach der Einstufung des Gesetzes nahezu sicher als hochriskant.
ABA Model Rules und Leitlinien der State Bars
Die Model Rules of Professional Conduct der American Bar Association erwähnen KI nicht namentlich, ihre Anwendung ist jedoch eindeutig. Rule 1.1 (Kompetenz) verlangt, dass Anwältinnen und Anwälte die von ihnen genutzten Werkzeuge – einschließlich KI-Tools – gut genug verstehen, um deren Ausgaben zu bewerten. Rule 5.1 und 5.3 (Aufsichtspflichten) erweitern die Aufsichtspflicht auf nicht-anwaltliche Hilfskräfte, was Gerichte und Ethikkommissionen dahingehend ausgelegt haben, dass sie auch KI-Systeme umfasst. Mehrere State Bars – darunter Kalifornien, Florida und New York – haben förmliche Leitlinien erlassen, die Anwältinnen und Anwälte verpflichten, KI-generierte Arbeitsergebnisse zu prüfen und zu verifizieren.
Regulatorische Rahmenwerke in der MENA-Region
In der MENA-Region entwickeln sich die regulatorischen Rahmenwerke rasant weiter. Die über ADGM und DIFC entwickelten KI-Governance-Prinzipien der VAE betonen Rechenschaftspflicht, Erklärbarkeit und menschliche Aufsicht für KI-Systeme in regulierten Sektoren. Saudi-Arabiens SDAIA hat KI-Ethikprinzipien veröffentlicht, die Anforderungen an menschliche Aufsicht enthalten. Für Kanzleien, die in mehreren Golfstaaten tätig sind, ist die Erwartung eindeutig: KI-generierte Arbeitsergebnisse müssen von qualifizierten Fachleuten beaufsichtigt werden.
Wirksame Human-in-the-Loop-Systeme gestalten
Zu wissen, dass menschliche Aufsicht notwendig ist, ist nicht dasselbe wie zu wissen, wie man sie wirksam umsetzt. Schlecht konzipierte HITL-Systeme schaffen das Schlechteste aus beiden Welten: Sie verlangsamen Arbeitsabläufe, ohne die Genauigkeit spürbar zu verbessern. Wirksames HITL erfordert bewusste architektonische Entscheidungen.
Strukturierte Prüf-Gates
Jede KI-Ausgabe muss ein festgelegtes Prüf-Gate durchlaufen, bevor sie wirksam wird. Das ist kein bloßer Vorschlagskasten – es ist ein hartes Stopp-Kriterium. Das System muss verhindern, dass KI-generierte Entwürfe an Mandanten verschickt werden, dass KI-markierte Risiken ohne Prüfung verworfen werden oder dass KI-vorgeschlagene Änderungen ohne anwaltliche Freigabe übernommen werden. Das Gate ist architektonisch verankert, nicht verhaltensabhängig. Es ist fest im System verbaut und nicht der individuellen Disziplin überlassen.
Erklärbare KI-Ausgaben
Ein Mensch kann nicht sinnvoll prüfen, was er nicht versteht. Wirksames HITL erfordert, dass KI-Ausgaben mit Erklärungen versehen sind: Warum wurde diese Klausel markiert? Welche Abweichung wurde festgestellt? Worauf beruht die Risikobewertung? Systeme, die Schlussfolgerungen ohne Begründung präsentieren – „hohes Risiko“ ohne Erklärung – machen eine sinnvolle Prüfung unmöglich. Die Anwältin oder der Anwalt muss die Argumentation der KI bewerten können, nicht nur ihr Ergebnis.
HAQQ AI kostenlos testen
Erleben Sie KI-gestützte juristische Recherche und Entwurf
Kalibrierte Vertrauenssignale
Um der Automatisierungsverzerrung entgegenzuwirken, müssen wirksame HITL-Systeme Vertrauen kalibrieren. Das bedeutet, Unsicherheit sichtbar zu machen: zu markieren, wenn die Konfidenz der KI niedrig ist, wenn die Eingabe außerhalb ihrer Trainingsverteilung liegt oder wenn mehrere Interpretationen plausibel sind. Ein System, das sagt „Diese Klausel ist ungewöhnlich – ich bin mir bei meiner Analyse weniger sicher“, lädt zu genauerer Prüfung ein. Ein System, das sagt „Standard – keine Auffälligkeiten“, hält davon ab. Die Gestaltung der Vertrauenssignale wirkt sich unmittelbar auf die Qualität der menschlichen Prüfung aus.
Vollständige Audit-Trails
Jede Interaktion zwischen der KI und der prüfenden Person muss protokolliert werden. Was hat die KI vorgeschlagen? Was hat die Anwältin oder der Anwalt geändert? Wie sah die endgültige freigegebene Fassung aus? Wann wurde sie freigegeben, und von wem? Dieser Audit-Trail erfüllt drei Zwecke: Er schafft eine Compliance-Dokumentation für regulatorische Anforderungen, er liefert einen Nachweis kompetenter Aufsicht zur Verteidigung gegen Haftpflichtansprüche, und er erzeugt Trainingsdaten, die das KI-System im Laufe der Zeit verbessern.
Die Herausforderung agentischer KI
Der Aufstieg agentischer KI-Systeme – KI, die planen, mehrstufige Aufgaben ausführen und autonom handeln kann – macht HITL wichtiger, nicht weniger wichtig. Da KI-Systeme zunehmend nicht nur Dokumente analysieren, sondern auch E-Mails versenden, Dokumente einreichen, Datenbanken aktualisieren und Arbeitsabläufe auslösen können, vervielfachen sich die Folgen unbeaufsichtigten Handelns.
Das Harvard Journal of Law & Technology hat dafür plädiert, die Fahrlässigkeitsstandards speziell für KI-Systeme mit autonomen Fähigkeiten neu zu definieren. Die zentrale Frage ist nicht, ob die KI einen Fehler gemacht hat, sondern ob die einsetzende Organisation eine angemessene menschliche Aufsicht über die Handlungen der KI aufrechterhalten hat. In einem agentischen Kontext bedeutet HITL nicht nur die Prüfung von Ausgaben, sondern auch die Kontrolle darüber, welche Handlungen die KI autonom ausführen darf und welche eine menschliche Freigabe erfordern.
Für Rechts-KI im Besonderen sollte der Grundsatz konservativ sein: Die KI schlägt vor, der Mensch entscheidet. Die KI kann ein Memo entwerfen, aber eine Anwältin oder ein Anwalt versendet es. Die KI kann ein Risiko markieren, aber eine Anwältin oder ein Anwalt entscheidet, was damit geschieht. Die KI kann eine Änderung vorschlagen, aber eine Anwältin oder ein Anwalt setzt sie um. In dem Moment, in dem ein KI-System bindende rechtliche Handlungen ohne menschliche Freigabe vornehmen kann, hat die Kanzlei die Grenze vom Werkzeug zum Haftungsrisiko überschritten.
Wie HAQQ menschliche Aufsicht in jede Ebene einbaut
HAQQ wurde von Grund auf als Human-in-the-Loop-System konzipiert. Das ist keine nachträglich zu einer bestehenden Automatisierungsplattform hinzugefügte Funktion – es ist das architektonische Fundament der gesamten Plattform.
Souveräne, geschlossene Verarbeitung
Die gesamte KI-Verarbeitung bei HAQQ erfolgt innerhalb der sicheren Infrastruktur der Plattform. Keine Mandantendaten werden an KI-Anbieter Dritter übermittelt. Keine Dokumente werden von Modellen verarbeitet, die die Kanzlei nicht selbst kontrolliert. Das eliminiert das Risiko für das Anwaltsgeheimnis bereits auf Infrastrukturebene – die Daten verlassen die beaufsichtigte Umgebung nie.
Verpflichtende Prüf-Gates
Jede KI-generierte Ausgabe bei HAQQ – ob Vertragsrisikobewertung, Recherchememo, Klauselentwurf oder Mandantenkommunikation – durchläuft ein verpflichtendes Prüf-Gate. Das System lässt nicht zu, dass KI-Ausgaben Mandanten, Gerichte oder Vertragspartner erreichen, ohne dass eine Anwältin oder ein Anwalt sie ausdrücklich freigegeben hat. Das wird auf Plattformebene durchgesetzt, nicht der individuellen Arbeitsdisziplin überlassen.
Erklärbare Justinian-Engine
HAQQs Justinian-Engine liefert nicht nur Schlussfolgerungen – sie zeigt ihre Argumentation. Wenn Justinian eine Klausel als hochriskant markiert, erklärt sie, von welchem Playbook-Standard die Klausel abweicht, wie die erwartete Formulierung lauten würde und worin das konkrete Risiko besteht. Diese Erklärbarkeit macht eine sinnvolle menschliche Prüfung erst möglich. Die Anwältin oder der Anwalt stempelt keine Blackbox-Ausgabe unbesehen ab – sie oder er bewertet eine dokumentierte Analyse.
Anwaltliche Zuordnung und Audit
Jedes finale Arbeitsergebnis bei HAQQ trägt eine anwaltliche Zuordnung. Das System protokolliert, wer die KI-Ausgabe geprüft hat, welche Änderungen vorgenommen wurden und wann die endgültige Fassung freigegeben wurde. Das schafft einen vollständigen Audit-Trail, der regulatorische Anforderungen erfüllt, Argumente für kompetente Aufsicht stützt und die Compliance-Dokumentation liefert, die Berufshaftpflichtversicherer zunehmend erwarten.
Die Zukunft: Von der Aufsicht zur Partnerschaft
Die Entwicklung der Rechts-KI führt nicht dahin, menschliches Urteilsvermögen zu ersetzen – sie führt dahin, es zu erweitern. Die produktivsten Partnerschaften zwischen Mensch und KI werden jene sein, in denen die KI das übernimmt, was sie am besten kann (große Datenmengen verarbeiten, Konsistenz wahren, Muster sichtbar machen), und der Mensch das, was er am besten kann (Urteilsvermögen ausüben, Kontext verstehen, Verantwortung übernehmen).
Die Kanzleien, die die nächste Generation der Rechtspraxis anführen werden, entscheiden sich nicht zwischen KI und menschlicher Aufsicht. Sie bauen Systeme, in denen beide zusammenwirken, mit klaren Grenzen, transparenter Argumentation und eindeutiger Verantwortlichkeit. Die KI schlägt vor. Der Mensch entscheidet. Das System dokumentiert alles.
Das ist kein Kompromiss. Es ist die optimale Architektur. Und genau das ist es, was HAQQ zu leisten imstande ist.
Die Frage ist nicht, ob man KI in der Rechtspraxis einsetzt – die Frage ist, ob der KI-Einsatz die menschliche Aufsicht wahrt, die berufliche Verantwortung verlangt. Technologie, die die Anwältin oder den Anwalt aus dem Entscheidungskreis entfernt, ist kein Werkzeug. Sie ist ein Haftungsrisiko. Technologie, die es der Anwältin oder dem Anwalt ermöglicht, schneller, mit besseren Informationen und lückenloser Dokumentation zu entscheiden, ist die Zukunft der Rechtspraxis.
- HAQQ Legal AI testen
- Den Leitfaden zur KI-Vertragsprüfung lesen
- KI und Anwaltsgeheimnis
- HAQQ vs. ChatGPT im Vergleich
