Red Flags bei Rechts-KI-Anbietern: Die 45-Punkte-Checkliste

"Vibe Procurement" ist das schlechtgehütete Geheimnis der Legal-Tech-Branche. Eine polierte Demo, ein paar Buzzwords und ein charismatischer Vertriebler – und schon hat sich Ihre Kanzlei zu einem sechsstelligen Vertrag für ein KI-Tool verpflichtet, das niemand wirklich sorgfältig geprüft hat.

Wichtige Fakten

• 45 konkrete Red Flags über 8 Bewertungskriterien, entnommen aus dem ersten käuferorientierten KI-Bewertungsframework der Rechtsbranche (legalbenchmarks.ai).
• Faustregel: mehr als 10 Red Flags bei einem Anbieter = ein Problem; mehr als 20 = Vibe-Procurement-Territorium.

Wir haben kürzlich am ersten käuferorientierten Framework und Toolkit der Rechtsbranche zur Bewertung von KI-Tools für Rechtsteams mitgewirkt. Aus dieser Arbeit haben wir 45 konkrete Red Flags extrahiert – die Warnsignale, auf die Ihr Team bei 8 zentralen Bewertungskriterien achten sollte. Jedes davon ist ein praktisches Signal, das Sie während einer Demo, in der Anbieterdokumentation oder im Vertrag selbst erkennen können.

Wenn Sie mehr als eine Handvoll dieser Signale bei einem Anbieter erkennen, den Sie gerade prüfen, ist es vielleicht Zeit, härtere Fragen zu stellen – oder das Gespräch zu beenden.

1. Strategische Passung

Bei der strategischen Passung scheitern die meisten Bewertungen zuerst. Sie fragen nicht nur "Kann dieses Tool KI?" – Sie fragen, ob es für Organisationen wie die Ihre gebaut wurde, mit Ihren Systemen funktioniert und Ihre Jurisdiktionen abdeckt.

1.1 Passung zu Ihrer prioritären Rechtsarbeit

• 🚩 Die Website zeigt keine Kunden mit einem Ihrer Organisation, Teamgröße oder Branche ähnlichen Profil.
• 🚩 Fallstudien und Anwendungsfälle richten sich an ein anderes Käuferprofil als Ihres.

1.2 Passung zu Ihren Systemen und Ihrem Betriebsmodell

• 🚩 Die hervorgehobenen Integrationen sind nicht die für Ihre Umgebung relevanten.
• 🚩 Das Ökosystem scheint für einen anderen Unternehmenstyp optimiert zu sein (z. B. Startup-Tools statt Enterprise-Systeme).

1.3 Passung zu Ihren Jurisdiktionen, Sprachen und der Produktrichtung

• 🚩 Geht standardmäßig von US- oder rein englischsprachigen Annahmen mit schwacher regionaler Abdeckung aus.
• 🚩 Die kürzlich angekündigte Produktrichtung oder der Marktfokus passt nicht zu den wahrscheinlichen Bedürfnissen Ihres Rechtsteams.

2. Funktionalität

KI-Demos sehen immer beeindruckend aus. Der echte Test ist, was passiert, wenn ein Anwalt sie an einem Montagmorgen mit einem 200-seitigen Vertrag nutzt, der 2019 von einem Faxgerät eingescannt wurde.

2.1 Für Anwälte mit minimaler Reibung nutzbar

• 🚩 Die Oberfläche ist überladen oder zentrale Funktionen sind schwer zu finden.
• 🚩 Zu viele Klicks, Dropdowns oder manuelle Schritte für gängige Arbeitsabläufe.
• 🚩 Das Produkt ist für einen Anwalt in der Praxis nicht intuitiv bedienbar.

2.2 Kommt mit realen Eingabebedingungen zurecht

• 🚩 Schneidet bei minderwertigen Scans oder dichten, stark formatierten Verträgen schlecht ab.
• 🚩 Hat Schwierigkeiten mit längeren oder komplexeren Dokumenten oder der Prüfung mehrerer Dokumente gleichzeitig.
• 🚩 Kann unübersichtliche, reale Rechtsdokumente nicht zuverlässig verarbeiten.

3. Robustheit

Dies ist die Kategorie, in der die Lücke zwischen Marketing und Realität am größten ist. Bei Robustheit geht es nicht darum, ob die KI eine Antwort liefern kann – sondern ob Sie ihr vertrauen können.

3.1 Präzise, vollständige und zuverlässige Ergebnisse

• 🚩 Halluzinierte Inhalte, übersehene Klauseln oder stillschweigend gekürzte Ausgaben.
• 🚩 Übermäßig selbstsichere oder gefällige Ausgaben, die Unsicherheit oder Risiko nicht kennzeichnen.

3.2 Überprüfbar und unabhängig validiert

• 🚩 Genauigkeitsangaben beruhen ausschließlich auf Selbstauskunft, ohne Bereitschaft zur unabhängigen Überprüfung.
• 🚩 Keine veröffentlichte Methodik hinter Leistungsangaben; Zahlen ohne Kontext oder Testbedingungen.

3.3 Stabile Leistung unter realistischen Bedingungen

• 🚩 Das Modell verliert den Kontext, widerspricht sich selbst oder stimmt eindeutig falschen Annahmen zu.
• 🚩 Wählt standardmäßig den falschen rechtlichen Kontext oder übersieht offensichtliche wesentliche Risiken.

4. Sicherheit

Sicherheit ist kein Häkchen zum Abhaken – sie ist eine Architekturfrage. Jeder Anbieter kann behaupten, "sicher" zu sein. Entscheidend ist, ob er im Detail erklären kann, wie, und dies mit Nachweisen belegen kann.

4.1 Transparente Architektur und Datenfluss

• 🚩 Erklärungen sind vage, widersprüchlich oder stützen sich auf generische Diagramme ohne operative Details.
• 🚩 Fehlende ISO-27001- oder SOC-2-Berichte, oder der Anbieter stützt sich hauptsächlich auf die Zertifizierungen von Subunternehmern statt auf eigene.

4.2 Starke Zugriffskontrolle, Isolation und Abrufgrenzen

• 🚩 Geschützte Inhalte können zwischen Nutzern, Mandaten oder Workspaces durchsickern.
• 🚩 Der Anbieter kann nicht klar erklären, wie Kundendaten getrennt werden.

4.3 Sicheres Verhalten bei Missbrauch und Fehlerfällen

• 🚩 Prompt-Injection ist erfolgreich, oder Aktionen können ohne ordnungsgemäße Freigabe ausgelöst werden.
• 🚩 Dem Anbieter fehlen glaubwürdige Nachweise für Sicherheitstests und Reaktionsbereitschaft.

5. Datenschutz

Bei Datenschutz in Legal AI geht es nicht um DSGVO-Compliance-Badges auf einer Website. Es geht darum, ob die tatsächlichen Datenpraktiken des Anbieters mit seinen Versprechen übereinstimmen – und ob die vertraulichen Informationen Ihrer Mandanten wirklich geschützt sind.

5.1 Vertragliche Grenzen der Datennutzung

• 🚩 "Kein Training mit Kundendaten" taucht nur im Marketing auf, nicht als vertragliche Verpflichtung.
• 🚩 Breit formulierte "Serviceverbesserung"-Klauseln erlauben weiterhin die Nutzung anonymisierter oder aggregierter Daten.
• 🚩 Rechte zur menschlichen Durchsicht sind unklar oder unzureichend eingeschränkt.

5.2 Löschung und Lebenszyklus-Kontrolle

• 🚩 Kein klarer Mechanismus, um auf Anfrage die vollständige Löschung von Daten zu bestätigen.
• 🚩 Aufbewahrungsfristen sind unbegrenzt, undefiniert oder nicht vertraglich festgelegt.

5.3 Verarbeitung, Lokalisierung und Governance abgeleiteter Daten

• 🚩 Der Anbieter kann nicht klar angeben, wo Daten verarbeitet oder gespeichert werden.
• 🚩 Embeddings und abgeleitete Daten werden als außerhalb des Schutzrahmens des Kunden behandelt.

6. Anbieterrisiko

Anbieterrisiko geht über finanzielle Stabilität hinaus. Es geht darum, ob Sie kündigen können, was mit Ihren Daten passiert, falls der Anbieter scheitert, und ob seine Zusagen durchsetzbar sind.

6.1 Klare vertragliche und sicherheitsbezogene Zusagen

• 🚩 Rechte an den Ergebnissen sind unklar, oder wichtige Schutzmaßnahmen stehen nur in veränderlicher Web-Dokumentation.
• 🚩 Kontinuitätsschutz ist schwach oder mehrdeutig.

6.2 Echter Ausstieg, Portabilität und Verantwortlichkeit

• 🚩 Playbooks, Klauselregeln, Verhandlungsleitfäden oder Freigabelogik können bei einer Kündigung nicht extrahiert werden.
• 🚩 Konfiguration und institutionelles Wissen sind im Tool gefangen.

6.3 Glaubwürdiges Anbieterverhalten und Resilienz

• 🚩 Der Anbieter ist intransparent, übertreibt seine Reife oder hat keine glaubwürdige Referenzbasis.
• 🚩 Kann nicht zeigen, wie er mit Störungen oder Ausfällen umgehen würde.

7. Einführungsunterstützung

Das beste KI-Tool der Welt ist wertlos, wenn es niemand nutzt. Bei der Einführungsunterstützung zeigt sich, ob der Anbieter in Ihren Erfolg investiert – oder nur am Vertragsabschluss interessiert ist.

7.1 Schulung und Onboarding, die für juristische Nutzer funktionieren

• 🚩 Schulungsmaterialien sind generisch, dünn oder veraltet (z. B. seit über 6 Monaten nicht aktualisiert).
• 🚩 Begrenzte Self-Service-Ressourcen; Onboarding spiegelt keine juristischen Arbeitsabläufe wider.

7.2 Reaktionsschnelle Unterstützung und funktionierende Feedback-Schleifen

• 🚩 Support ist langsam, vage oder vertriebsgetrieben, mit unklaren Eskalationswegen.
• 🚩 Keine Support-Abdeckung in Ihrer Region, was Reaktionszeiten und kontextuelles Verständnis verlangsamt.

7.3 Dokumentation, Änderungskommunikation und Nutzungstransparenz

• 🚩 Modell- oder Systemänderungen erfolgen stillschweigend ohne Vorankündigung.
• 🚩 Das Reporting ist zu schwach, um Governance-, Verlängerungs- oder Einführungsentscheidungen zu unterstützen.

8. Kosten & Ressourcenbedarf

Legal-AI-Anbieter haben gelernt: Die Demo verkauft, und die Rechnung überrascht. Kostentransparenz ist keine Option – Sie müssen die gesamten Lebenszykluskosten modellieren, nicht nur die Lizenzgebühren.

8.1 Transparente Preisgestaltung mit sinnvoller Skalierung

• 🚩 Die Preisgestaltung ist intransparent, das Kostenwachstum ist schwer zu modellieren, oder es gibt steile Sprünge zwischen Pilot und Rollout.

8.2 Die vollständigen Lebenszykluskosten sind bekannt

• 🚩 Wichtige Kosten tauchen erst spät auf: Konnektoren, Implementierungsunterstützung, Migration oder Ausstiegsgebühren.

Nächste Schritte

Wenn Sie bei einem Anbieter, den Sie gerade prüfen, mehr als 10 Red Flags gezählt haben, haben Sie ein Problem. Wenn Sie mehr als 20 gezählt haben, befinden Sie sich möglicherweise im "Vibe-Procurement"-Territorium – Sie kaufen aufgrund von Begeisterung statt Evidenz.

Die gute Nachricht: Jede Red Flag auf dieser Liste ist erkennbar, bevor Sie unterschreiben. Sie können sie in Demos, in der Dokumentation, in Verträgen und in den Antworten des Anbieters auf direkte Fragen erkennen. Das Framework, aus dem diese Red Flags stammen – das Legal AI Evaluation Framework von Legal Benchmarks – bietet strukturierte Bewertungsvorlagen und Toolkits für eine ordentliche Prüfung.

Wie HAQQ diese Red Flags adressiert

Wir haben HAQQ gezielt so gebaut, dass es dieser Art von Prüfung standhält. Multijurisdiktionale Abdeckung in 7 Sprachen. SOC-2- und ISO-27001-konforme Infrastruktur. Vollständige Datenisolation pro Workspace. Kein Training mit Kundendaten – vertraglich zugesichert. Transparente Architekturdokumentation. Und eine Legal-AI-Engine (Justinian), die gezielt für die evidenzbasierten Anforderungen der Rechtspraxis entwickelt wurde.

Wir begrüßen käuferorientierte Bewertungen. Wenn Ihre Kanzlei einen strukturierten KI-Beschaffungsprozess durchführt, nehmen wir gerne an jeder framework-basierten Prüfung teil – einschließlich derjenigen, aus der diese Red Flags stammen.

Weiterführende Artikel

• die Bewertung von KI-Plattformen für die Vertragsprüfung
• unabhängig validierte, jurisdiktionsbewusste Benchmarks
• wie Prompt-Injection Legal AI angreift
• warum die Einführung von Legal Tech scheitert