Was geschieht, bevor eine Rechts-KI Ihre Frage beantwortet

Jeder Anwalt, der Legal AI evaluiert, stellt irgendwann dieselbe Frage, meist nach etwa acht Minuten einer Demo: Wie unterscheidet sich das von der bloßen Nutzung von ChatGPT?

Das ist die richtige Frage, und die meisten Anbieter beantworten sie schlecht. Sie sprechen über Trainingsdaten oder ein proprietäres Korpus oder eine Feinabstimmung. Diese Antworten sind schwer zu überprüfen und, meistens, nicht der Ort, an dem der Unterschied tatsächlich liegt.

Die ehrliche Antwort ist architektonisch, und sie läuft auf eines hinaus: Wo findet das Denken statt?

Das Wrapper-Problem ist real und von außen unsichtbar

Ein großer Teil der Legal AI-Produkte funktioniert so. Sie geben eine Frage ein. Das Produkt verpackt sie in eine Prompt-Vorlage, einige Anweisungen, wie man ein hilfreicher Rechtsassistent ist, vielleicht ein paar Beispiele, und leitet das Ganze an ein Allzweckmodell weiter. Das Modell antwortet. Das Produkt formatiert die Antwort schön und zeigt sie Ihnen.

Daran ist nichts unehrlich. Es kann wirklich nützlich sein. Aber es bedeutet, dass die Qualität des Produkts fast ausschließlich die Qualität des Modells ist, und das Modell ist dasselbe, auf das Ihr gegnerischer Anwalt für zwanzig Dollar im Monat zugreifen kann.

Der unangenehme Teil für einen Käufer ist, dass Sie es an der Benutzeroberfläche nicht erkennen können. Ein Wrapper und eine zweckgebundene Engine sehen identisch aus: ein Textfeld, eine Streaming-Antwort, einige Zitate darunter. Der Unterschied liegt "upstream", wo niemand ihn sehen kann, weshalb so wenige Anbieter darauf angesprochen werden.

Wo die Argumentation eigentlich hingehört

Wenn eine Frage bei HAQQ ankommt, geht sie nicht zuerst an ein allgemeines Modell. Sie durchläuft einen Schritt, den wir besitzen und kontrollieren, dessen gesamte Aufgabe es ist, herauszufinden, was die Anfrage tatsächlich ist, und alles, was als Nächstes passiert, zu konfigurieren.

Dieser Schritt löst die Dinge, die ein kompetenter Mitarbeiter vor Arbeitsbeginn festlegen würde, und er löst sie als strukturierte Daten statt als Prosa:

• Was tatsächlich gefragt wird. Nicht die um 23 Uhr zwischen zwei Anrufen eingegebenen Worte, sondern die dahinter liegende Frage, präzise und vollständig wiedergegeben. Dies läuft nativ auf Arabisch und Französisch sowie auf Englisch, anstatt als nachträglich aufgesetzte Übersetzung.
• Um welche Art von juristischer Arbeit es sich handelt. Entwurf, Recherche, Überprüfung, Vergleich, eine prozedurale Frage. Jede erfordert eine andere Form der Antwort, und dies im Voraus zu entscheiden, ist etwas ganz anderes, als zu hoffen, dass ein allgemeines Modell es ableitet.
• Welche Gerichtsbarkeit zum Tragen kommt und, getrennt davon, in welcher Sprache das maßgebliche Recht abgefasst ist. Diese beiden sind oft nicht dasselbe, und sie als eins zu behandeln, ist eine stille und häufige Fehlerquelle.
• Die Fakten, als Objekte. Parteien, Daten, Verpflichtungen, Beträge, geltendes Recht, Dokumententyp, aus dem Text extrahiert und in strukturierte Daten umgewandelt, bevor etwas Teures sie liest.
• Was die Frage braucht und was nicht. Welche spezialisierten Fähigkeiten eingesetzt werden sollen, wie viel Argumentationstiefe die Frage tatsächlich rechtfertigt und ob sie überhaupt in den Rahmen fällt.

Erst dann läuft das allgemeine Modell. Und es kommt bereits vorbereitet an: die relevanten Fähigkeiten geladen, die Fakten extrahiert, die Gerichtsbarkeit identifiziert, der Umfang entschieden.

Das Modell ist der letzte Schritt in der Kette, nicht der erste.

Warum dies eine bessere Antwort liefert, nicht nur eine billigere

Zwei Mechanismen, und der zweite überraschte uns mehr als der erste.

Aufmerksamkeit ist ein Budget

Das Kontextfenster eines Modells ist endlich, und alles, was Sie hineinlegen, konkurriert um die Aufmerksamkeit des Modells. Wenn jede Fähigkeit, die ein System besitzt, in jede Anfrage geladen wird, verbraucht dies einen erheblichen Teil dieses Fensters, bevor das eigentliche Dokument des Anwalts überhaupt Beachtung findet. Nur die relevanten Fähigkeiten einzubringen, schafft Raum für das, was zählt: den Vertrag, das Gesetz, die Fakten.

Parsing ist kein Reasoning

Dies ist der größere Effekt. Wenn ein Modell einen Absatz Prosa erhält, fließt ein Großteil seiner Arbeit in die Entschlüsselung des Inhalts. Wenn es strukturierte Fakten erhält - diese Parteien, dieses anwendbare Recht, diese Verpflichtung, dieses Datum - ist diese Arbeit bereits erledigt, und das gesamte Budget fließt in die Beantwortung der Rechtsfrage.

Die praktische Konsequenz ist, dass dasselbe allgemeine Modell in einem System wie diesem messbar bessere juristische Arbeit leistet als in einem Wrapper. Das Modell hat sich nicht geändert. Was wir ihm übergeben haben, hat sich geändert.

Die Teile, die niemand in einer Demo zeigt

Zwei Dinge, die es nie in ein Verkaufsdeck schaffen, und beide entscheiden, ob das Produkt an einem echten Dienstag funktioniert.

<b>Dokumentenaufnahme.</b> Ein großer Teil der juristischen Arbeit kommt nicht als sauberer Text an. Sie kommt als Foto eines gestempelten Dokuments, als Scan eines Faxes, als PDF, das jemand ausgedruckt und schief wieder eingescannt hat. Wir behandeln das Lesen solcher Dokumente als erstklassiges Engineering-Problem und nicht als nachträgliche Vorverarbeitung, denn wenn eine Klauselnummer beim Einlesen falsch gelesen wird, kann keine noch so große nachgelagerte Argumentation sie wiederherstellen. Das System wird tadellos über die falsche Nummer argumentieren.

<b>Gedächtnis als Struktur, nicht als Abschrift.</b> Die Legal AI Engine speichert die Beziehungen zwischen Ihren Fällen über die Zeit hinweg und greift darauf zurück, wenn eine Frage dies erfordert. Das ist anders, als Ihre letzten zwanzig Nachrichten wieder in die Eingabeaufforderung einzufügen. Dadurch weiß das System, dass die Gegenpartei in der NDA, die Sie heute überprüfen, dieselbe ist wie die aus einem Streit vor zwei Monaten.

Was diese Architektur nicht behebt

Das sagen wir Ihnen lieber, als dass Sie es selbst herausfinden.

Es eliminiert keine Fehler. Jedes System, das auf einem Sprachmodell basiert, kann eine falsche Antwort geben, und ein Anbieter, der Ihnen etwas anderes erzählt, geht entweder nicht sorgfältig mit Worten um oder hofft, dass Sie es nicht überprüfen werden. Eine gute Architektur macht Fehler seltener und erkennbar: Behauptungen, die anhand abgerufener Quellen generiert werden, Zitate, die Sie öffnen können, und explizite Kennzeichnungen, wo das Gesetz wirklich mehrdeutig ist, anstatt einer selbstbewussten Lösung von etwas Ungeklärtem.

Es ersetzt nicht den Anwalt. Alles hier ist auf der Annahme aufgebaut, dass ein Fachmann die Ausgabe überprüft und unterzeichnet. Das ist keine Einschränkung, für die wir uns entschuldigen. Es ist die Designvorgabe, und es ist der Grund, warum die Architektur so aussieht, wie sie aussieht.

Es macht die Abdeckung nicht universell. Die Qualität von Legal AI variiert je nach Gerichtsbarkeit, danach, wie gut das Quellenrecht digitalisiert ist und wie viel davon überhaupt öffentlich ist. Jeder, der Ihnen eine einzige globale Abdeckungszahl nennt, sollte gefragt werden, was diese zählt. Wir werden das häufig gefragt, und wir würden es lieber für Ihre Gerichtsbarkeit beantworten, als Ihnen eine Zahl entgegenzuwerfen.

So testen Sie jeden Anbieter in einer Demo

Sie müssen nicht das Architekturdiagramm von irgendjemandem sehen. Vier Fragen, etwa zehn Minuten, und sie funktionieren bei jedem Anbieter in dieser Kategorie, einschließlich uns.

1. Fragen Sie etwas außerhalb des Rechts

Ein allgemeines Modell, das in eine juristische Aufforderung eingebettet ist, wird normalerweise eine medizinische oder finanzielle Frage beantworten, da es im Grunde ein allgemeines Modell ist. Ein System, das die Absicht vor der Generierung festlegt, sollte ablehnen und erklären, warum.

2. Stellen Sie dieselbe Frage in zwei Sprachen

Keine übersetzte Version. Dieselbe Rechtsfrage, einmal auf Englisch und einmal auf Arabisch oder Französisch. Wenn sich der Inhalt der Antwort ändert, wird die Sprache nach dem Schlussfolgerungsprozess und nicht davor behandelt.

3. Scannen Sie es schlecht ein

Fotografieren Sie ein Dokument schräg, bei schlechten Lichtverhältnissen, und laden Sie es hoch. Dies ist der aussagekräftigste Test in der gesamten Demo, denn es ist die häufigste reale Eingabe und die am wenigsten demonstrierte.

4. Fragen Sie, was es nicht weiß

Drängen Sie auf einen zweideutigen, ungeklärten oder schlecht belegten Rechtsbereich. Ein System, das darauf optimiert ist, immer eine Antwort zu produzieren, wird eine liefern. Ein System, das für professionelle Arbeit gebaut wurde, wird Ihnen sagen, dass der Boden unsicher ist, und Ihnen zeigen, warum.

Wenn ein Anbieter mit allen vier Punkten einverstanden ist, ist die Architektur wahrscheinlich real. Wenn die Demo diese Punkte umgeht, ist das ebenfalls eine Information.

Wichtige Erkenntnisse

• Der bedeutsame Unterschied zwischen Legal AI-Produkten ist architektonisch und von der Oberfläche aus unsichtbar. Fragen Sie, wo die Argumentation stattfindet.
• Strukturierte Arbeit vor dem Modellaufruf verbessert die Ausgabequalität, nicht nur die Kosten. Einem Modell, dem extrahierte Fakten übergeben werden, verwendet sein Budget für Recht anstatt für das Parsen.
• Die unglamourösen Komponenten entscheiden über die reale Performance. Die Qualität der Dokumentenaufnahme ist aussagekräftiger dafür, ob ein Tool an einem Dienstag funktioniert, als jeder Benchmark-Score.
• Vier Demofragen, themenfremd, zwei Sprachen, ein schlechter Scan und ein ungeklärter Rechtsbereich werden Ihnen sagen, welche Art von System Ihnen verkauft wird.

• Die Justinian Engine und ihre Funktionsweise
• 45 Warnsignale bei der Bewertung eines Legal AI-Anbieters
• Menschliche Beteiligung an Legal AI
• Kontext-Engineering für Legal AI