Kurz gesagt: Die MENA-Rechtsevaluierung von HAQQ prüft Rechts-KI am Recht von elf Rechtsordnungen, auf Arabisch und Englisch, anhand von Musterlösungen, die aus Primärquellen aufgebaut und von einem Juristen geprüft werden. Dieser Beitrag behandelt nur Umfang und Methode. Ergebnisse werden hier nicht veröffentlicht: Sie folgen nach dem nächsten Durchlauf. Vier Rechtsordnungen haben derzeit eine dünne Quellenabdeckung, und wir führen sie unten auf.
Warum nach Rechtsordnung getestet wird
HAQQ AI kostenlos testen
Erleben Sie KI-gestützte juristische Recherche und Entwurf
Die meisten öffentlichen Benchmarks für Rechts-KI beruhen auf englischsprachigen Aufgaben des Common Law. Die Rechtsarbeit im Nahen Osten und in Nordafrika stützt sich auf kodifiziertes Recht, auf Arabisch und Englisch, und es unterscheidet sich von Staat zu Staat. Finanzfreizonen wie DIFC und ADGM fügen dem Recht des jeweiligen Staatsgebiets eigene Gesetze hinzu. Ein Modell, das eine Frage zum libanesischen Vertragsrecht mit einer Regel aus einem anderen System beantwortet, hat keinen kleinen Fehler gemacht. Es hat ein Recht angewandt, das den Fall nicht regelt.
Ein einziger regionaler Wert würde genau diesen Fehler verbergen. Deshalb ist die Evaluierung nach Rechtsordnung gegliedert, und jede Aufgabe ist dem Recht eines einzigen Ortes zugeordnet.
Umfang: Rechtsordnungen und Sprachen
Die Evaluierung umfasst elf Rechtsordnungen: Libanon, die Vereinigten Arabischen Emirate, Irak, Ägypten, Oman, Jordanien, Katar, Kuwait, Syrien, Saudi-Arabien und Bahrain. Die Aufgaben sind auf Arabisch und Englisch. Im aktuellen Aufgabensatz sind etwa die ägyptischen Fragen auf Arabisch und die emiratischen auf Englisch, so wie dieses Recht veröffentlicht und praktiziert wird.
Die Abdeckung ist nicht in allen elf gleich. Einige Rechtsordnungen haben mehr geprüftes Quellenmaterial als andere, und die Lückenliste unten nennt sie.
Was die Evaluierung abfragt
- Fallfragen. Ein realistischer Sachverhalt, so formuliert, wie ihn ein Jurist stellen würde, der um eine Beratung bittet. Die Rechtsgebiete umfassen Vertragsrecht, Verfahrensrecht, Strafrecht, Gesellschaftsrecht, Insolvenzrecht, Handelsrecht, Sachenrecht, Familienrecht, Bankrecht, Versicherungsrecht, Schiedsverfahren, Arbeitsrecht, Beweisrecht, Seerecht und Wettbewerbsrecht.
- Quellenzuordnung. Das Modell sieht den wörtlichen Text einer Bestimmung und muss Rechtsordnung, Rechtsakt und Artikel nennen, aus denen sie stammt.
- Zitatprüfung. Das Modell sieht eine Passage mit beigefügtem Zitat und muss sagen, ob das Zitat echt ist. Manche sind echte Passagen, die dem falschen Artikel zugeordnet sind, also der Fehler, der in der Praxis zählt.
- Fallen außerhalb der Rechtsordnung. Fragen, bei denen der richtige Zug die Enthaltung ist oder der Hinweis, dass das angewandte Recht nicht gilt, statt allgemein zu antworten.
Wie Musterlösungen entstehen
Jede Musterlösung beginnt bei einer Primärquelle: dem Text des Gesetzes, der Verordnung oder des Amtsblatts selbst, nicht bei einer Zusammenfassung und nicht bei der Antwort eines anderen Modells. Eine Lösung hält den Rechtsakt und den Artikel fest, die eine richtige Antwort nennen muss, die Punkte, die eine tragfähige Antwort abdecken muss, und bei Fallen, dass die Enthaltung die richtige Antwort ist.
Ein Jurist prüft die Lösung, bevor sie verwendet wird. Dieser Schritt trennt einen Test des Rechts von einem Test der Übereinstimmung mit einem Modell.
Wir halten außerdem fest, ob jeder Rechtsakt in Kraft ist, mit Daten statt mit Ja oder Nein. Ein Gesetz kann beschlossen und veröffentlicht sein und trotzdem noch nicht gelten: Ägyptens Strafprozessordnung, Gesetz 174 von 2025, wurde vor ihrem Inkrafttretensdatum veröffentlicht. Wo niemand einen Status anhand eines Amtsblatts oder einer amtlichen Quelle geprüft hat, tragen wir ihn als unbekannt ein, statt ein Modell raten zu lassen.
Wo eine Aufgabe durch exakten Vergleich bewertet werden kann, etwa Rechtsakt, Artikelnummer oder ein Urteil echt oder erfunden, ist die Bewertung deterministisch und nutzt kein Modell als Richter. Zwei Durchläufe ergeben denselben Wert. Offene Antworten sind schwieriger: Zeichenkettenprüfungen kontrollieren Quellenbezug und Enthaltung gut, nähern die inhaltliche Qualität aber nur an, weshalb wir einen automatischen Inhaltswert nicht als mehr darstellen, als er ist.
Wo die Quellenabdeckung heute dünn ist
Ein Benchmark ist nur so gut wie die Primärquellen hinter seinen Lösungen. Diese vier Rechtsordnungen sind heute dünn, und wir zeigen lieber die Lücke als einen Wert auf schwachem Grund.
- Saudi-Arabien. Vieles, was wir indexieren können, sind Regelwerke von Finanzaufsichtsbehörden, die enger sind als die zentralen Gesetze.
- Bahrain. Wir haben Gesetzessammlungen, aber noch nicht auf den Standard geprüft, den eine Lösung verlangt: aktuell, konsolidiert und auf eine amtliche Seite zurückführbar.
- Irak. Die Gesetzgebung, die wir indexieren können, neigt zur Region Kurdistan, sodass die bundesweite Abdeckung dünner ist.
- Syrien. Unsere Sammlung ist klein.
Für diese Rechtsordnungen sind weniger Aufgaben zu erwarten, oder keine, bis die Quellen geprüft sind. Wir aktualisieren diese Liste, sobald sich das ändert.
Ergebnisse
In diesem Beitrag werden keine Ergebnisse veröffentlicht. Sie folgen nach dem nächsten Durchlauf, mit dem hier beschriebenen Umfang und der hier beschriebenen Methode, und jede Änderung an einem von beiden wird daneben angegeben. Zum früheren, kleineren Benchmark zum Zivilrecht siehe den Benchmark für Rechts-KI im Zivilrecht.
Wichtigste Punkte
- Elf Rechtsordnungen, Arabisch und Englisch, jeweils eine Rechtsordnung nach der anderen getestet.
- Musterlösungen stammen aus Primärquellen und werden von einem Juristen geprüft.
- Aufgaben mit exaktem Vergleich werden deterministisch bewertet, ohne Modell als Richter.
- Saudi-Arabien, Bahrain, Irak und Syrien sind heute dünn, und die Lücke wird benannt, nicht verborgen.
