En breve: la evaluación jurídica MENA de HAQQ pone a prueba la IA jurídica sobre el derecho de once jurisdicciones, en árabe e inglés, con claves de respuesta construidas a partir de fuentes primarias y revisadas por un abogado. Este artículo trata solo del alcance y el método. No se publica ningún resultado aquí: llegarán tras la próxima ejecución. Cuatro jurisdicciones tienen hoy una cobertura de fuentes limitada, y las enumeramos más abajo.
Por qué evaluar por jurisdicción
Prueba HAQQ AI gratis
Experimenta la redacción e investigación legal con IA
La mayoría de los benchmarks públicos de IA jurídica se construyen sobre tareas en inglés y de common law. El trabajo jurídico en Oriente Medio y el Norte de África se apoya en derecho codificado, en árabe e inglés, y varía de un Estado a otro. Las zonas francas financieras como el DIFC y el ADGM añaden sus propias leyes al derecho aplicable en el territorio. Un modelo que responde a una consulta sobre contratos libaneses con una norma de otro sistema no ha cometido un error pequeño. Ha aplicado un derecho que no rige el asunto.
Una única puntuación regional ocultaría justamente ese fallo. Por eso la evaluación se organiza por jurisdicción y cada pregunta se vincula al derecho de un solo lugar.
Alcance: jurisdicciones e idiomas
La evaluación abarca once jurisdicciones: Líbano, Emiratos Árabes Unidos, Irak, Egipto, Omán, Jordania, Catar, Kuwait, Siria, Arabia Saudí y Baréin. Las preguntas están en árabe e inglés. En el conjunto de preguntas actual, por ejemplo, las preguntas egipcias están en árabe y las de Emiratos en inglés, que es como se publica y se ejerce ese derecho.
La cobertura no es igual en las once. Algunas jurisdicciones cuentan con más fuentes verificadas que otras, y la lista de carencias que sigue indica cuáles.
Qué plantea la evaluación
- Preguntas de caso. Un asunto realista, redactado como lo plantearía un abogado, que pide asesoramiento. Las áreas incluyen contratos, procedimiento, penal, societario, insolvencia, mercantil, inmobiliario, familia, banca, seguros, arbitraje, laboral, prueba, marítimo y competencia.
- Atribución de fuente. El modelo ve el texto literal de una disposición y debe nombrar la jurisdicción, el instrumento y el artículo de los que procede.
- Verificación de citas. El modelo ve un pasaje con una cita adjunta y debe decir si la cita es auténtica. Algunas son pasajes reales atribuidos al artículo equivocado, el fallo que más importa en la práctica.
- Trampas fuera de jurisdicción. Preguntas en las que lo correcto es abstenerse, o decir que el derecho aplicado no rige el caso, en lugar de responder en términos genéricos.
Cómo se construyen las claves de respuesta
Cada clave parte de una fuente primaria: el texto mismo de la ley, el decreto o la gaceta, no un resumen ni la respuesta de otro modelo. Una clave registra el instrumento y el artículo que debe citar una respuesta correcta, los puntos que debe cubrir una respuesta sólida y, en las trampas, que abstenerse es la respuesta correcta.
Después, un abogado revisa la clave antes de usarla. Ese paso distingue una prueba del derecho de una prueba de coincidencia con un modelo.
También registramos si cada instrumento está en vigor, con fechas en lugar de un sí o un no. Una norma puede estar aprobada y publicada y no ser todavía derecho vigente: el Código de Procedimiento Penal de Egipto, Ley 174 de 2025, se publicó antes de su fecha de entrada en vigor. Cuando nadie ha comprobado un estado frente a una gaceta o fuente oficial, lo registramos como desconocido en lugar de dejar que un modelo lo adivine.
Cuando una pregunta puede puntuarse por comparación exacta, como el instrumento, el número de artículo o un veredicto de cita auténtica o fabricada, la puntuación es determinista y no usa ningún modelo como juez. Dos ejecuciones dan la misma puntuación. Las respuestas abiertas son más difíciles: las comprobaciones de cadenas verifican bien el anclaje en las fuentes y la abstención, pero solo aproximan el fondo, así que no presentamos una puntuación automática de fondo como algo más de lo que es.
Dónde es limitada hoy la cobertura de fuentes
Un benchmark vale lo que valen las fuentes primarias que respaldan sus claves. Estas cuatro jurisdicciones son limitadas hoy, y preferimos mostrar la carencia a mostrar una puntuación sobre una base débil.
- Arabia Saudí. Gran parte del material que podemos indexar son compendios normativos de reguladores financieros, más estrechos que las leyes fundamentales.
- Baréin. Tenemos colecciones de legislación, pero aún no las hemos revisado conforme al estándar que exige una clave: vigentes, consolidadas y rastreables hasta una página oficial.
- Irak. La legislación que podemos indexar se inclina hacia la región del Kurdistán, por lo que la cobertura federal es más escasa.
- Siria. Nuestra colección es pequeña.
Para estas jurisdicciones, cabe esperar menos preguntas, o ninguna, hasta que se verifiquen las fuentes. Actualizaremos esta lista cuando eso cambie.
Resultados
Este artículo no publica resultados. Llegarán tras la próxima ejecución, con el alcance y el método aquí descritos, y cualquier cambio en uno u otro se indicará junto a ellos. Para el benchmark anterior, más reducido, de derecho civil, véase el benchmark de IA jurídica de derecho civil.
Conclusiones clave
- Once jurisdicciones, árabe e inglés, evaluadas una jurisdicción a la vez.
- Las claves de respuesta proceden de fuentes primarias y las revisa un abogado.
- Las preguntas de coincidencia exacta se puntúan de forma determinista, sin modelo como juez.
- Arabia Saudí, Baréin, Irak y Siria son limitadas hoy, y la carencia se declara, no se oculta.
