En breve: un asunto jurídico real no es un prompt y una respuesta. Exige leer documentos largos, razonar entre varias jurisdicciones, completar tareas de varios pasos, citar fuentes que existen y saber cuándo abstenerse. Una prueba de un solo prompt mide solo una parte pequeña. Este artículo expone lo que una IA jurídica tiene que hacer y cómo piensa HAQQ evaluarlo. No contiene puntuaciones.
Un asunto no es un prompt
Prueba HAQQ AI gratis
Experimenta la redacción e investigación legal con IA
Pregunte a un abogado qué hace difícil un asunto y rara vez dirá la pregunta. Dirá el expediente: una pila de documentos, tres fechas distintas, dos leyes aplicables, una contraparte que cambió de postura a mitad de camino y un socio que necesita una respuesta defendible antes de que acabe el día. La dificultad está en el trabajo que rodea a la pregunta.
Se repiten cinco cosas. Cada una es un punto en el que una IA jurídica puede sonar fluida y aun así fallar.
Documentos largos
Una data room, un paquete de contratos o un expediente judicial es mucho más largo de lo que una persona lee de una sentada. El riesgo no es que el modelo lo salte. El riesgo es que lo lea todo y dé peso a la parte equivocada: una cláusula de cambio de control enterrada en un anexo, una excepción dentro de una definición, una modificación que anula en silencio un término anterior. Un resumen que se lee bien puede pasar por alto la cláusula que el cliente lamentaría descubrir más tarde.
Razonamiento entre jurisdicciones
El derecho no se traslada limpiamente. Un instrumento de financiación de estilo estadounidense que se convierte en acciones preferentes presupone un mecanismo de clases de acciones que una sociedad de responsabilidad limitada libanesa no tiene. La doctrina de la consideration, central en el common law, no cumple ese papel en el derecho contractual saudí. No existe el empleo a voluntad en los países del Golfo, donde se aplican plazos de preaviso e indemnizaciones por fin de servicio. Una respuesta que aplica el sistema equivocado no está ligeramente desviada. Se apoya en una regla que no rige.
Por eso el sistema debe saber qué derecho se aplica, decirlo y mantener separadas las reglas de ese derecho de aquellas que conoce mejor.
Tareas de varios pasos
Una diligencia debida, una revisión de contrato contra un playbook, un memorando de investigación con sus autoridades: son secuencias. Encontrar los documentos, extraer los hechos, contrastarlos con el derecho, conciliar los conflictos, redactar, comprobar. En nuestro propio experimento sobre una data room, el mismo modelo, los mismos documentos y la misma puntuación dieron resultados distintos según cómo se estructuró el trabajo, no según qué modelo lo ejecutó. Lo contamos en un solo prompt frente a un enjambre de agentes en la diligencia de M&A.
Exactitud de las citas
Una respuesta fluida con una cita que no existe es el fallo que los tribunales han sancionado. La versión más sutil es un pasaje real citado en el artículo equivocado, porque parece auténtico y supera una comprobación rápida. Algunos tribunales ya enuncian el deber con claridad. La Practice Direction No. 1 de 2026 de la QICDRC de Catar, por ejemplo, exige que toda cita se contraste con fuentes primarias o con una base de datos jurídica reconocida (apartado 16). La analizamos en lo que realmente exige la practice direction de Catar.
El deber de verificar no cambia con las reglas de divulgación. Una IA jurídica debe, por tanto, hacer que la comprobación sea fácil de realizar y fácil de demostrar.
Abstención calibrada
A veces la salida correcta no es una respuesta. Falta la fuente, el derecho consultado no rige, o la pregunta requiere hechos que nadie aportó. Un sistema que siempre responde acabará inventando. Un sistema que siempre se abstiene no sirve. La calibración consiste en abstenerse cuando faltan pruebas y responder cuando las hay, y es lo más difícil de probar de las cinco, porque una abstención parece un fallo en un marcador simple.
Por qué los benchmarks de un solo prompt no lo captan
- Entregan el texto pertinente. El trabajo real empieza por encontrarlo.
- Puntúan una sola respuesta. El trabajo real es una secuencia en la que un error temprano se arrastra.
- Premian responder. Un modelo que nunca se abstiene puede puntuar bien y ser inseguro para fiarse de él.
- Promedian. Una cita inventada entre cincuenta correctas no es lo mismo que cincuenta y una respuestas verosímiles, y una media lo oculta.
- Suelen escribirse para un solo sistema jurídico, así que no pueden mostrar que un modelo aplicó el equivocado.
Cómo piensa HAQQ la evaluación
Tratamos estos puntos como dimensiones separadas y los reportamos por separado, en lugar de fundirlos en un solo número. Cuando una pregunta puede comprobarse por comparación exacta, como el instrumento, el artículo o un veredicto de auténtico o fabricado, la puntuación es determinista y no usa ningún modelo como juez. Cuando la respuesta es abierta, la lee una persona. Las claves de respuesta se construyen sobre fuentes primarias y las revisa un abogado, y algunos asuntos llevan problemas plantados para saber qué debe detectar una buena respuesta.
También incluimos preguntas diseñadas para no responderse, y preguntas ambientadas en una jurisdicción que empujan al sistema hacia el derecho de otra. El alcance y el método de nuestro trabajo MENA se exponen en el benchmark de IA jurídica MENA: alcance y método.
Conclusiones clave
- El trabajo jurídico difícil vive en el expediente que rodea a la pregunta: documentos largos, varios derechos, muchos pasos.
- La exactitud de las citas y la abstención calibrada son habilidades distintas, y ninguna aparece en una puntuación media única.
- Una evaluación útil reporta las dimensiones por separado y declara dónde aún no puede juzgar.
