En resumen: a octubre de 2026, Claude Opus 5.5 y GPT-6 Astra son los modelos de frontera más sólidos que hemos probado para el trabajo jurídico. Fueron la pareja de cabeza en nuestra prueba de trampas MENA del 30 de septiembre (3,30 y 3,00 sobre 4), y ninguno inventó una sentencia de un tribunal de Dubái cuando se le pidió. Opus 5.5 igualó a Fable 5.1 a la mitad del coste (23 de septiembre).
Datos clave
- En una prueba de cinco preguntas trampa sobre EAU, Arabia Saudí y Líbano, Claude Opus 5.5 obtuvo 3,30 sobre 4 y GPT-6 Astra 3,00, frente a 2,20 de DeepSeek V4 Pro y 2,10 de Gemini 3.1 Pro, sin pistas (prueba de HAQQ, 30 sept. 2026, 80 respuestas, tres jueces a ciegas).
- Al pedirles sentencias del Tribunal de Casación de Dubái que respaldaran un artículo inexistente, Gemini 3.1 Pro y DeepSeek V4 Pro nombraron 16 en ocho respuestas; ninguna coincidía, tal como se citó, con una fuente pública (prueba de HAQQ, 30 sept. 2026).
- Claude Opus 5.5, Opus 5 y Fable 5.1 terminaron a cuatro veredictos o menos entre sí en 120 veredictos por pares a ciegas; Opus 5.5 costó 0,3647 $ por respuesta frente a 0,7249 $ de Fable 5.1 (prueba de HAQQ, precios de lista de OpenRouter, 23 sept. 2026).
- GPT-6 Astra lideró en fondo jurídico con 17,63 sobre 20 frente a Claude Opus 5 y GPT-5.6 Luna Pro, y los tres enunciaron mal una norma saudí o egipcia aunque citaban el artículo correcto (prueba de HAQQ, 41 prompts, 10 sept. 2026).
- El Legal Research Bench de Vals AI situó a Claude Opus 5.5 en el 50,48 %, 4.º de 68 modelos (Vals AI, consultado el 23 sept. 2026).
- En nuestra prueba más amplia, el 24 % de 3.000 respuestas de 10 modelos de frontera citaba o aplicaba normas que no dicen lo que el modelo afirmaba (prueba de HAQQ con 300 tareas, publicada el 5 jun. 2026).
- Stanford RegLab midió alucinaciones en cerca del 33 % de las respuestas de Westlaw AI-Assisted Research y en más del 17 % de las de Lexis+ AI (Magesh et al., 2024).
Transparencia. HAQQ desarrolla IA jurídica y realizó todos los benchmarks de HAQQ de esta página. Las pruebas de septiembre no incluyeron a HAQQ. La clasificación de plataformas de 50 puntos, más abajo, sí incluye a HAQQ, y HAQQ ocupa el primer puesto. Lea nuestras cifras como las de un proveedor: el método de cada prueba está descrito, y las pruebas de septiembre publican sus prompts y respuestas.
¿Qué IA conviene para el trabajo jurídico en octubre de 2026?
Tres pruebas realizadas en septiembre de 2026 sustituyeron a la clasificación de junio para la pregunta sobre modelos de frontera. Cada una mide algo distinto, así que conviene leerlas juntas.
| Modelo | Proveedor | Prueba | Fecha | Resultado |
|---|---|---|---|---|
| Claude Opus 5.5 | Anthropic | Cinco preguntas trampa MENA | 30 sept. 2026 | 3,30 / 4, 0 sentencias inventadas citadas |
| GPT-6 Astra | OpenAI | Cinco preguntas trampa MENA | 30 sept. 2026 | 3,00 / 4, 0 sentencias inventadas citadas |
| DeepSeek V4 Pro | DeepSeek | Cinco preguntas trampa MENA | 30 sept. 2026 | 2,20 / 4, 8 sentencias no verificables citadas |
| Gemini 3.1 Pro | Cinco preguntas trampa MENA | 30 sept. 2026 | 2,10 / 4, 8 sentencias no verificables citadas | |
| Claude Opus 5 | Anthropic | Diez prompts de redacción y asesoramiento, por pares | 23 sept. 2026 | 39 de 80 veredictos, 0,4362 $ por respuesta |
| Claude Fable 5.1 | Anthropic | Diez prompts de redacción y asesoramiento, por pares | 23 sept. 2026 | 36 de 80 veredictos, 0,7249 $ por respuesta |
| Claude Opus 5.5 | Anthropic | Diez prompts de redacción y asesoramiento, por pares | 23 sept. 2026 | 35 de 80 veredictos, 0,3647 $ por respuesta |
| GPT-6 Astra | OpenAI | 41 prompts, 20 áreas de práctica | 10 sept. 2026 | 17,63 / 20 en fondo, 0,2622 $ por respuesta |
| GPT-5.6 Luna Pro | OpenAI | 41 prompts, 20 áreas de práctica | 10 sept. 2026 | 30,93 / 35 compuesto (con velocidad), 0,0231 $ por respuesta |
| Claude Opus 5 | Anthropic | 41 prompts, 20 áreas de práctica | 10 sept. 2026 | 28,13 / 35 compuesto, 0,4566 $ por respuesta |
| Claude Opus 4.8 | Anthropic | 300 tareas mercantiles (sustituida) | Jun. 2026 | 30,02 / 35, primero en 130 de 300 tareas |
Actualización de octubre de 2026: qué resultado está vigente
- Vigente para modelos de frontera: la prueba de trampas del 30 de septiembre (cómo probar una IA jurídica). Es la prueba más reciente y abarca cuatro modelos insignia actuales de cuatro laboratorios. Todos los modelos detectaron todas las trampas. La diferencia surgió en las fuentes: Opus 5.5 y Astra se negaron a nombrar sentencias que no podían verificarse, mientras que Gemini 3.1 Pro y DeepSeek V4 Pro produjeron 16 citas jurisprudenciales, dos de ellas con números de asunto reales pero fecha y fallo erróneos, y las otras 14 sin localizar. Opus 5.5 y Astra forman la pareja de cabeza, y la distancia entre ambos está dentro del margen de variación entre pruebas.
- Vigente para elegir entre modelos de Anthropic: la prueba del 23 de septiembre (benchmark jurídico de Claude Opus 5.5). Opus 5.5, Opus 5 y Fable 5.1 formaron un círculo (cada uno ganó a uno y perdió frente a otro), así que la calidad no los separó con diez prompts. El precio sí: Opus 5.5 respondió a aproximadamente la mitad del coste de Fable 5.1 y fue el más rápido de los tres.
- Vigente para GPT-6 Astra frente a modelos más baratos: la prueba del 10 de septiembre (GPT-6 Astra en el trabajo jurídico). Astra lideró en fondo por menos de un punto y costó 11 veces más por respuesta que GPT-5.6 Luna Pro. Cada uno de los tres modelos enunció mal una norma saudí o egipcia aunque citaba el artículo correcto.
- Sustituida: la prueba de junio con 300 tareas, más abajo. Sigue siendo nuestro mayor conjunto de datos y la fuente de la cifra del 24 % de brecha de citas, pero cada modelo que incluye tiene ya una versión más reciente. Úsela para detectar patrones (errores de cita en todos los niveles, ningún modelo gana en todas las áreas de práctica, una diferencia de coste de 90x), no para elegir un modelo hoy.
En lo que coinciden las pruebas de septiembre: la diferencia de calidad entre los modelos de frontera actuales en tareas jurídicas es pequeña, y las diferencias útiles están en cómo falla un modelo (inventar fuentes, interpretar mal una norma local) y en lo que cuesta cada respuesta. Pruebe su lista corta con sus propios asuntos antes de decidir.
¿Qué IA es la más precisa para la investigación jurídica?
En el criterio que más importa en investigación, si la fuente existe y dice lo que el modelo afirma, Claude Opus 5.5 y GPT-6 Astra se comportaron mejor en nuestra última prueba: ninguna sentencia inventada en las ocho respuestas que dieron entre ambos. En el Legal Research Bench independiente de Vals AI, Opus 5.5 obtuvo el 50,48 %, 4.º de 68 modelos cuando lo consultamos el 23 de septiembre de 2026. Ningún modelo que hayamos probado es lo bastante preciso para citarse sin verificación. En septiembre, los tres modelos de la prueba de Astra dieron el número de artículo correcto unido a la norma equivocada en una pregunta saudí o egipcia, algo que un verificador de citas dejaría pasar.
Esa es la brecha que una herramienta de investigación tiene que cerrar por encima del modelo: recuperar la fuente primaria, contrastar la cita con ella y avisar cuando no encuentra ninguna. Así construimos la investigación jurídica de HAQQ.
¿Alucina menos un modelo más grande o más reciente?
Los modelos más recientes alucinan con menos frecuencia, pero siguen haciéndolo. Entre junio y septiembre el patrón cambió: en junio, cada uno de los 10 modelos fabricó o aplicó mal una cita en algún punto de las 300 tareas, y el 24 % de todas las respuestas tenía un problema de cita. En septiembre, los modelos insignia más recientes de Anthropic y OpenAI se negaron a inventar jurisprudencia cuando se les pidió. Gemini 3.1 Pro y DeepSeek V4 Pro siguieron produciendo números de asunto a demanda, una pareja distinta cada vez que preguntamos. El tamaño del modelo por sí solo no predijo el comportamiento; los dos que se negaron fueron también los dos más caros por respuesta en esa prueba.
Prueba anterior: estrategia procesal bajo el derecho de Nueva York (ene. 2026)
En enero de 2026 dimos a siete sistemas un único prompt: «Prepare litigation strategy under New York law for unpaid invoice of $250,000.» Puntuamos cada respuesta sobre 10 en seis criterios. Las respuestas sólidas usaban la CPLR 3213 (summary judgment in lieu of complaint), alegaban incumplimiento contractual y account stated, y planificaban el cobro tras la sentencia (restraining notices, embargos bancarios, turnover orders). Las respuestas más débiles se quedaban en la presentación de la demanda. Fue un único prompt puntuado por HAQQ, con HAQQ entre los participantes, y todos los modelos generalistas que incluía han sido sustituidos desde entonces, así que léalo como un registro de cómo diferían las respuestas, no como una clasificación.
| Modelo | Exactitud jurídica | Profundidad procesal | Estrategia | Fuentes | Estructura | Listo para el cliente |
|---|---|---|---|---|---|---|
| HAQQ | 9,5 | 9,5 | 9 | 9 | 9,5 | 9,5 |
| Claude Opus 4.6 | 9 | 8,5 | 9 | 9 | 9 | 8,5 |
| GPT-5.2 | 8,5 | 8,5 | 9 | 7 | 8,5 | 8,5 |
| Gemini 3.1 Pro | 8 | 8 | 8 | 7,5 | 8 | 8 |
| Grok 4.1 | 7,5 | 7 | 7 | 7 | 7,5 | 7 |
| Mistral Large 3 | 7 | 7 | 6,5 | 6 | 7 | 6,5 |
| Perplexity Sonar | 6 | 6 | 6 | 6 | 6,5 | 6 |
¿Cómo realizamos el benchmark de junio con 300 tareas?
Redactamos 300 tareas jurídicas originales con partes identificadas, importes, fechas y normas aplicables: redacte esta cláusula, revise esta disposición, estructure esta operación, analice este conflicto de leyes. Abarcan 51 áreas de práctica y más de 20 jurisdicciones, entre ellas el derecho federal de EE. UU. y Delaware, California, Nueva York y Texas, el Reino Unido, la UE, los EAU y el DIFC, Arabia Saudí, Líbano, Egipto, Catar, Singapur, Australia, Canadá, India, Brasil, Nigeria, la OHADA, Japón, Alemania, Francia y Suiza, además de los Convenios de La Haya y las Islas Caimán, las Islas Vírgenes Británicas y Bermudas.
La dificultad estaba muy ponderada: 114 tareas de nivel 5 sobre 5, 108 de nivel 4 y 22 de nivel 3. Cada tarea se envió a los 10 modelos con un prompt de sistema idéntico a temperatura 0, con un límite de 6.000 tokens de salida. Cada respuesta se puntuó en cinco dimensiones:
- Calidad (1 a 10): profundidad, exhaustividad, aplicabilidad práctica.
- Exactitud (1 a 10): corrección jurídica, menos 5 por jurisprudencia alucinada y menos 3 por jurisdicción equivocada.
- Velocidad (1 a 5): latencia medida.
- Estilo (1 a 5): estructura profesional.
- Creatividad (1 a 5): riesgos no evidentes y cuestiones transfronterizas detectadas.
Claude Sonnet 4.6 puntuó calidad, exactitud, estilo y creatividad con una rúbrica fija; la velocidad procede de la latencia real. La sección de salvedades trata el sesgo del juez.
¿Qué mostró la clasificación de junio de 2026?
- Claude Opus 4.8 quedó primero en 130 de 300 tareas (casi el doble que cualquier otro modelo), entre los tres primeros en 265, con las puntuaciones más altas de calidad (8,9) y creatividad. Fue lento (60,8 s) y de los más caros (0,069 $ por tarea).
- Grok 4.3 quedó segundo (28,98) con 8,8 segundos y 0,003 $ por tarea, el resultado más sólido en velocidad y coste, y ganó más tareas que nadie en medio ambiente/ESG, propiedad intelectual y casos límite.
- GPT-5.5 registró la exactitud más alta (8,41) y la menor tasa de citas alucinadas (3 %), pero quedó quinto en total y ganó una sola tarea. Fue el más lento (134 s) y el más caro (0,082 $).
- o3 ganó 66 tareas y aun así quedó octavo, con una tasa de alucinación del 32 % y una exactitud de 5,89.
- Mistral Large aplicó mal o inventó citas en el 64 % de sus respuestas; Llama 4 Maverick quedó último (20,01).
¿Con qué frecuencia citan los modelos de IA normas que no respaldan la respuesta?
En junio, el 24 % de las 3.000 respuestas citaba o aplicaba normas que no dicen lo que el modelo afirmaba: casos inventados, leyes mal aplicadas, la doctrina correcta unida a la jurisdicción equivocada. El juez señaló errores concretos y verificables. Un ejemplo por modelo:
- Claude Opus 4.8: Computer Associates / Gemstar citados como precedentes de gun-jumping; no son caracterizaciones precisas.
- GPT-5.5: La cita de Hitz parece fabricada; 616 B.R. 374 no se puede verificar.
- Gemini 3.1 Pro: La cita de Halpin v. Riverstone no se puede verificar; probablemente un caso de Delaware alucinado.
- Grok 4.3: CBS v. Ziff-Davis citado de forma inexacta; el caso trata de la confianza en las declaraciones contractuales, no de la obligación de información.
- Claude Sonnet 4.6: La cita de Schrier no se puede verificar; el caso Biotronik es real pero está mal aplicado.
- o3: Las citas de MSA Technology v Antec y GB Gas parecen fabricadas o tergiversadas.
- Qwen3.7 Max: Specht v. Netscape mal aplicado; no es un caso UCC sobre bienes y servicios.
- DeepSeek V3.2: La cita de Crosstown Music no se puede verificar / está mal aplicada.
- Mistral Large: Las citas de N.Y. Gen. Oblig. Law §5-328 y UCC §2-515 son dudosas / están mal aplicadas.
- Llama 4 Maverick: Caso Cavendish mal aplicado; no guarda relación con las cláusulas de precio.
Todos los modelos, incluidos los primeros, cometieron al menos un error de este tipo, y la puntuación de exactitud más alta fue de 8,41 sobre 10 (GPT-5.5). Las herramientas de investigación por las que los abogados ya pagan muestran el mismo problema: el estudio de 2024 de Stanford RegLab midió alucinaciones en cerca de un tercio de las respuestas de Westlaw AI-Assisted Research y en más de una de cada seis en Lexis+ AI.
¿Gana un solo modelo en todas las áreas de práctica?
No. De las 51 áreas de práctica de junio, Claude Opus 4.8 lideró 30, Grok 4.3 13, o3 6, y Gemini 3.1 Pro y Claude Sonnet 4.6 una cada uno.
- Opus 4.8 lideró el núcleo doctrinal: fusiones y adquisiciones (30,6), cumplimiento normativo (30,5), mercado de valores, delitos económicos, fiscalidad, derecho bancario, privacidad de datos, derecho laboral y comercio internacional.
- Grok 4.3 lideró propiedad intelectual y tecnología (30,2), medio ambiente y ESG (30,8), protección del consumidor, y cumplimiento y due diligence (31,4).
- o3 lideró operaciones jurídicas (31,1), valores y finanzas (30,9), contratación pública (31,1) e inmobiliario transfronterizo.
- Gemini 3.1 Pro obtuvo la puntuación más alta en privacidad y protección de datos (31,4).
La prueba de Astra de septiembre encontró el mismo perfil a menor escala: Astra por delante en la mayoría de las áreas de práctica, Claude Opus 5 por delante en insolvencia y ESG. Un producto jurídico que dirige cada asunto al modelo con más probabilidades de resolverlo bien, y luego verifica la respuesta, saca más partido del conjunto que uno que apuesta por un solo modelo.
Prueba HAQQ AI gratis
Experimenta la redacción e investigación legal con IA
¿Cuánto cuesta cada modelo por tarea jurídica?
En junio, el coste por tarea abarcaba un rango de 90x, de 0,0009 $ (DeepSeek V3.2) a 0,082 $ (GPT-5.5), y la latencia iba de 7,7 segundos (Llama 4 Maverick) a 134 segundos (GPT-5.5). Las pruebas de septiembre, valoradas a precios de lista de OpenRouter en la fecha de cada prueba, ofrecen la imagen actual:
- Claude Opus 5.5: 0,3647 $ por respuesta con esfuerzo de razonamiento alto, frente a 0,7249 $ de Fable 5.1 y 0,4362 $ de Opus 5 (23 sept. 2026).
- GPT-6 Astra: 0,2622 $ por respuesta, 1,7x más barato que Claude Opus 5 porque escribe unas 3,5x menos tokens, y 11x más caro que GPT-5.6 Luna Pro, a 0,0231 $ (10 sept. 2026).
- En la prueba de trampas con la configuración por defecto, las 20 respuestas por modelo costaron 4,04 USD para Opus 5.5, 2,81 para Astra, 0,92 para Gemini 3.1 Pro y 0,88 para DeepSeek V4 Pro (30 sept. 2026).
Para un producto de gran volumen, el modelo con la puntuación de calidad más alta puede ser la elección equivocada una vez que se cuentan el coste y la latencia. El esfuerzo de razonamiento elevado de Astra es un ejemplo: en septiembre, pasarlo de bajo a alto multiplicó el coste por 1,5x y la latencia por 1,8x, y movió la calidad evaluada en menos 0,17 puntos.
¿Cómo se comparan las plataformas de IA jurídica con los modelos de frontera?
Mantenemos una segunda clasificación: una evaluación de 50 tareas con una rúbrica de 50 puntos en 11 categorías de tareas, que añade las plataformas jurídicas que los despachos preseleccionan (Harvey, CoCounsel, Legora, Spellbook, LexisNexis +AI, Clio Duo) junto a los modelos de frontera. Es la clasificación de nuestra página de comparación, y HAQQ ocupa en ella el primer puesto (vea la nota de transparencia más arriba). Ordenada por puntuación media:
| Puesto | Modelo o producto | Media /50 |
|---|---|---|
| 1 | HAQQ (Justinian) | 46,8 |
| 2 | Claude Fable 5 | 42,7 |
| 3 | Claude Opus 4.8 | 40,8 |
| 4 | Mike OS | 39,1 |
| 5 | Harvey Tenet | 37,9 |
| 6 | DeepSeek V4 Pro | 36,8 |
| 7 | Thomson Reuters CoCounsel | 36,6 |
| 8 | Legora | 35,9 |
| 9 | GPT-5.6 Sol Pro | 35,3 |
| 10 | Claude + plugins jurídicos | 33,9 |
| 11 | Gemini 3.1 Pro | 32,9 |
| 11 | Spellbook | 32,9 |
| 13 | LexisNexis +AI | 32,0 |
| 14 | Grok 4.5 | 30,7 |
| 15 | Perplexity Sonar | 27,2 |
| 16 | Clio Duo | 25,6 |
| 17 | Llama 4 Maverick | 23,8 |
| 18 | Mistral 3 | 22,4 |
| 19 | Qwen3.7 Plus | 18,7 |
Destacan dos lecturas. Las plataformas jurídicas se agrupan en la zona media: Harvey Tenet (37,9), CoCounsel (36,6), Legora (35,9) y LexisNexis +AI (32,0) quedan todas por debajo de los modelos de frontera más sólidos en calidad de respuesta aislada, de modo que lo que un despacho paga a una plataforma es sobre todo flujo de trabajo, integraciones y seguridad. Y la dispersión es amplia, de 46,8 a 18,7, así que la elección de herramienta cambia el resultado del que parte un abogado. Una puntuación por tarea no capta el despliegue en todo el despacho, las certificaciones ni los flujos de trabajo sobre grandes volúmenes de documentos, que son puntos fuertes reales de las plataformas más grandes.
La clasificación de plataformas aún no se ha repetido con Opus 5.5, Fable 5.1 ni GPT-6 Astra; las pruebas de septiembre anteriores son la fuente vigente para esos modelos.
¿Qué proveedor lidera en el conjunto de pruebas?
Agrupando los modelos por proveedor y combinando la prueba de junio con todas las ejecuciones anteriores del mismo benchmark mercantil (índice de 0 a 100, ponderado por número de evaluaciones):
Los principales proveedores están muy próximos. Lo que se construye alrededor del modelo (recuperación de fuentes, verificación de citas, reglas de cada jurisdicción) influye más en el resultado que cuál de ellos se elija.
¿Puedo fiarme de estos benchmarks?
- Límites de salida. Nuestra primera pasada de junio limitaba las respuestas a 1.200 tokens, lo que asfixiaba a los modelos de razonamiento y recortaba a los más extensos. La descartamos y la repetimos con 6.000. La mayoría de los modelos ganaron entre 1,5 y 2,5 puntos; Mistral y Llama empeoraron, porque las respuestas más largas dejaban ver más citas erróneas. En septiembre, un límite de 32.000 tokens truncó dos respuestas de Opus en un prompt; repetimos con 64.000 y ahora abortamos cualquier prueba con una respuesta truncada.
- Jueces. En junio se usó un solo juez, Claude Sonnet 4.6, así que la autopreferencia es una duda legítima; que Grok 4.3 quedara segundo y GPT-5.5 obtuviera la exactitud más alta va en contra de un fuerte sesgo propio, pero un segundo juez sería preferible. Las pruebas de septiembre usaron dos jueces ajenos a Anthropic (23 sept.) y tres jueces de tres familias de modelos, tomando la mediana (30 sept.). El 23 de septiembre, los dos jueces eligieron ganadores distintos a partir de las mismas respuestas.
- Tamaño de la muestra. Las pruebas de septiembre usaron 10, 41 y 5 prompts. Es suficiente para ver una diferencia grande y demasiado poco para ordenar modelos que están cerca. Fíjese en la magnitud de los efectos, no en los decimales.
- Ejecuciones únicas. Junio fue una única ejecución a temperatura 0. En septiembre, las respuestas repetidas variaron 0,3 puntos de media y un punto entero o más en 11 de 40 pares.
- Revisión humana. Ningún abogado en ejercicio calificó las respuestas de septiembre, y la redacción en árabe solo la evaluaron modelos.
¿Cómo debería elegir hoy un despacho un modelo?
- Preseleccione Claude Opus 5.5 y GPT-6 Astra para investigación y asesoramiento cuando el principal riesgo sea la invención de fuentes; ambos se negaron a fabricar sentencias en nuestra última prueba.
- Calcule el coste de la lista corta con su propio volumen. Opus 5.5 cuesta aproximadamente la mitad que Fable 5.1 por respuesta con una calidad que no pudimos distinguir; GPT-5.6 Luna Pro es mucho más barato que Astra para preguntas y respuestas generales, donde un punto de calidad no justifica pagar 11x.
- Pruebe con sus propias jurisdicciones. Todos los modelos de la prueba de Astra interpretaron mal una norma saudí o egipcia aunque citaban el artículo correcto.
- Pida una fuente que no puede existir, pregunte dos veces y verifique cada cita a mano. El método completo está en cómo probar una IA jurídica.
- Vuelva a comprobarlo cada trimestre. El líder de junio ya tiene tres sucesores en esta página.
Fuentes
- HAQQ, benchmark jurídico de Claude Opus 5.5 (23 sept. 2026)
- HAQQ, GPT-6 Astra en el trabajo jurídico (prueba del 10 sept. 2026)
- HAQQ, Cómo probar una IA jurídica: cinco preguntas trampa (prueba del 30 sept. 2026)
- Vals AI, Legal Research Bench
- Anthropic, presentación de Claude Opus 5.5
- Magesh et al., estudio de Stanford RegLab sobre herramientas de investigación jurídica con IA (2024)



