En resumen: esta es nuestra prueba de mayo de 2026. Planteamos a Claude Sonnet 4, GPT-4o y Gemini 2.5 Flash las 100 preguntas más populares de todos los tiempos de r/legaladvice. Claude Sonnet 4 aprobó 88, GPT-4o 87 y Gemini 2.5 Flash 78. Los tres obtuvieron su puntuación más baja en advertencias (de 3,0 a 3,15 sobre 5), muy por debajo de su precisión jurídica (de 3,98 a 4,30).
Resultado fechado, conservado como registro. Este benchmark se realizó en mayo de 2026 con modelos que ya han sido sustituidos. Para resultados actuales, consulte qué IA elegir para el trabajo jurídico, actualizado en octubre de 2026, el benchmark jurídico de Claude Opus 5.5 (23 de septiembre de 2026, 120 veredictos a ciegas) y cómo probar una IA jurídica (30 de septiembre de 2026, cinco preguntas trampa sobre Emiratos Árabes Unidos, Arabia Saudí y Líbano, 80 respuestas). Las cifras siguientes no han cambiado respecto al artículo original.
Datos clave
- Tasas de aprobación en las 100 preguntas más populares de todos los tiempos de r/legaladvice: Claude Sonnet 4 88/100, GPT-4o 87/100, Gemini 2.5 Flash 78/100 (prueba de HAQQ, mayo de 2026).
- Dimensión más débil para los tres: advertencias adecuadas, de 3,0 a 3,15 sobre 5. La precisión jurídica osciló entre 3,98 y 4,30 (prueba de HAQQ, mayo de 2026).
- En 20 preguntas nuevas publicadas en las 48 horas anteriores: Claude Sonnet 4 95 %, GPT-4o 90 %, Gemini 2.5 Flash 85 % (prueba de HAQQ, mayo de 2026).
- Juez: Claude Sonnet 4 calificó todas las respuestas, incluidas las suyas, sin validación de un abogado (prueba de HAQQ, mayo de 2026).
- Contexto: el World Justice Project estimó en 2019 que 5100 millones de personas tienen necesidades de justicia no satisfechas (WJP, Measuring the Justice Gap, 2019).
Transparencia. HAQQ desarrolla IA jurídica y diseñó, ejecutó y calificó esta prueba. HAQQ no fue uno de los modelos evaluados.
¿Cómo planteamos la prueba?
Tomamos las 100 publicaciones más votadas de todos los tiempos en r/legaladvice: preguntas reales sobre conflictos entre arrendadores e inquilinos, empleo, custodia, cargos penales, lesiones personales y más. La publicación media superaba los 2200 caracteres, así que la mayoría de las preguntas venían acompañadas de hechos enrevesados.
Cada pregunta se envió a tres modelos a través de OpenRouter con el mismo prompt de sistema: actuar como un abogado estadounidense con experiencia, identificar la jurisdicción, detectar las cuestiones, citar la ley aplicable, analizar y, por último, asesorar.
- Claude Sonnet 4 (Anthropic)
- GPT-4o (OpenAI)
- Gemini 2.5 Flash (Google)
¿Cómo se calificaron las respuestas?
Claude Sonnet 4 actuó como juez y puntuó cada respuesta de 1 a 5 en cinco dimensiones: precisión jurídica (¿son correctas las leyes citadas?), exhaustividad de las cuestiones (¿detectó todas las cuestiones jurídicas?), calidad del razonamiento (¿es coherente el razonamiento?), valor práctico (¿ayudaría a la persona a dar el siguiente paso correcto?) y advertencias adecuadas (¿indica que no es asesoramiento jurídico y remite a un abogado local?).
Una respuesta aprobaba si su media era de al menos 3,5 y ninguna dimensión quedaba por debajo de 2. Usar un modelo para calificar modelos introduce sesgos, sobre los que volvemos más abajo.
¿Qué modelo aprobó más preguntas?
Claude Sonnet 4 aprobó 88 de 100, GPT-4o 87 y Gemini 2.5 Flash 78. Con 100 preguntas y un solo juez, una diferencia de un punto entre Claude y GPT-4o es ruido: considérelos empatados.
¿Qué puntuación obtuvieron los modelos en cada dimensión?
La precisión jurídica osciló entre 3,98 y 4,30 sobre 5. Gemini obtuvo la puntuación más alta en exhaustividad de las cuestiones (4,82), por delante de Claude (4,58). La dimensión más fuerte de Claude fue el valor práctico, con 4,73 frente a 4,21 de GPT-4o, sobre todo porque sus respuestas enumeraban más pasos concretos. Las advertencias fueron el punto bajo de todos los modelos.
¿Qué aprendimos en mayo de 2026?
Los modelos solían acertar con el área del derecho
En la mayoría de los 100 casos, cada modelo identificó el área del derecho, detectó las cuestiones principales y dio un consejo sobre el que una persona podía actuar. Esa fue la parte alentadora de la prueba.
El punto débil fueron las advertencias
Los tres modelos obtuvieron entre 3,0 y 3,15 en advertencias adecuadas. Profundizaban en el análisis, a menudo correctamente, sin decir que se trataba de información general ni que la persona debía consultar a un abogado local. Una respuesta segura sin ninguna advertencia es arriesgada incluso cuando es correcta, porque el lector no puede saber qué partes dependen de su estado o de sus circunstancias. Esta es una de las razones por las que añadimos salvaguardas, avisos legales y derivación a un abogado sobre cualquier modelo que utilice HAQQ.
Prueba HAQQ AI gratis
Experimenta la redacción e investigación legal con IA
Medias altas no significaron una tasa de aprobación alta
Gemini 2.5 Flash tuvo las medias más altas en precisión jurídica (4,30) y exhaustividad de las cuestiones (4,82), pero la tasa de aprobación más baja, el 78 %. Algunas de sus respuestas quedaron cortadas; otras omitieron por completo el aviso legal y suspendieron en esa dimensión. En el trabajo jurídico, una respuesta excelente casi siempre e incompleta el resto del tiempo es difícil de usar con confianza.
¿Hasta qué punto es fiable un juez de IA?
Claude juzgó a los tres modelos, incluido él mismo. Eso plantea tres problemas que no pudimos eliminar en esta prueba: una posible ventaja de jugar en casa, un sesgo hacia estructuras de respuesta que el juez reconoce y la ausencia de una referencia verificada, porque ningún abogado revisó las respuestas. Lo que miden las puntuaciones es la coincidencia con la idea que tiene un modelo de una buena respuesta.
Nuestras pruebas posteriores abordaron esto. El benchmark de Opus 5.5 de septiembre de 2026 utilizó dos jueces ajenos a Anthropic, y la prueba de preguntas trampa utilizó tres jueces a ciegas y publicó las 80 respuestas.
¿Se mantuvieron los resultados con preguntas nuevas?
Las 100 publicaciones más populares son lo bastante antiguas como para haber aparecido en los datos de entrenamiento. Para comprobarlo, aplicamos el mismo proceso a 20 preguntas publicadas en r/legaladvice en las 48 horas anteriores. Claude Sonnet 4 obtuvo un 95 %, GPT-4o un 90 % y Gemini 2.5 Flash un 85 %. Veinte preguntas son una muestra pequeña, así que lo interpretamos como "ningún indicio de memorización" y no como una mejora.
¿Qué significa esto para un producto de IA jurídica?
Ya en mayo de 2026, los modelos razonaban sobre preguntas jurídicas estadounidenses habituales lo bastante bien como para ser útiles la mayor parte del tiempo. El 5 a 15 % restante es donde un producto se gana la confianza: decidir qué respuesta de modelo conservar, añadir las advertencias que los modelos omitieron, fundamentar las respuestas en la jurisdicción y los documentos del despacho y hacer que cada cita sea rastreable hasta su fuente. Ese es el trabajo que hace Justinian, el motor de IA jurídica de HAQQ, sobre los modelos que ejecuta.
Metodología
- Fecha de la prueba: mayo de 2026.
- Preguntas: las 100 publicaciones más populares de todos los tiempos en r/legaladvice, más 20 publicaciones de las 48 horas anteriores, filtradas para quedarse con publicaciones de texto con contenido sustancial.
- Modelos: Claude Sonnet 4, GPT-4o y Gemini 2.5 Flash, todos llamados a través de OpenRouter con prompts de sistema idénticos.
- Prompting: cadena de razonamiento con un marco de razonamiento jurídico en cinco pasos (jurisdicción, cuestiones, derecho, análisis, consejo).
- Juez: Claude Sonnet 4, juez único, cinco dimensiones puntuadas de 1 a 5, sin revisión de un abogado.
- Regla de aprobación: media de al menos 3,5 y ninguna dimensión por debajo de 2.
- Datos: el código, las preguntas, las respuestas y las puntuaciones se guardaron en un repositorio en el momento de la prueba.



