En resumen: enfrentamos a Claude Opus 5.5, Opus 5 y Fable 5.1 con diez instrucciones de nivel profesional para abogados y recogimos 120 veredictos a ciegas de dos jueces ajenos a Anthropic. Los modelos terminaron a cuatro veredictos de distancia entre sí, y los resultados forman un ciclo, no una clasificación. El precio fue lo que los separó con claridad: Opus 5.5 costó la mitad por respuesta que Fable 5.1. Publicamos también lo que salió mal, porque uno de esos fallos estuvo a punto de darnos un resultado falso.
Todos citan las mismas tres cifras
Busque una comparativa de los modelos actuales de Anthropic y encontrará una página de artículos que coinciden entre sí. Opus 5.5 iguala a Fable 5.1 en la mayoría de las tareas. Es mucho más barato. Es más rápido.
Esas cifras son correctas, y las comprobamos en la fuente en lugar de fiarnos de la prensa. La propia página de Anthropic indica que los tokens de entrada y salida cuestan "4 $ y 20 $ por millón, un 20 % menos que Opus 5", y que "Opus 5.5 también genera la salida más de un 30 % más rápido que Opus 5". Frente a los 10 $ y 50 $ de Fable 5.1, eso supone un 60 % menos por token.
Lo que casi nadie ha hecho es enfrentar los modelos entre sí de forma independiente. La cobertura es periodismo real, pero informa sobre la autoevaluación de un proveedor.
El benchmark jurídico independiente que pudimos verificar en la fuente, y solo encontramos uno, coincide en líneas generales con el proveedor. El Legal Research Bench de Vals AI sitúa a Opus 5.5 en un 50,48 %, en el puesto 4 de 68 modelos. Es un buen resultado, y también es un resultado sobre investigación jurídica, que es una sola tarea. No le dice a un abogado interno si el modelo redacta una cláusula de earn-out mejor que el modelo que cuesta el doble.
Buscamos esa respuesta y no la encontramos, así que hicimos la prueba nosotros mismos.
Una nota sobre lo que no publicamos. Dos cifras muy repetidas sobre Opus 5.5 en un benchmark de agentes jurídicos no superaron la comprobación con la fuente primaria: la página de resultados del propio benchmark no incluye el modelo, y la página del proveedor no recoge la puntuación que se le atribuye. Hemos dejado ambas fuera. Si ve esas cifras citadas en otro lugar, pregunte de dónde salen.
Qué probamos
Diez instrucciones, redactadas como tareas que reconocería un abogado en ejercicio y no como preguntas de examen:
- Revisar con control de cambios un límite de responsabilidad en un contrato SaaS
- Un memorando IRAC sobre la exigibilidad de un pacto de no competencia
- Una investigación con abundantes citas sobre jurisdicción personal
- Un dictamen sobre una transferencia internacional de datos de los EAU a Francia
- Redactar una cláusula de earn-out
- Un triaje conforme al Reglamento de IA de la UE para un producto legal tech
- Un memorando de estrategia: arbitraje frente a litigio
- Señales de alerta en la due diligence de un acqui-hire
- Una carta al cliente comunicando una sentencia desfavorable
- Indemnización de fin de servicio: DIFC frente al derecho continental de los EAU
Dos de ellas son asuntos de MENA, porque ese es el derecho para el que está construido nuestro producto y porque es ahí donde escasean los datos de entrenamiento.
Cada modelo respondió las diez. Después, cada respuesta se enfrentó a todas las demás en una comparación por pares a ciegas, puntuada por dos jueces ajenos a Anthropic: GPT-5.5 y Gemini 3.1 Pro. Cada juez vio cada par dos veces, una en cada orden, lo que neutraliza la tendencia, bien documentada, de un modelo de lenguaje a favorecer la respuesta que lee primero. Tres emparejamientos, diez instrucciones, dos jueces, dos órdenes. 120 veredictos.
Los jueces puntuaron cuatro dimensiones en una escala de 1 a 10: exactitud, exhaustividad, utilidad práctica y calidad de redacción. Se les indicó que la extensión no es calidad y que juzgaran como un socio que revisa el trabajo de un asociado.
Dos ajustes importan más de lo que parece. Fijamos el esfuerzo de razonamiento en "high" en los tres modelos, de modo que la comparación mide la capacidad con un ajuste fijo y no tres valores predeterminados distintos. Y omitimos por completo la temperatura, porque Fable 5.1 no acepta ese parámetro a través de OpenRouter. Fijarla habría dado a los dos modelos Opus un determinismo que Fable no podía tener.
La prueba completa costó 15,26 $. Todos los precios de modelos de este artículo son precios de lista de OpenRouter consultados en la API el 23 de septiembre de 2026, y todos los costes por respuesta se calculan a partir de los tokens que consumió realmente nuestra prueba.
El resultado no forma una clasificación
Tres enfrentamientos directos, 40 veredictos a ciegas cada uno
Diez instrucciones de nivel profesional, dos jueces ajenos a Anthropic, ambos órdenes de presentación. Empates mostrados aparte.
Opus 5.5 frente a Opus 5
Opus 5.5 frente a Fable 5.1
Opus 5 frente a Fable 5.1
Lea el patrón y no una fila aislada. Opus 5.5 gana a Fable 5.1, Fable 5.1 gana a Opus 5 y Opus 5 gana a Opus 5.5. Ningún orden de los tres modelos es coherente con los tres resultados.
Opus 5.5 gana a Fable 5.1. Fable 5.1 gana a Opus 5. Opus 5 gana a Opus 5.5.
Es un ciclo, no una clasificación. No existe ningún orden de estos tres modelos coherente con los tres resultados, que es la señal más clara posible de que las diferencias son menores que la precisión de la medición.
Si se mira desde el otro lado, aparece lo mismo. Cada modelo figura en dos emparejamientos, por lo que acumula 80 veredictos.
Veredictos ganados, de 80 por modelo
Cada modelo se enfrentó a los otros dos en las diez instrucciones, así que cada uno acumula 80 de los 240 juicios.
Cuatro veredictos de diferencia. En este conjunto de tareas y con este tamaño de muestra, los tres modelos son intercambiables en calidad.
Podríamos haber escrito el titular al revés. "Opus 5.5 gana a Fable 5.1 en trabajo jurídico" es cierto, es lo que dicen nuestras propias cifras, y habría llegado mucho más lejos que este artículo. También habría sido un margen de tres veredictos sobre cuarenta presentado como hallazgo. No creemos que eso resista una repetición de la prueba, y preferimos decirlo antes que descubrirlo en público.
Qué significa realmente una diferencia de cuatro veredictos
Un benchmark responde a la pregunta que uno puede permitirse hacer, no a la que quería hacer. Diez instrucciones es lo que se compra con 15 $ con un esfuerzo de razonamiento alto. Basta para detectar una diferencia grande y no basta para resolver una pequeña, y lo que encontramos es una pequeña.
La lectura honesta es que, en este conjunto de tareas y con este tamaño de muestra, estos tres modelos son intercambiables en calidad. Quien publique una clasificación segura de ellos a partir de un benchmark de este tamaño está informando de ruido con un decimal.
Un modelo que gana 35 a 39 no ha perdido. Un modelo que gana 85 a 15 ha ganado.
No es una crítica a los benchmarks. Es un argumento para leerlos por el tamaño del efecto y no por la posición.
Los jueces discreparon, y eso es determinante
Usamos dos jueces precisamente para que ninguno pudiera sostener el resultado por sí solo. No coincidieron, y su desacuerdo es sistemático, no aleatorio.
| Juez | Opus 5.5 | Opus 5 | Fable 5.1 | Empates | Qué valora |
|---|---|---|---|---|---|
| GPT-5.5 | 21 | 16 | 23 | 0 | prudencia, fuentes limpias |
| Gemini 3.1 Pro | 14 | 23 | 13 | 10 | cobertura, exhaustividad |
GPT-5.5 puso a Fable 5.1 en primer lugar y no declaró ni un solo empate. Gemini 3.1 Pro puso a Opus 5 en primer lugar con amplio margen y declaró diez.
Al leer las justificaciones, el motivo salta a la vista. GPT-5.5 valora la prudencia, las fuentes limpias y ceñirse al encargo. Gemini 3.1 Pro valora la cobertura, y prefirió sistemáticamente la respuesta más larga, la que identificaba más obligaciones y señalaba más contingencias.
Ninguno se equivoca. Son dos visiones defendibles de lo que es un buen trabajo de asociado, y dan ganadores distintos con las mismas respuestas. Si se queda con una sola idea de este artículo, que sea esta: cuando un benchmark ofrece una única puntuación, pregunte quién fue el juez y qué valora, porque esa elección pesa más de lo que parece.
Un resultado se mantiene con ambos jueces. Opus 5.5 queda segundo con cada uno de ellos, así que ningún juez lo sitúa en último lugar.
Dónde sí se separan las puntuaciones
Los veredictos por pares están ajustados. Las puntuaciones por dimensión dicen más, porque muestran a los modelos fallando en direcciones distintas.
Puntuación media de los jueces por dimensión, de 1 a 10
Promedio de todos los veredictos en los que aparecía cada modelo. Las barras se dibujan sobre la escala completa de 0 a 10.
Exactitud
Exhaustividad
Utilidad práctica
Redacción
Las barras se parecen porque los resultados se parecen: la dispersión total entre tres modelos y cuatro dimensiones es de 1,26 puntos. Lea las cifras, no las longitudes. Esa uniformidad es el hallazgo, no un problema de visualización.
En exactitud hay empate arriba. Opus 5.5 y Fable 5.1 promedian ambos 8,55. Opus 5 queda por debajo de los dos, con 8,18.
La exhaustividad va en sentido contrario. Opus 5 lidera con 9,44, Fable 5.1 le sigue con 9,22 y Opus 5.5 cierra con 8,93.
Esa inversión es lo más útil de la prueba. Opus 5 escribió las respuestas más largas y minuciosas del conjunto y obtuvo la puntuación más alta en exhaustividad y utilidad práctica, mientras que obtuvo la más baja en exactitud. Opus 5.5 escribió respuestas más breves que los jueces consideraron más precisas. Fable 5.1 quedó más cerca de lo más alto en ambas.
En muchos trabajos, la exhaustividad es lo que se busca. En el trabajo jurídico, la prioridad entre esas dos dimensiones es una decisión que conviene tomar deliberadamente y no heredar de una clasificación, porque una respuesta que abarca más terreno y es menos exacta no es, sin más, la que conviene enviar a un cliente.
Prueba HAQQ AI gratis
Experimenta la redacción e investigación legal con IA
Lo que no está ajustado
Coste por respuesta, medido con tokens reales
Diez instrucciones jurídicas por modelo con esfuerzo de razonamiento alto, facturadas a precios de lista de OpenRouter del 23 de septiembre de 2026.
Los tokens de razonamiento se facturan como salida. Opus 5.5 fue el que más razonó de los tres, 10.031 tokens de razonamiento por respuesta frente a los 6.953 de Fable 5.1, y aun así resultó el más barato.
Medido con tokens reales y no con el precio de lista, Opus 5.5 respondió a estas diez instrucciones a 0,3647 $ por respuesta. Opus 5 se quedó en 0,4362 $. Fable 5.1 llegó a 0,7249 $, casi el doble que Opus 5.5, por una diferencia de calidad que nuestros propios datos no pueden resolver.
La velocidad apuntó en la misma dirección. Opus 5.5 tardó de media 184 segundos por respuesta, Fable 5.1 193 y Opus 5 238.
Lo que cada modelo cobra por pensar merece un párrafo propio, porque nos sorprendió. Opus 5.5 fue el modelo más barato y también el que más tiempo pensó. Fable 5.1 escribió las respuestas visibles más cortas de los tres y aun así fue el más caro, porque su precio de lista es 2,5 veces el de Opus 5.5. Ser barato por token le dio a Opus 5.5 margen para pensar más y seguir saliendo ganando en la factura.
El benchmark estuvo a punto de mentirnos
Esta es la parte que la mayoría de los informes de benchmarks omiten, y es la que más nos gustaría leer.
Nuestra primera pasada limitaba cada respuesta a 32.000 tokens. Teníamos pruebas que respaldaban esa cifra: una ejecución anterior con el mismo conjunto de instrucciones demostró que con 32k no había truncamientos, y la respuesta más larga quedó por debajo de 11.000 tokens.
Esa prueba no era trasladable, y el motivo es un detalle que conviene conocer. Los tokens de razonamiento se facturan como salida y cuentan contra el mismo presupuesto de tokens que la respuesta. Fijar el esfuerzo de razonamiento en "high" añadió unos 8.000 tokens de razonamiento por respuesta, y el presupuesto que antes era holgado pasó a ser justo.
En la instrucción de redacción del earn-out, los dos modelos Opus alcanzaron el límite y se cortaron a mitad de respuesta. Fable 5.1 terminó con normalidad. Así que en esa instrucción no estábamos comparando tres modelos. Estábamos comparando un modelo con dos modelos a los que se les había quitado el final, y los veredictos resultantes señalaban directamente a los modelos evaluados.
Al repetirlo con 64.000 tokens, Opus 5.5 usó 51.358 tokens en esa sola instrucción. El límite de 32k lo había estado cortando aproximadamente por la mitad.
Detrás del primer fallo había un segundo. Habíamos interrumpido una ejecución a mitad del juicio, y ya había almacenado en caché veredictos calculados sobre las respuestas truncadas. Esos veredictos en caché sobrevivieron a la repetición de las respuestas, porque una respuesta truncada no es un error y parecía completa para la caché. Tuvimos que localizar y descartar todos los veredictos de las instrucciones afectadas y regenerarlos.
Tuvo consecuencias. En el subconjunto limpio pero incompleto de ocho instrucciones, Fable 5.1 superaba a Opus 5.5. Con las dos instrucciones reparadas de vuelta, el resultado se invirtió. Un límite en el que teníamos buenas razones para confiar, más una caché que habíamos olvidado que existía, habría producido un titular seguro y erróneo.
Qué cambiamos
- El sistema de pruebas ahora aborta la ejecución si alguna respuesta vuelve con un motivo de finalización distinto de una parada limpia. Antes mostraba un aviso y seguía. Un aviso en un registro no es un control.
- Una celda truncada ya no se trata como almacenada en caché. La comprobación de obsolescencia examina el motivo de finalización, no solo la presencia de un campo de error, porque el truncamiento no es un error.
- Cada celda se escribe en disco en cuanto termina, de modo que una ejecución interrumpida se reanuda sin volver a pagar, y cada veredicto registra qué versión de la respuesta evaluó.
Lo mencionamos porque este modo de fallo se generaliza. Si compara modelos de razonamiento entre sí y fija un límite de tokens pensado para modelos sin razonamiento, es muy probable que esté midiendo el límite.
La opinión de HAQQ
Desarrollamos IA jurídica, así que no somos neutrales en la elección de modelos, y diremos claramente qué cambió para nosotros esta prueba.
Pasamos la redacción jurídica rutinaria a Opus 5.5. No porque nuestros datos lo coronen, algo que no pueden hacer, sino porque es indistinguible en calidad de los dos modelos que cuestan más, y además es más rápido. Cuando dos opciones son medibles como iguales y una cuesta la mitad, la decisión no está ajustada aunque el benchmark sí lo esté.
Mantuvimos Fable 5.1 para las pasadas finales sujetas a control de calidad, el trabajo cuya respuesta leerá alguien de fuera de la empresa. Es una cautela, no un hallazgo. Nuestras cifras no la justifican, y un conjunto de instrucciones más amplio bien podría retirarla.
Para un equipo jurídico que elige modelo, la conclusión útil no es qué modelo ganó. Es que la diferencia de calidad entre los modelos punteros actuales en tareas jurídicas es ya lo bastante pequeña como para que el precio, la latencia y la forma en que falla un modelo importen más que quién encabeza una clasificación. Elija aquel cuyo modo de fallo pueda asumir y pruébelo después con sus propios asuntos, porque sus asuntos no son nuestras diez instrucciones.
Limitaciones
- Diez instrucciones son una muestra pequeña. Basta para detectar una diferencia grande, y no encontró ninguna. Considere provisional cada margen por pares de este artículo.
- Dos jueces, ambos modelos de lenguaje. Usamos jueces ajenos a Anthropic e intercambiamos posiciones para controlar los sesgos evidentes, pero un juez LLM no es un abogado, y ya hemos escrito sobre lo mucho que pueden fallar los jueces LLM precisamente en este tipo de tarea.
- El desacuerdo entre jueces sigue sin resolverse. Nuestros dos jueces dieron ganadores distintos. Presentamos ambos en lugar de promediarlos en una sola cifra que oculte la división.
- Una sola ejecución, sin repeticiones. No ejecutamos cada instrucción varias veces, así que no podemos separar la variabilidad del modelo de su capacidad.
- Nuestro conjunto de instrucciones es nuestro. Se inclina hacia el trabajo mercantil, transfronterizo y de MENA porque es para lo que desarrollamos.
Conclusiones clave
- Tres modelos punteros de Anthropic terminaron a cuatro veredictos de distancia entre sí en los 240 juicios a ciegas que recogimos sobre tareas jurídicas de nivel profesional. Con este tamaño de muestra no hay un orden fiable entre ellos.
- Los resultados no son transitivos: Opus 5.5 gana a Fable 5.1, Fable 5.1 gana a Opus 5, Opus 5 gana a Opus 5.5. Ese patrón es en sí una prueba de que las diferencias son menores que la precisión de la medición.
- Dos jueces dieron dos ganadores distintos con las mismas respuestas. Cuando un benchmark ofrece una sola cifra, pregunte qué valora su juez.
- El precio fue lo que los separó con claridad. Opus 5.5 respondió a aproximadamente la mitad del coste por respuesta de Fable 5.1, y ningún modelo del conjunto fue más rápido.
- La exactitud y la exhaustividad se movieron en direcciones opuestas. El modelo más minucioso del conjunto obtuvo la puntuación más baja en exactitud.
- Si fija el esfuerzo de razonamiento, revise su límite de tokens. Los tokens de razonamiento cuentan contra el mismo presupuesto, y un límite que antes era seguro truncará respuestas sin avisar.
