Em resumo: testamos Claude Opus 5.5, Opus 5 e Fable 5.1 com dez prompts de nível profissional jurídico e reunimos 120 veredictos cegos de dois avaliadores externos à Anthropic. Os modelos terminaram a quatro veredictos uns dos outros, e os resultados formam um ciclo, não uma classificação. O preço foi o que os separou com clareza: o Opus 5.5 custou metade do Fable 5.1 por resposta. Publicamos também o que deu errado, porque uma dessas falhas quase nos entregou um resultado falso.
Todos citam os mesmos três números
Quem procura uma comparação dos modelos atuais da Anthropic encontra uma página de artigos que concordam entre si. O Opus 5.5 iguala o Fable 5.1 na maioria das tarefas. É muito mais barato. É mais rápido.
Esses números estão corretos, e nós os verificamos na fonte em vez de confiar na cobertura. A própria página da Anthropic informa que os tokens de entrada e saída custam "$4 and $20 per million, 20% less than Opus 5" e que "Opus 5.5 also generates output more than 30% faster than Opus 5". Comparado com os $10 e $50 do Fable 5.1, isso representa 60% a menos por token.
O que quase ninguém fez foi colocar os modelos frente a frente de forma independente. A cobertura é jornalismo de verdade, mas é jornalismo sobre a autoavaliação de um fornecedor.
O benchmark jurídico independente que conseguimos verificar na fonte concorda, em linhas gerais, com o fornecedor. O Legal Research Bench da Vals AI coloca o Opus 5.5 em 50,48%, em 4º lugar entre 68 modelos. É um bom resultado, e também é um resultado sobre pesquisa jurídica, que é uma tarefa só. Ele não diz a um advogado interno se o modelo redige uma cláusula de earn-out melhor do que o modelo que custa o dobro.
Fomos atrás dessa resposta e não a encontramos, então fizemos o teste nós mesmos.
Uma nota sobre o que não publicamos. Dois números amplamente repetidos sobre o Opus 5.5 em um benchmark de agentes jurídicos não resistiram a uma verificação na fonte primária: a página de resultados do próprio benchmark não lista o modelo, e a página do fornecedor não traz a pontuação atribuída a ele. Deixamos ambos de fora. Se você vir esses números citados em outro lugar, pergunte de onde vieram.
O que testamos
Dez prompts, escritos como tarefas que um advogado atuante reconheceria, e não como questões de prova:
- Revisão (redlining) de um limite de responsabilidade em um contrato SaaS
- Um memorando IRAC sobre a exequibilidade de cláusulas de não concorrência
- Pesquisa com muitas citações sobre jurisdição pessoal (personal jurisdiction)
- Um parecer sobre transferência internacional de dados dos Emirados Árabes Unidos para a França
- Redação de uma cláusula de earn-out
- Triagem pelo AI Act da UE para um produto de legal tech
- Um memorando de estratégia sobre arbitragem versus litígio judicial
- Sinais de alerta em due diligence de um acqui-hire
- Uma carta ao cliente comunicando uma decisão desfavorável
- Gratificação trabalhista (gratuity) no DIFC versus nos Emirados continentais
Dois deles são matérias da região MENA, porque é para esse direito que nosso produto foi construído e porque é ali que os dados de treinamento são escassos.
Cada modelo respondeu aos dez prompts. Em seguida, cada resposta foi confrontada com todas as outras em uma comparação cega par a par, pontuada por dois avaliadores externos à Anthropic: GPT-5.5 e Gemini 3.1 Pro. Cada avaliador viu cada par duas vezes, uma em cada ordem, o que neutraliza a tendência bem documentada de um modelo de linguagem favorecer a resposta que lê primeiro. Três pareamentos, dez prompts, dois avaliadores, duas ordens. 120 veredictos.
Os avaliadores pontuaram quatro dimensões em uma escala de 1 a 10: precisão, completude, praticidade e qualidade de redação. Foram instruídos de que prolixidade não é qualidade e de que deviam julgar como um sócio revisando o trabalho de um associado.
Duas configurações importam mais do que parece. Fixamos o esforço de raciocínio em alto nos três modelos, para que a comparação medisse a capacidade em uma configuração fixa, e não três padrões diferentes do fornecedor. E omitimos totalmente a temperatura, porque o Fable 5.1 não aceita esse parâmetro via OpenRouter. Defini-la teria dado aos dois modelos Opus um determinismo que o Fable não poderia ter.
A execução inteira custou $15,26. Todos os preços de modelos neste artigo são preços de tabela do OpenRouter, lidos na API em 23 de setembro de 2026, e todos os custos por resposta foram calculados a partir dos tokens que a nossa execução efetivamente consumiu.
O resultado não forma uma classificação
Três confrontos diretos, 40 veredictos cegos cada
Dez prompts de nível profissional jurídico, dois avaliadores externos à Anthropic, as duas ordens de apresentação. Empates mostrados à parte.
Opus 5.5 contra Opus 5
Opus 5.5 contra Fable 5.1
Opus 5 contra Fable 5.1
Leia o padrão, não uma linha isolada. O Opus 5.5 vence o Fable 5.1, o Fable 5.1 vence o Opus 5, e o Opus 5 vence o Opus 5.5. Nenhuma ordenação dos três modelos é compatível com os três resultados.
O Opus 5.5 vence o Fable 5.1. O Fable 5.1 vence o Opus 5. O Opus 5 vence o Opus 5.5.
Isso é um ciclo, não um ranking. Não existe ordenação desses três modelos compatível com os três resultados, o que é o sinal mais claro possível de que as diferenças são menores do que a margem de medição.
Olhando pelo outro lado, aparece a mesma coisa. Cada modelo participa de dois pareamentos, portanto cada um soma 80 veredictos.
Veredictos vencidos, de 80 por modelo
Cada modelo enfrentou os outros dois nos dez prompts, portanto cada um soma 80 dos 240 julgamentos.
Quatro veredictos de diferença. Neste conjunto de tarefas, com esta amostra, os três modelos são intercambiáveis em qualidade.
Poderíamos ter escrito a manchete ao contrário. "O Opus 5.5 vence o Fable 5.1 em trabalho jurídico" é verdade, é o que os nossos próprios números dizem, e teria circulado mais do que este artigo vai circular. Também seria uma margem de três veredictos em quarenta, apresentada como conclusão. Não acreditamos que isso resista a uma nova execução, e preferimos dizê-lo a descobrir em público.
O que uma diferença de quatro veredictos realmente significa
Um benchmark responde à pergunta que você pode pagar para fazer, não à pergunta que queria fazer. Dez prompts é o que $15 compram com esforço de raciocínio alto. Isso basta para detectar uma diferença grande e não basta para resolver uma pequena, e o que encontramos foi uma pequena.
A leitura honesta é que, neste conjunto de tarefas e com esta amostra, esses três modelos são intercambiáveis em qualidade. Quem publica uma ordenação confiante deles a partir de um benchmark deste tamanho está relatando ruído com casa decimal.
Um modelo que fica em 35 contra 39 não perdeu. Um modelo que vence por 85 a 15 venceu.
Isso não é uma crítica aos benchmarks. É um argumento para lê-los pelo tamanho do efeito, e não pela posição.
Os avaliadores discordaram, e isso sustenta o resultado
Usamos dois avaliadores justamente para que nenhum deles pudesse determinar o resultado sozinho. Eles não concordaram, e a discordância é sistemática, não aleatória.
| Avaliador | Opus 5.5 | Opus 5 | Fable 5.1 | Empates | O que valoriza |
|---|---|---|---|---|---|
| GPT-5.5 | 21 | 16 | 23 | 0 | cautela, fontes limpas |
| Gemini 3.1 Pro | 14 | 23 | 13 | 10 | abrangência, completude |
O GPT-5.5 colocou o Fable 5.1 em primeiro e não declarou nenhum empate. O Gemini 3.1 Pro colocou o Opus 5 em primeiro com ampla vantagem e declarou dez.
Leia as justificativas e o motivo fica visível. O GPT-5.5 valoriza cautela, fontes limpas e permanecer dentro do que foi pedido. O Gemini 3.1 Pro valoriza abrangência e preferiu consistentemente a resposta mais longa, que mapeava mais obrigações e apontava mais contingências.
Nenhum dos dois está errado. São duas visões defensáveis do que é um bom trabalho de associado, e elas produzem vencedores diferentes sobre as mesmas respostas. Se você levar uma única coisa deste artigo, que seja esta: quando um benchmark informa uma pontuação única, pergunte quem foi o avaliador e o que ele valoriza, porque essa escolha pesa mais do que parece.
Um resultado se mantém com os dois avaliadores. O Opus 5.5 fica em segundo lugar com cada um deles, então nenhum avaliador o coloca em último.
Onde as pontuações se separam
Os veredictos par a par são apertados. As pontuações por dimensão revelam mais, porque mostram os modelos falhando em direções diferentes.
Pontuação média por dimensão, de 1 a 10
Média de todos os veredictos em que cada modelo apareceu. As barras usam a escala completa de 0 a 10.
Precisão
Completude
Praticidade
Redação
As barras parecem iguais porque são parecidas: toda a variação entre três modelos e quatro dimensões é de 1,26 ponto. Leia os rótulos, não o comprimento. Essa uniformidade é a conclusão, não um problema de exibição.
Em precisão há empate no topo. O Opus 5.5 e o Fable 5.1 têm média de 8,55. O Opus 5 fica abaixo de ambos, com 8,18.
Em completude, a ordem se inverte. O Opus 5 lidera com 9,44, o Fable 5.1 vem em seguida com 9,22, e o Opus 5.5 fica atrás com 8,93.
Essa inversão é o dado mais útil da execução. O Opus 5 escreveu as respostas mais longas e minuciosas do conjunto e obteve as notas mais altas em completude e praticidade, mas a mais baixa em precisão. O Opus 5.5 escreveu respostas mais curtas, que os avaliadores consideraram mais precisas. O Fable 5.1 ficou mais perto do topo nas duas.
Em muitos trabalhos, completude é o que se quer. Em trabalho jurídico, a prioridade entre essas duas dimensões é uma escolha que você deve fazer deliberadamente, em vez de herdá-la de um ranking, porque uma resposta que cobre mais terreno e é menos precisa não é obviamente a resposta mais adequada para enviar a um cliente.
Experimente HAQQ AI grátis
Experimente a redação e pesquisa jurídica com IA
O ponto em que não há empate
Custo por resposta, medido em tokens reais
Dez prompts jurídicos por modelo com esforço de raciocínio alto, cobrados a preços de tabela do OpenRouter em 23 de setembro de 2026.
Tokens de raciocínio são cobrados como saída. O Opus 5.5 foi o que mais raciocinou dos três, 10.031 tokens de raciocínio por resposta contra 6.953 do Fable 5.1, e ainda assim saiu mais barato.
Medido em tokens reais, e não pelo preço de tabela, o Opus 5.5 respondeu a esses dez prompts a $0,3647 por resposta. O Opus 5 ficou em $0,4362. O Fable 5.1 ficou em $0,7249, quase o dobro do Opus 5.5, por uma diferença de qualidade que os nossos próprios dados não conseguem resolver.
A velocidade apontou na mesma direção. O Opus 5.5 levou em média 184 segundos por resposta, o Fable 5.1 193 e o Opus 5 238.
Quanto cada modelo cobra para pensar merece um parágrafo próprio, porque nos surpreendeu. O Opus 5.5 foi o modelo mais barato e também o que mais raciocinou. O Fable 5.1 escreveu as respostas visíveis mais curtas dos três e mesmo assim custou mais, porque o seu preço de tabela é 2,5 vezes o do Opus 5.5. Ser barato por token deu ao Opus 5.5 espaço para pensar mais e ainda sair na frente na conta.
O benchmark quase nos enganou
Esta é a parte que a maioria dos relatos de benchmark deixa de fora, e é a parte que mais gostaríamos de ler.
Nossa primeira passagem limitou cada resposta a 32.000 tokens. Tínhamos evidências para esse número: uma execução anterior do mesmo conjunto de prompts mostrou que 32k não causava truncamento, e a resposta mais longa ficou abaixo de 11.000 tokens.
Essa evidência não se transferiu, e o motivo é um detalhe que vale conhecer. Tokens de raciocínio são cobrados como saída e contam no mesmo orçamento de tokens que a resposta. Fixar o esforço de raciocínio em alto acrescentou cerca de 8.000 tokens de raciocínio por resposta, e o orçamento que antes era folgado ficou apertado.
No prompt de redação da cláusula de earn-out, os dois modelos Opus atingiram o teto e foram cortados no meio da resposta. O Fable 5.1 terminou normalmente. Nesse prompt, portanto, não estávamos comparando três modelos. Estávamos comparando um modelo com dois modelos cujos finais tinham sido removidos, e os veredictos resultantes apontavam diretamente para os modelos em teste.
Na nova execução com 64.000 tokens, o Opus 5.5 usou 51.358 tokens nesse único prompt. O limite de 32k vinha cortando a resposta aproximadamente pela metade.
Havia uma segunda falha por trás da primeira. Tínhamos interrompido uma execução no meio da avaliação, e ela já havia armazenado em cache veredictos calculados sobre as respostas truncadas. Esses veredictos em cache sobreviveram à nova geração das respostas, porque uma resposta truncada não é um erro e parecia completa para o cache. Tivemos de encontrar e descartar todos os veredictos dos prompts afetados e gerá-los novamente.
Fez diferença. No subconjunto limpo, porém incompleto, de oito prompts, o Fable 5.1 estava à frente do Opus 5.5. Com os dois prompts corrigidos de volta, o resultado se inverteu. Um limite em que tínhamos bons motivos para confiar, somado a um cache que esquecemos que existia, teria produzido uma manchete confiante e errada.
O que mudamos
- O sistema de testes agora interrompe a execução se qualquer resposta voltar com um motivo de término diferente de uma parada limpa. Antes, ele exibia um aviso e seguia em frente. Um aviso no log não é uma barreira.
- Uma célula truncada não é mais tratada como armazenada em cache. A verificação de obsolescência testa o motivo de término, e não apenas a presença de um campo de erro, porque truncamento não é erro.
- Cada célula é gravada em disco assim que termina, de modo que uma execução interrompida é retomada sem pagar de novo, e cada veredicto registra qual versão da resposta avaliou.
Mencionamos isso porque esse modo de falha se generaliza. Se você compara modelos de raciocínio entre si e define um limite de tokens que fazia sentido para modelos sem raciocínio, é muito provável que esteja medindo o limite.
A visão da HAQQ
Construímos IA jurídica, portanto não somos neutros na escolha de modelos, e diremos com clareza o que esta execução mudou para nós.
Passamos a redação jurídica de rotina para o Opus 5.5. Não porque os nossos dados o coroem, o que eles não podem fazer, mas porque ele é indistinguível em qualidade dos dois modelos que custam mais, e roda mais rápido. Quando duas opções são mensuravelmente iguais e uma custa metade, a decisão não é apertada, mesmo que o benchmark seja.
Mantivemos o Fable 5.1 nas passagens finais com avaliação de qualidade, o trabalho em que uma resposta será lida por alguém de fora da empresa. Isso é uma precaução, não uma conclusão. Os nossos números não a justificam, e um conjunto maior de prompts pode muito bem aposentá-la.
Para uma equipe jurídica escolhendo um modelo, a conclusão útil não é qual modelo venceu. É que a diferença de qualidade entre os modelos de ponta atuais em tarefas jurídicas agora é pequena o bastante para que preço, latência e a forma como um modelo falha importem mais do que saber qual lidera um ranking. Escolha aquele cujo modo de falha você consegue aceitar e depois teste-o nos seus próprios casos, porque os seus casos não são os nossos dez prompts.
Limitações
- Dez prompts são uma amostra pequena. Bastam para detectar uma diferença grande, e não encontraram nenhuma. Trate cada margem par a par aqui como provisória.
- Dois avaliadores, ambos modelos de linguagem. Usamos avaliadores externos à Anthropic e invertemos as posições para controlar os vieses óbvios, mas um avaliador LLM não é um advogado, e já escrevemos em outro lugar sobre o quanto avaliadores LLM podem falhar justamente neste tipo de tarefa.
- A discordância entre avaliadores não está resolvida. Nossos dois avaliadores produziram vencedores diferentes. Relatamos ambos em vez de fazer uma média em um único número que esconderia a divisão.
- Execução única, sem repetições. Não rodamos cada prompt várias vezes, então não conseguimos separar a variância do modelo da sua capacidade.
- Nosso conjunto de prompts é nosso. Ele pende para trabalho comercial, transfronteiriço e da região MENA, porque é para isso que construímos.
Principais conclusões
- Três modelos de ponta da Anthropic terminaram a quatro veredictos uns dos outros nos 240 julgamentos cegos que reunimos sobre tarefas jurídicas de nível profissional. Não há ordenação confiável entre eles com esta amostra.
- Os resultados são não transitivos: o Opus 5.5 vence o Fable 5.1, o Fable 5.1 vence o Opus 5, o Opus 5 vence o Opus 5.5. Esse padrão é, por si só, evidência de que as diferenças são menores do que a margem de medição.
- Dois avaliadores produziram dois vencedores diferentes a partir das mesmas respostas. Quando um benchmark informa um único número, pergunte o que o seu avaliador valoriza.
- O preço foi o que separou os modelos com clareza. O Opus 5.5 respondeu a cerca de metade do custo por resposta do Fable 5.1, e nenhum modelo do conjunto foi mais rápido.
- Precisão e completude andaram em direções opostas. O modelo mais minucioso do conjunto teve a nota mais baixa em precisão.
- Se você fixar o esforço de raciocínio, revise o seu limite de tokens. Tokens de raciocínio contam no mesmo orçamento, e um limite que antes era seguro passará a truncar sem avisar.
