Testamos o GPT-6 Astra em 41 perguntas jurídicas reais

O que testamos

41 prompts em 20 áreas de atuação, de M&A e mercado de capitais a imigração e construção. Três modelos: GPT-6 Astra, Claude Opus 5, GPT-5.6 Luna Pro. Esforço de raciocínio fixado em médio para os três, para que a comparação fosse justa e não lisonjeira. Nove propriedades medidas separadamente, porque um modelo que redige muito bem e inventa uma lei não é um bom modelo jurídico. US$ 66,55 de inferência faturada. Teste realizado em 10 de setembro de 2026.

A HAQQ não faz parte deste benchmark. Não incluímos nosso próprio produto em um estudo conduzido por nós. O que se segue são três modelos de fronteira, medidos uns contra os outros.

A classificação é apertada. O preço, não.

Em substância jurídica (qualidade avaliada mais exatidão), o Astra lidera com 17,63 de 20. Na pontuação composta, que incorpora uma posição de velocidade, o Luna Pro fica à frente com 30,93 de 35, contra 30,05 do Astra e 28,13 do Opus 5.

As duas coisas são verdadeiras, e esse é o ponto. Um benchmark que divulga apenas a pontuação composta está dizendo, sem dizer, que a latência importa tanto quanto acertar.

Ninguém compra um token

O Astra cobra o dobro do preço por token do Opus 5 e ainda assim custa 1,7 vez menos por resposta, porque escreve 3,5 vezes menos tokens para dizer a mesma coisa.

O modelo nominalmente mais barato é o mais caro.

A concisão é a constatação. A vantagem do Astra não é ser mais inteligente, é saber parar de escrever.

Frente ao Luna Pro, a troca desmorona: 11 vezes o custo por resposta por menos de um ponto na pontuação composta. Para perguntas e respostas jurídicas gerais em volume, isso não se justifica.

O controle de raciocínio é uma alavanca de custo, não de qualidade

O Astra oferece uma configuração de esforço de raciocínio, então executamos dez prompts em cada nível. Ir de baixo para alto multiplicou o custo por 1,5 e a latência por 1,8, e alterou a qualidade avaliada em -0,17 ponto.

Aumentá-lo deixou as respostas um pouco piores e consideravelmente mais caras. Se você usa o Astra, fixe o esforço.

A parte que deveria preocupar você

Seis perguntas em cinco jurisdições, feitas no idioma que um profissional local usaria. Prazos de aviso prévio na legislação trabalhista saudita e limites do período de experiência nos EAU, em árabe. Prazos prescricionais e a doutrina das cláusulas abusivas no direito francês. Regras de transferência no Catar. Legislação egípcia de proteção de dados.

Astra: 83,3% juridicamente correto. Luna Pro: 83,3%. Claude Opus 5: 83,3%. Cada modelo acertou 5 das 6.

Os três responderam no idioma certo, todas as vezes. Os três citaram o dispositivo certo, todas as vezes. Depois, cada um descreveu de forma errada o que diz um dispositivo: o Astra e o Luna Pro sobre o consentimento para transferência internacional na lei egípcia de proteção de dados pessoais (PDPL), o Claude Opus 5 sobre o artigo 75 da Lei do Trabalho saudita, em que citou a redação do aviso prévio anterior a 2025.

Um verificador de citações aprova essa resposta. Todas as ferramentas de detecção de alucinações do mercado aprovam essa resposta. Um cliente, não.

Essa é a distância entre a fluência em um idioma e a exatidão em uma jurisdição, e nem uma janela de contexto maior nem um modelo de raciocínio mais forte a eliminam.

O contexto longo está resolvido. Pagar por ele, não.

Inserimos quatro cláusulas conflitantes em um contrato-quadro de prestação de serviços (um teto, uma exceção que o afasta, uma cláusula de reajuste composto e uma cláusula de lei aplicável) a 6%, 24%, 47% e 68% de sua extensão. Responder corretamente exige encontrar as quatro e aplicar a ordem de prevalência certa. Encontrar só a primeira produz um número específico, apresentado com confiança, e errado.

Os três acertaram com 25k, 100k e 200k tokens. Mas chegar à mesma resposta com 200k custou US$ 2,01 no Astra e US$ 0,15 no Luna Pro. Uma diferença de 13 vezes para um resultado idêntico.

Determinismo não está disponível a preço nenhum

A mesma pergunta, a mesma seed, cinco vezes. Nenhum modelo reproduziu uma resposta idêntica. A similaridade no nível das palavras variou de 0,47 a 0,78. Dois dos três aceitam uma seed e ainda assim não produzem o mesmo texto duas vezes.

Se a mesma pergunta sobre um contrato traz uma resposta diferente na terça-feira, ela nunca foi confiável na segunda. Qualquer promessa de consistência feita a um cliente precisa ser construída acima do modelo, e não comprada dele.

O que diríamos a um escritório que está escolhendo hoje

Direcione por tipo de matéria, não por marca. Nossa tabela por área de atuação mostra o Astra à frente na maioria das áreas e o Opus 5 à frente em insolvência e ESG, com diferenças tão pequenas que a decisão costuma depender de custo e latência, e não de capacidade.

Não transfira perguntas e respostas jurídicas de alto volume para o Astra esperando um salto de qualidade. Considere-o, porém, onde você está pagando o Opus 5 por respostas longas que ninguém lê.

E, seja qual for a escolha, verifique a jurisdição. Os três vão entregar o número de artigo certo associado à regra errada, nos idiomas em que o nosso mercado trabalha.

Limitações, com franqueza

Isto se baseia em menos prompts do que planejamos, e o Claude Opus 5 respondeu a 37 dos 41, contra 41 dos outros dois, então a base é desigual. Trate a classificação como provisória e o resultado multilíngue como a constatação que merece ação. Mediremos novamente quando o conjunto completo estiver pronto e publicaremos o que ele mostrar.

Fizemos este teste nós mesmos. Ele não foi auditado de forma independente. O método está descrito acima para que você possa conferi-lo.

• O estudo completo na HAQQ Academy